Views
No views yet
pip install transformers torch accelerate1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3# Model ve tokenizer yükle
4model_name = "Huseyin/teknofest-2025-turkish-edu-v2"
5tokenizer = AutoTokenizer.from_pretrained(model_name)
6model = AutoModelForCausalLM.from_pretrained(
7 model_name,
8 torch_dtype="auto",
9 device_map="auto"
10)
11
12# Örnek kullanım
13prompt = "Türkçe eğitimi için yaratıcı bir etkinlik önerisi:"
14inputs = tokenizer(prompt, return_tensors="pt")
15outputs = model.generate(
16 **inputs,
17 max_new_tokens=150,
18 temperature=0.7,
19 do_sample=True,
20 top_p=0.95
21)
22response = tokenizer.decode(outputs[0], skip_special_tokens=True)
23print(response)1# Google Colab için optimized kullanım
2!pip install -q transformers accelerate bitsandbytes
3
4from transformers import AutoModelForCausalLM, AutoTokenizer
5import torch
6
7# 8-bit yükleme (düşük bellek kullanımı)
8model_name = "Huseyin/teknofest-2025-turkish-edu-v2"
9tokenizer = AutoTokenizer.from_pretrained(model_name)
10
11model = AutoModelForCausalLM.from_pretrained(
12 model_name,
13 load_in_8bit=True,
14 device_map='auto'
15)
16
17# Test
18prompt = "İlkokul öğrencileri için matematik etkinliği:"
19inputs = tokenizer(prompt, return_tensors='pt')
20outputs = model.generate(**inputs, max_new_tokens=100)
21print(tokenizer.decode(outputs[0], skip_special_tokens=True))