Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
2from peft import PeftModel
3import torch
4
5base_model = AutoModelForCausalLM.from_pretrained("unsloth/gemma-3-12b-it")
6model = PeftModel.from_pretrained(base_model, "Chan-Y/TurkishReasoner-Gemma3-12B").to("cuda")
7tokenizer = AutoTokenizer.from_pretrained("unsloth/gemma-3-12b-it")
8
9pipe = pipeline(
10 "text-generation",
11 model=model,
12 tokenizer=tokenizer,
13 max_new_tokens=512,
14 do_sample=True,
15 temperature=0.7,
16 top_p=0.95,
17)
18
19messages = [
20 {"role": "system", "content": """Sen kullanıcıların isteklerine Türkçe cevap veren bir asistansın ve sana bir problem verildi.
21Problem hakkında düşün ve çalışmanı göster.
22Çalışmanı <start_working_out> ve <end_working_out> arasına yerleştir.
23Sonra, çözümünü <SOLUTION> ve </SOLUTION> arasına yerleştir.
24Lütfen SADECE Türkçe kullan."""},
25 {"role": "user", "content": "121'in karekökü kaçtır?"},
26]
27
28response = pipe(messages, return_full_text=False)[0]["generated_text"]
29print(response)