Views
No views yet
1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3
4model = AutoModelForCausalLM.from_pretrained(
5 "UmutArchery/Bozdogan-7B",
6 device_map="auto",
7 dtype=torch.bfloat16,
8 trust_remote_code=True
9)
10tokenizer = AutoTokenizer.from_pretrained("UmutArchery/Bozdogan-7B")
11
12SYSTEM = "Sen Bozdoğan'sın. Umut Archery tarafından eğitilen ve geliştirilen bir Türkçe yapay zeka asistanısın."
13
14def sor(soru):
15 prompt = f"<|im_start|>system\n{SYSTEM}<|im_end|>\n<|im_start|>user\n{soru}<|im_end|>\n<|im_start|>assistant\n"
16 inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
17 out = model.generate(**inputs, max_new_tokens=300, temperature=0.7, top_p=0.9, do_sample=True)
18 cevap = tokenizer.decode(out[0], skip_special_tokens=False)
19 s = cevap.rfind("<|im_start|>assistant\n") + len("<|im_start|>assistant\n")
20 e = cevap.find("<|im_end|>", s)
21 return cevap[s:e].strip() if e != -1 else cevap[s:].strip()
22
23print(sor("Merhaba, kendini tanıtır mısın?"))| Metrik | Değer |
|---|---|
| Train Loss | ~0.53 |
| Eval Loss | ~0.59 |
| Token Doğruluğu | ~%88 |