Views
No views yet
labels = -100 for user/system tokens), ensuring loss calculation is applied strictly to assistant responses.AhıskaAI/AhıskaAI-10M-Experimental-v0.1LlamaForCausalLM (Micro MHA)<|im_start|> and <|im_end|>)float32 / float16"Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.""Sen AhıskaAI adında Türkçe bir yapay zeka asistansın.\nGörevlerin:\n1. Sorulara doğrudan, net ve kısa cümlelerle cevap ver.\n2. Bilmediğin veya emin olmadığın konularda uydurma yapma, bilmiyorum de.\n3. Kullanıcının verdiği metin veya listeleri istenen formata sadık kalarak düzenle."1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3
4model_id = "AhıskaAI/AhıskaAI-10M-IT-Experimental-v0.1-Instruct"
5
6tokenizer = AutoTokenizer.from_pretrained(model_id)
7model = AutoModelForCausalLM.from_pretrained(
8 model_id,
9 torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
10 device_map="auto"
11)
12
13# ChatML Formatting
14system_prompt = "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
15messages = [
16 {"role": "system", "content": system_prompt},
17 {"role": "user", "content": "Köpek canlı mıdır?"}
18]
19
20prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
21inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
22
23outputs = model.generate(
24 **inputs,
25 max_new_tokens=80,
26 temperature=0.3,
27 top_p=0.9,
28 do_sample=True
29)
30
31response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
32print(response)