Views
No views yet
1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM
3
4
5tokenizer = AutoTokenizer.from_pretrained("amir-ma71/Dorna-Llama3-8B-Instruct-AWQ")
6model = AutoModelForCausalLM.from_pretrained(
7 "amir-ma71/Dorna-Llama3-8B-Instruct-AWQ",
8 torch_dtype=torch.bfloat16,
9 device_map="cuda",
10)
11
12messages = [
13 {"role": "system",
14 "content": "You are a helpful Persian assistant. Please answer questions in the asked language."},
15 {"role": "user", "content": "پایتخت ایران کجاست؟"},
16]
17
18input_ids = tokenizer.apply_chat_template(
19 messages,
20 add_generation_prompt=True,
21 return_tensors="pt"
22).to(model.device)
23
24terminators = [
25 tokenizer.eos_token_id,
26 tokenizer.convert_tokens_to_ids("<|eot_id|>")
27]
28
29outputs = model.generate(
30 input_ids,
31 max_new_tokens=256,
32 eos_token_id=terminators,
33 do_sample=True,
34 temperature=0.6,
35 top_p=0.9,
36)
37response = outputs[0][input_ids.shape[-1]:]
38print(tokenizer.decode(response, skip_special_tokens=True))پایتخت ایران، تهران است. تهران شهر بزرگ و مهمی در مرکز ایران است که جمعیت قابل توجهی دارد و از مهمترین شهرهای این کشور است.