Views
No views yet
bitsandbytes quantization config was used during training:1from peft import PeftModel, PeftConfig
2from transformers import AutoModelForCausalLM
3
4config = PeftConfig.from_pretrained("hajili/zephyr-7b-beta-dolly-azerbaijani")
5model = AutoModelForCausalLM.from_pretrained("HuggingFaceH4/zephyr-7b-beta", device_map='auto', torch_dtype=torch.bfloat16)
6model = PeftModel.from_pretrained(model, "hajili/zephyr-7b-beta-dolly-azerbaijani")
7
8tokenizer = transformers.AutoTokenizer.from_pretrained(
9 "hajili/zephyr-7b-beta-dolly-azerbaijani",
10 )
11tokenizer.pad_token = tokenizer.eos_token
12tokenizer.padding_side = 'right'1system_message = "Bakı şəhərinin əhalisi neçə milyondur?"
2user_message = "Azərbaycanın paytaxtı Bakı şəhəridir. Onun əhalisi 3 milyondur. Bakı Xəzər dənizi sahilində yerləşir."
3
4prompt = f"<|system|>\n{system_message}\n<|user|>\n{user_message}\n<|assistant|>\n"
5inputs = tokenizer(prompt, return_tensors='pt', return_attention_mask=False)
6
7output_ids = model.generate(**inputs, max_length=200)
8
9answer = tokenizer.batch_decode(output_ids)[0]
10
11print(answer) #Bakı şəhərinin əhalisi 3 milyondur.1system_message = "Təbiət haqqında şeir yaz."
2user_message = ""
3
4prompt = f"<|system|>\n{system_message}\n<|user|>\n{user_message}\n<|assistant|>\n"
5inputs = tokenizer(prompt, return_tensors='pt', return_attention_mask=False)
6
7output_ids = model.generate(**inputs, max_length=200)
8
9answer = tokenizer.batch_decode(output_ids)[0]
10
11print(answer)
12
13#Günəşin yanında, göy qurşağının rəngləri,
14#Yeni bir günün doğulması,
15#Həyat başlayır,
16#Bir yeni səyahətə başlayın.
17#
18#Günəşin yanında, göy qurşağının rəngləri,
19#Rənglər dəyiş,
20#Həyat dəyişir,
21#Və məni tərk edir.