Views
No views yet
User: နှင့် Assistant: tags များကို အသုံးပြုပြီး မေးမြန်းရပါမည်။1import torch
2from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
3
4model_id = "URajinda/Qwen-1.5B-Burmese-SFT-v2"
5
6# 1. Tokenizer နှင့် Model ကို load လုပ်ခြင်း
7# Note: torch_dtype အစား dtype ကို သုံးပါ
8tokenizer = AutoTokenizer.from_pretrained(model_id)
9model = AutoModelForCausalLM.from_pretrained(
10 model_id,
11 dtype=torch.float16,
12 device_map="auto"
13)
14
15# 2. Inference Pipeline ကို တည်ဆောက်ခြင်း
16generator = pipeline(
17 "text-generation",
18 model=model,
19 tokenizer=tokenizer,
20 device=model.device
21)
22
23# 3. မြန်မာဘာသာဖြင့် မေးမြန်းခြင်း (Instruction Format ကို သုံးပါ)
24prompt = "User: မန္တလေးမြို့ရဲ့ အထင်ကရနေရာ သုံးခုကို ဖော်ပြပေးပါ။\nAssistant:"
25
26output = generator(
27 prompt,
28 max_new_tokens=256,
29 do_sample=True,
30 temperature=0.7,
31 eos_token_id=tokenizer.eos_token_id
32)
33
34print(output[0]['generated_text'])