ShweYon (ရွှေယုန်) သည် Qwen2.5-1.5B ကို အခြေခံ၍ မြန်မာဘာသာစကားအတွက် အထူးပြု Fine-tune လုပ်ထားသော AI Model တစ်ခု ဖြစ်ပါသည်။ ဤ v1.2.9 Version သည် ယခင် v1.2.6 ၏ အသိပညာများကို ထိန်းသိမ်းထားပြီး ပိုမိုကျယ်ပြန့်သော ဗဟုသုတနှင့် တိကျသော အဖြေထုတ်နှုန်း ရရှိစေရန် Manual Merging နည်းလမ်းဖြင့် အချောသပ် တည်ဆောက်ထားပါသည်။

✨ Key Improvements in v1.2.9

Multi-Stage Training: v1.2.6 Adapter ၏ အခြေခံပေါ်တွင် v1.2.9 အသိပညာများကို ထပ်မံပေါင်းစပ်ထားခြင်း။
Enhanced Vocabulary: Myanmar Tokenization ကို ပိုမိုကောင်းမွန်စေရန် tie_word_embeddings=False ဖြင့် သီးခြားစီမံထားခြင်း။
Knowledge Base: အထွေထွေဗဟုသုတ၊ ဘာသာပြန်ခြင်းနှင့် ယဉ်ကျေးပျူငှာစွာ တုံ့ပြန်ခြင်းများတွင် သိသိသာသာ တိုးတက်လာခြင်း။

🚀 Usage (Inference)

📊 Training Details Base Model: Qwen2.5-1.5B

Trainable Parameters: 22.28% (approx. 519M parameters)

Epochs: 1.0

Final Loss: 1.0484

Optimizer: AdamW 8-bit

Strategy: PEFT (LoRA) with Manual Weights Merging

⚠️ Limitations ဤမော်ဒယ်သည် ၁.၅ ဘီလီယံ ပါရာမီတာသာ ရှိသည့်အတွက် ရှုပ်ထွေးလွန်းသော သင်္ချာပုစ္ဆာများနှင့် သိပ္ပံဆိုင်ရာ အချက်အလက်များတွင် အမှားအယွင်း ရှိနိုင်ပါသည်။ အဖြေများကို လိုအပ်သလို ပြန်လည်စစ်ဆေးရန် အကြံပြုပါသည်။

ဤမော်ဒယ်ကို transformers library သုံး၍ အလွယ်တကူ ခေါ်ယူအသုံးပြုနိုင်ပါသည်။

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "URajinda/ShweYon_Qwen2.5-MM-v1.2.9-Final-Manual-Fixed"

tokenizer = AutoTokenizer.from_pretrained(model_id, fix_mistral_regex=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "မင်္ဂလာပါ ရွှေယုန်။ မြန်မာနိုင်ငံရဲ့ အထင်ကရနေရာတစ်ခုအကြောင်း ပြောပြပေးပါ။"
messages = [
    {"role": "system", "content": "သင်သည် ယဉ်ကျေးပျူငှာသော မြန်မာ AI 'ရွှေယုန်' ဖြစ်သည်။"},
    {"role": "user", "content": prompt},
]

inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda")
outputs = model.generate(inputs, max_new_tokens=512, temperature=0.3)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True)[0])