Views
No views yet
unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit modeli üzerine LoRA ile fine-tune edilmiştir.| Model | Model Tipi | Başarı Oranı (%) | Doğru Cevap | Çözülen Soru | Toplam Süre (sn)* |
|---|---|---|---|---|---|
unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit | Base Model | %22.00 | 220 | 1000 | 881.830 |
Mer1Alii/TR-ECommerce-CustomerSupport-LoRA | Fine-Tuned (LoRA) | %34.10 | 341 | 1000 | 567.668 |
MMLU Değerlendirmesi: Çoktan seçmeli bir testte %22'lik başarı şans faktörüne (random guessing) oldukça yakındır. Fine-tune işlemi sonrası bu oranın %34.10'a çıkması, modelin genel kültür bilgisinin artmasından ziyade; verilen "sadece şıkkın harfini yaz" talimatına ve formata çok daha iyi uyum sağlamasından kaynaklanmaktadır. Bu test göstermektedir ki LoRA eğitimi yıkıcı unutmaya (catastrophic forgetting) yol açmamış, modelin formatı öğrenme kapasitesini belirgin şekilde artırmıştır.*Not: Süredeki dramatik iyileşme, kısmen GPU/Cache ısınmasından ve modelin talimata uyarak gereksiz uzunlukta token üretmeyi bırakmasından (doğrudan tek harf üretmesi) kaynaklanmaktadır.
| Model | Basari (%) | Dogru | Toplam Soru | Sure (sn) |
|---|---|---|---|---|
Qwen2.5-1.5B (Base Model) | %27.40 | 137 | 500 | 310.5 |
TR-ECommerce-LoRA (Fine-Tuned) | %39.80 | 199 | 500 | 240.9 |
Gemma-3-1B-IT | %49.80 | 249 | 500 | 321.5 |
Llama-3.2-1B-Instruct | %23.40 | 117 | 500 | 241.8 |
Qwen2.5-0.5B-Instruct | %42.40 | 212 | 500 | 316.9 |
Analiz (Gerçek E-Ticaret Performansı): Kendi hazırladığımız dengeli (stratified) 500 soruluk test setinde Qwen 2.5 1.5B Base modeli %27.40 başarı gösterirken, aynı modelin üzerine eğittiğimiz LoRA versiyonu %39.80 puana (oransal olarak ~%45 iyileşme) çıkmıştır. Bu artış, modelin e-ticaret domaininde (kargo, iade, fatura vb. müşteri şikayetleri) hedeflediğimiz uzmanlaşmayı başarıyla kazandığını ispatlamaktadır. Llama 3.2 gibi popüler modelleri de bu spesifik alanda geride bırakmıştır.
transformers ve peft kütüphaneleri ile kolayca kullanabilirsiniz:1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3import torch
4
5base_model_id = "unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit"
6peft_model_id = "Mer1Alii/TR-ECommerce-CustomerSupport-LoRA"
7
8tokenizer = AutoTokenizer.from_pretrained(base_model_id)
9model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float16, device_map="auto")
10model = PeftModel.from_pretrained(model, peft_model_id)
11
12prompt = "Kargom 3 gündür yolda gözüküyor, ne yapmalıyım?"
13messages = [{"role": "user", "content": prompt}]
14text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
15
16inputs = tokenizer(text, return_tensors="pt").to(model.device)
17outputs = model.generate(**inputs, max_new_tokens=100)
18print(tokenizer.decode(outputs[0], skip_special_tokens=True))custom_benchmark_final.json) ve 4-bit optimize test kodu (custom_benchmark_test.py).hf_olcum.py).