Türkçe sağlık alanında soru-cevap için, unsloth/Qwen3.5-2B temel modeli üzerine Unsloth ile eğitilmiş bir LoRA adaptörü. Bir ders ödevi kapsamında hazırlanmıştır.

Model, genel sağlık sorularına Türkçe ve bilgilendirici yanıtlar verecek şekilde fine-tune edilmiştir.

Model detayları


Temel model	`unsloth/Qwen3.5-2B`
Yöntem	LoRA (PEFT)
Eğitim aracı	Unsloth + TRL (SFTTrainer)
Dil	Türkçe
Alan	Sağlık / tıp
LoRA rank (r)	16
LoRA alpha	16
Epoch	2
Eğitim adımı	140
Final training loss	~0.82

Eğitim verisi

Model, senemde/saglik-qa-tr veri setiyle eğitilmiştir (~553 örnek, ChatML formatında). Veri seti, Türkçe Wikipedia'nın sağlık kategorilerinden web scraping ile toplanan metinlerin, elle yazılmış çekirdek örnekler yardımıyla bir dil modeliyle soru-cevap çiftlerine dönüştürülmesiyle oluşturulmuştur. Kaynak içerik telifsizdir (Türkçe Wikipedia, CC BY-SA).

Kullanım

Bu bir LoRA adaptörüdür; temel modelle birlikte yüklenmelidir.

python

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "senemde/saglik-qa-qwen35-2b-lora",   
    max_seq_length = 2048,
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model)

messages = [
    {"role": "user", "content": [{"type": "text", "text": "Diyabet nedir ve nasıl yönetilir?"}]}
]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt = True, tokenize = True, return_tensors = "pt"
).to("cuda")

out = model.generate(input_ids = inputs, max_new_tokens = 200, temperature = 0.7)
print(tokenizer.decode(out[0], skip_special_tokens = True))

Not: Qwen3.5 çok modlu (görsel+metin) bir modeldir; bu yüzden mesaj içeriği düz metin yerine [{"type": "text", "text": "..."}] biçiminde verilir.

MMLU Benchmark Sonuçları (Türkçe MMLU)

Değerlendirme, alibayram/yapay_zeka_turkce_mmlu verisi ve olcum.py mantığı (harf eşleşmesi + anlamsal benzerlik) ile 150 soru üzerinde yapılmıştır. Base ve fine-tuned modeller aynı sorularla test edilmiştir.

Model	Doğru	Toplam	Başarı (%)
Base — `unsloth/Qwen3.5-2B`	90	150	60.00
Fine-tuned — `senemde/saglik-qa-qwen35-2b-lora`	49	150	32.67

Fark: −27.33 puan (fine-tuned − base).

Yorum

Fine-tuned model, genel amaçlı MMLU'da base modelin gerisinde kaldı. Bu beklenen bir sonuçtur:

Model, dar bir alana (sağlık) ve açık uçlu, açıklayıcı Türkçe cevaplar üretmeye özelleştirildi. MMLU ise genel bilgi (matematik, tarih, fen, hukuk vb.) ve çoktan seçmeli bir sınavdır.
Dar alana özelleşme, genel yetenekte gerilemeye yol açtı (literatürde catastrophic forgetting olarak bilinir).
Ayrıca model "sadece A/B/C/D harfini yaz" formatı yerine açıklayıcı cevap üretmeye eğilimli olduğu için çoktan seçmeli formatta dezavantajlı.

Bu sonuç, alan-odaklı fine-tune'un genel benchmark başarısını artırmak için değil, hedef alanda (sağlık) daha uygun ve tutarlı yanıtlar üretmek için yapıldığını gösterir. Modelin asıl faydası, sağlık sorularına verdiği alana özgü yanıtlarda görülür.

Sağlık Benchmark Sonuçları (kendi çoktan seçmeli test setim)

Kendi hazırladığım, eğitimde kullanılmayan 106 soruluk Türkçe sağlık çoktan seçmeli test seti ile 5 model karşılaştırıldı. Benchmark: senemde/saglik-benchmark-coktan-secmeli

Model	Repo	Doğru	Toplam	Başarı (%)
Qwen3.5-2B (base)	`unsloth/Qwen3.5-2B`	106	106	100.00
Fine-tuned (bizim)	`senemde/saglik-qa-qwen35-2b-lora`	100	106	94.34
Qwen2.5-3B	`unsloth/Qwen2.5-3B-Instruct`	100	106	94.34
Qwen2.5-1.5B	`unsloth/Qwen2.5-1.5B-Instruct`	81	106	76.42
Llama-3.2-1B	`unsloth/Llama-3.2-1B-Instruct`	61	106	57.55

Yorum

Fine-tuned model kendi alanında (sağlık) %94.34 başarı gösterdi ve kendisinden daha büyük olan Qwen2.5-3B ile aynı skoru yakaladı. Genel amaçlı MMLU'da düşük kalan model (bkz. MMLU tablosu), alanına özgü bu benchmark'ta yüksek başarı göstererek fine-tune'un hedef alanda etkili olduğunu ortaya koymaktadır.

Sınırlamalar ve uyarı

Bu model eğitim ve deneysel amaçlıdır. Küçük bir temel model (2B) üzerine sınırlı büyüklükte bir veri setiyle eğitildiğinden, çıktıları her zaman doğru, eksiksiz veya güncel olmayabilir.

Modelin verdiği yanıtlar tıbbi tavsiye niteliği taşımaz ve profesyonel sağlık hizmetinin yerini tutmaz. Sağlıkla ilgili somut bir durumda mutlaka bir hekime danışılmalıdır. Ayrıca içeriğin bir bölümü model tarafından üretildiği için nadiren hatalı ifadeler barındırabilir.

Lisans

Adaptör Apache-2.0 lisanslıdır. Temel model Qwen3.5-2B'nin kendi lisans şartları geçerlidir.