Özellik	Değer
Model	`magibu-sondaj-model:latest`
Format	GGUF
Family	Qwen3.5
Parameter Size	4.3B
Quantization	Q4_K_M
Finetuned from	unsloth/Qwen3.5-4B
License	apache-2.0

This Qwen3.5 model was trained 2x faster with Unsloth and Hugging Face's TRL library, and quantized to GGUF (Q4_K_M) for efficient local inference.

Benchmark Sonuçları

Model, Türkçe MMLU değerlendirme seti üzerinde test edilmiştir. Aynı soru kümesi üzerinde, referans olarak llama3.1:8b modeliyle de karşılaştırılmıştır.

Karşılaştırmalı Sonuçlar

Metrik	`magibu-sondaj-model:latest`	`llama3.1:8b`
Format	GGUF	GGUF
Family	Qwen3.5	Llama
Parameter Size	4.3B	8B
Quantization	Q4_K_M	Q4_K_M
Toplam Soru	6,200	6,200
Doğru Cevap Sayısı	3,535	3,162
Başarı Oranı	%57.02	%51.00
Toplam Süre	9,346.97 sn (~2 saat 35 dk)	4,395.65 sn (~1 saat 13 dk)
Ortalama Yanıt Süresi	~1.51 sn/soru	~0.71 sn/soru

Sonuç: magibu-sondaj-model, aynı 6.200 soruluk Türkçe MMLU setinde llama3.1:8b'ye göre +6.02 puan daha yüksek başarı elde etmiştir (%57.02 vs %51.00), ancak yaklaşık 2.1 kat daha yavaş yanıt vermektedir (~1.51 sn/soru vs ~0.71 sn/soru). Daha küçük parametre boyutuna (4.3B vs 8B) rağmen daha yüksek başarı göstermesi, fine-tuning'in Türkçe soru-cevap görevindeki katkısına işaret etmektedir. Yanıt süresi farkı donanım/yükleme koşullarından kaynaklanıyor olabilir; kesin bir çıkarım için aynı donanım üzerinde tekrar ölçüm önerilir.

Kullanım

Model GGUF formatında olduğu için llama.cpp, Ollama veya benzeri GGUF destekli araçlarla çalıştırılabilir.

Ollama ile çalıştırma

ollama run magibu-sondaj-model:latest

llama.cpp ile çalıştırma

./main -m magibu-sondaj-model-Q4_K_M.gguf -p "Sorunuzu buraya yazın"

Eğitim Detayları

Developed by: uzcaliskan
License: apache-2.0
Finetuned from model: unsloth/Qwen3.5-4B

Değerlendirme Metodolojisi

Her iki model de aynı Türkçe MMLU soru setinde (6.200 soru), aynı prompt formatı ve aynı değerlendirme betiği ile test edilmiştir:

Doğru Cevap Eşleştirme: Modelin cevabı beklenen doğru cevapla karşılaştırılır; büyük/küçük harf duyarlılığı gözetilmez.
Anlamsal Benzerlik: Modelin cevabı birebir eşleşmese bile, paraphrase-multilingual-mpnet-base-v2 modeliyle hesaplanan anlamsal benzerlik üzerinden doğru kabul edilebilir.

uzcaliskan/magibu-llm-fine_tuned_sondaj

magibu-sondaj-model

Model Details