Bu model, Qwen3-14B mimarisi temel alınarak, Bursa Uludağ Üniversitesi (BU-BİP) bilgi asistanı olarak görev yapması için ince ayar (fine-tune) işleminden geçirilmiştir. Eğitim süreci Bfloat16 (bf16) kullanılarak Unsloth kütüphanesi üzerinden tamamlanmış, ardından vLLM üzerinde yüksek hızda ve düşük VRAM tüketimiyle (örn. RTX 5090 gibi kartlarda) çalışabilmesi için 4-bit AWQ formatına dönüştürülerek sıkıştırılmıştır.

Eğitim Süreci

Modelin eğitimi iki temel aşamadan oluşmaktadır:

SFT (Supervised Fine-Tuning): Model, "Düşünce Zinciri" (Chain-of-Thought) yaklaşımıyla eğitilmiştir.
DPO (Direct Preference Optimization): SFT aşamasının ardından model, yanıt kalitesini artırmak için tercih optimizasyonundan geçirilmiştir.

Çıkarım ve Düşünce Yeteneği

Model, kendisine yöneltilen sorulara (örneğin; öğrenci ders kayıtları, değişim programları veya idari bilgiler gibi) doğrudan bir çıktı vermek yerine önce bir mantık yürütme süreci işletir. Bu düşünce adımları <think> ... </think> etiketleri arasında üretilir ve sonrasında resmî belgelere dayalı, doğru ve bağlama sadık nihai cevap sunulur.

Çıktı Formatı ve Kullanım (vLLM 4-bit AWQ)

Model, doğrudan vLLM gibi çıkarım sunucularında çalıştırılmak üzere 4-bit AWQ formatında optimize edilmiştir. Modelin düşünce adımlarını (reasoning) arka planda gizlemesini engelleyip tam formatında çıktı alabilmek için aşağıdaki komutla başlatabilirsiniz:

bash

VLLM_USE_V2_MODEL_RUNNER=0 vllm serve nypgd/bubip-qwen3-14b-awq \
    --dtype float16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.90 \
    --port 8000 \
    --enforce-eager