Qwen3-8B-Wikipedia-TR-CPT
Türkçe akıl yürütme ve teknik ifade kalitesini artırmak için hazırlanmış model sürümüdür.
Eğitim Kurgusu
Bu modelde Türkçe düşünme adaptasyonu amacıyla wikimedia/wikipedia verisi ana kaynak olarak kullanılmıştır.
Bu modelde Türkçe düşünme adaptasyonu için Continued PreTraining (CPT) uygulanmıştır. Adaptasyon kurgusunda veri bileşiminin yaklaşık %99'u wikimedia/wikipedia tabanlıdır.
Not: Yüzde oranı, modelin tüm tarihsel ön eğitimi değil; CPT aşamasındaki adaptasyon veri karışımını ifade eder.
Teknik Eğitim Ayrıntıları: QLoRA Tabanlı CPT
Bu model, tam-parametreli yeniden ön eğitim yerine QLoRA tabanlı Continued PreTraining (CPT) yaklaşımıyla adapte edilmiştir. Eğitim sürecinde temel model 4-bit olarak yüklenmiş, güncelleme işlemi LoRA adaptörleri üzerinden yapılmıştır. Bu nedenle model kartındaki CPT ifadesi, tam-parametre CPT değil, parametre-verimli QLoRA-CPT adaptasyonu olarak okunmalıdır.
QLoRA yapılandırmasında LoRA katmanları aşağıdaki modüllere uygulanmıştır:
q_proj, k_proj, v_proj, o_projgate_proj, up_proj, down_projembed_tokens, lm_head
Kullanılan başlıca LoRA ayarları:
r = 128lora_alpha = 128use_rslora = True- 4-bit model yükleme
UnslothTrainer ile CPT eğitimidataset_text_field = "prompt"
Eğitim verisi, Türkçe Wikipedia içeriklerinden başlık ve makale gövdesi birleştirilerek hazırlanmıştır. Her örnek aşağıdaki metin formatına dönüştürülmüş ve örnek sonuna EOS_TOKEN eklenmiştir:
1Vikipedi Makalesi
2### Başlık: {title}
3
4### Makale:
5{text}<EOS>
Bu kurgu, modele Türkçe ansiklopedik metin dağılımı üzerinde ek dilsel uyum kazandırmayı hedefler. Çalışmanın teknik tanımı bu nedenle Wikipedia tabanlı Türkçe QLoRA-CPT adaptasyonu şeklindedir.
Veri Kaynağı
wikimedia/wikipedia (Türkçe içerik odaklı)
Model Amacı
- Türkçe bağlamda daha tutarlı akıl yürütme
- Bilgi yoğun sorularda daha düzenli açıklama
- Türkçe teknik/analitik cevaplarda daha iyi akış
Önemli Not
- Model, eğitim verisindeki dağılıma bağlı önyargılar taşıyabilir.
- Kritik alanlarda (hukuk, sağlık, finans vb.) insan uzman kontrolü önerilir.
Lisans
Bu model Apache-2.0 lisansı ile sunulmuştur.
Copyright
Copyright (c) Zero9 Tech
