Turkish BPE Tokenizer

Özellikler

• Vocab Boyutu: 50,000
• Model Tipi: BPE (Byte Pair Encoding)
• Dil: Türkçe
• Eğitim Verisi: CC-100 Turkish + MEB Fen Bilimleri
• Efficiency: 3.6-4.7 char/token

Kullanım

Eğitim Verisi

• CC-100 Turkish Web Corpus
• MEB Fen Bilimleri Ders Kitapları
• Türkçe örnek metinler
• Toplam: 100MB+ Türkçe metin

Performans

• Türkçe morfoloji: ✅ Mükemmel
• Bilimsel terimler: ✅ Korunuyor
• Token efficiency: ✅ 3.6-4.7 char/token
• Unknown token oranı: ✅ Düşük

Model Eğitimi

• GPT-2 tarzı autoregressive model
• 355M parametre (medium size)
• A100 GPU ile 200 saat eğitim