TürkZeka V003
Sıfırdan eğitilmiş Türkçe dil modeli.
Tek GPU, tek kişi, haftalarca emek.
Teknik Detaylar
- 500M parametre
- 8.000 vocab BPE tokenizer
- 128 token context window
- Ham pretrain ağırlıkları (SFT yok)
Özellikler
- Türkçe metin üretimi
- GUI uyumlu
- Bazen tekrar yapabilir, generation parametreleriyle sınırlandırın
Kullanım
Bu model standart HuggingFace formatında değil, PyTorch checkpoint formatındadır.
Yüklemek için proje kodlarına bakın.
Notlar
Deneysel model. TürkZeka V004 eğitim aşamasında
(1B param, 32k vocab, 512 context, Flash Attention, RAG, DPO).
Tek kişi, tek ekran kartı.
