V5 (200M Türkçe LM) eğitimi için tokenize edilmiş veri.
v5_stage1.bin — Web tier (OSCAR, mC4, forum, FineWeb-HQ) ~2.94B token
v5_stage2.bin — Medium tier (BellaTurca, Cosmos, CulturaX, Havadis, Cosmopedia) ~9.03B token
v5_stage3.bin — Premium tier (Wiki, Wikisource, Tezler, Akademik, FinePDFs, Özenli) ~2.97B token
v5_val.bin — Validation (3 stage'in son %1'i, ~150M token)
tokenizer-tr-v5.json — BPE tokenizer, 32K vocab, Stage3 üzerinde… See the full description on the dataset page:
https://huggingface.co/datasets/musabc/nanogpt-tr-v5-data.