Bu proje, single_letter_transformers reposundaki tiny Qwen3-style decoder mimarisini kullanır. Ödevin BPE şartı için karakter tokenizer yerine sıfırdan yazılmış bir byte-level Byte Pair Encoding tokenizer eklenmiştir.

Hugging Face Spaces oluştururken bu klasördeki dosyaları Space'e yükleyin. fruit_bpe_model.pt dosyası ve tokenizer.json repoda bulunuyorsa Space doğrudan açılır; yeniden eğitim gerekmez.

Önce metin UTF-8 byte dizisine çevrilir. Başlangıç kelime dağarcığı 256 byte tokenından oluşur. Her adımda veri içinde en sık tekrarlanan komşu token çifti bulunur, yeni bir tokena dönüştürülür ve merge listesine eklenir. Bu projede 64 merge öğrenilir. Türkçe ş, ğ, ı, ö, ü, ç karakterleri byte-level yaklaşım sayesinde ayrıca sözlüğe elle eklenmeden çalışır.

Model her meyve adının başına BOS, sonuna EOS eklenmiş token dizileriyle next-token prediction hedefiyle eğitilir. Üretim sırasında model BOS'tan başlayıp EOS görene kadar tokenları ardışık üretir.