Views
No views yet
enes1863/bilisim-hukuku-domain-dataset üzerindeki 1.000 Türkçe kayıtla
eğitilmiş 1.612 birimli Unicode BPE tokenizer. Türkçe karakterleri doğrudan korur; alt kelime
devamları ## ile gösterilir. Eğitim hedefi 8.000 olsa da küçük ve tekrarlı
alan korpusu nedeniyle yalnızca frekans eşiğini geçen birimler sözlüğe alınır.1from transformers import AutoTokenizer
2
3tokenizer = AutoTokenizer.from_pretrained("enes1863/bilisim-hukuku-bpe-tokenizer")