Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
russian-bpe-tokenizer-16k – AI Model by annaferzz | AlphaNeural AI
You can deploy this model and start earning money today!
annaferzz
/
russian-bpe-tokenizer-16k
like
0
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
Russian BPE Tokenizer 16k
🗃️ Корпус
447 статей из Vedomosti (2020–2025) с предварительной очисткой и нормализацией текста
⚙️ Параметры
Алгоритм:
Byte Pair Encoding (BPE)
Размер словаря:
16,000 токенов
Min frequency:
2
Специальные токены:
<UNK>
,
<PAD>
,
<BOS>
,
<EOS>
Пре-токенизатор:
Whitespace
📊 Метрики
Процент фрагментации:
36.51%
Коэффициент сжатия:
0.665
Эффективность реконструкции:
100.0%
Время обучения:
0.38 сек
OOV rate:
~11.45%
📝 Лицензия
MIT License
