You can deploy this model and start earning money today!

IVIaximushka/
Russian_BPE_Tokenizer_8k

Name: Russian_BPE_Tokenizer_8k
Availability: InStock

mit

Views

No views yet

Название модели: Russian BPE Tokenizer 8k]

Корпус

50k+ слов с kommersant.ru. (2020–2025)

Параметры

Алгоритм: BPE
Размер словаря: 8,000
Min frequency: 2

Метрики

Reconstruction accuracy: 100%
Compression ratio: 0.6972995985889795

Пример использования

python

from tokenizers import Tokenizer
tokenizer = Tokenizer.from_file("saved_models/BPE_vocab8000_20250927_104253.json")
tokenizer.encode("я иду в школу").tokens

IVIaximushka/
Russian_BPE_Tokenizer_8k

Название модели: Russian BPE Tokenizer 8k]

Корпус

Параметры

Метрики

Пример использования

Лицензия

MIT

IVIaximushka/Russian_BPE_Tokenizer_8k

Название модели: Russian BPE Tokenizer 8k]

Корпус

Параметры

Метрики

Пример использования

Лицензия

MIT

IVIaximushka/
Russian_BPE_Tokenizer_8k