Динамически квантованная в int8 сборка r1char9/ner-rubert-tiny-news для запуска через onnxruntime без torch.

Веса не переобучались: это та же модель, только в другом формате. Всё, что касается качества разметки, относится к исходной модели, а не к сборке.

32 МБ вместо 116 МБ, и запускается там, где нет torch: musl-сборки, свежие версии Python, окружения без компилятора.

Сборка нужна библиотеке rumask — обезличиванию персональных данных в русском тексте. Там эта модель работает не как искатель организаций, а как щит для имён: слово, которое документ дважды назвал организацией, снимается с людей во всём тексте разом.

Причина в том, что у названия фирмы нет признака в самом слове. На рабочей переписке две трети ложных людей оказались компаниями — «Апит», «Технодор», BBS2, — и правилами это не лечится. Отдельно ценно, что модель видит латиницу: имена клиентов вида BBS2 не находит ни один другой голос.

Веса скачаются отсюда в кеш пользователя при первом запуске. В закрытом контуре скачайте файлы руками и назовите каталог: Masker(orgs="/opt/rumask-orgs").

Или напрямую:

Не считайте батчем. Квантизация динамическая, и масштаб активаций берётся по всему входному тензору: окна в одной пачке получат общий масштаб на всех, и метки поедут вместе с логитами. Считайте окна по одному — их можно раскладывать по потокам, выход от числа потоков не зависит побитово.

Служебные токены нужны каждому окну. [CLS] и [SEP] ставятся на каждое окно отдельно, а не один раз на документ.

Ограничение длины зашито в tokenizer.json. Если режете документ на окна сами, отключите усечение в токенизаторе — иначе модель молча не увидит текст дальше первого окна.

MIT, как и у исходной модели.