Дообучение t-tech/T-lite-it-2.1 (Qwen3-8B), которое режет русские документы на самодостаточные смысловые чанки для RAG, держа таблицы/код целыми. На вход — текст, заранее разбитый на нумерованные юниты; на выход — индексы границ + topic в JSON.
Текущая версия — v2 (main). v1 доступна тегом v1.0.
Что нового в v2: (1) метки учителя — self-consistency голосование 3 сэмплов + few-shot промпт «не рви единую мысль» (по фидбеку сообщества); (2) датасет 17k→28k, источников 3→6 (+финансовые новости, учебно-официальные документы, юридические НПА); (3) впервые — честный эталон: 140 out-of-domain юр.документов, размеченных консенсусом двух независимых моделей с арбитражем (не teacher-agreement).
Использование
Это completion-модель, обученная на raw-Alpaca промпте (без чат-шаблона). Сначала разбей документ на нумерованные юниты; чанки собери на хосте по возвращённым индексам.
Промпт:
### Instruction:
Раздели документ на смысловые части для системы поиска (RAG). Каждая часть читается независимо, не разрывая предложений, таблиц и кода. Верни ТОЛЬКО номера единиц, после которых проходит граница, в формате JSON.
### Input:
[1] Первое предложение. [2] Второе. [3] | таблица |...|
### Response:
Вывод:{"splits": [2], "topic": "..."} — splits = индексы юнитов, после которых граница (1-индексные). Режь оригинал по этим точкам.
Полный пре-/пост-процессинг + рецепт сервинга на llama.cpp — в GitHub-репозитории.
Результаты v2 — эталон (главные цифры)
Эталон — 140 out-of-domain документов (90 НПА из RusLawOD + 50 судебных решений, 8 отраслей права), размечены консенсусом двух независимых моделей (DeepSeek × Claude) с арбитражем спорных — это не teacher-agreement, границы верифицированы чтением документов.
модель
JSON
boundary-F1@0
boundary-F1@±1
v1 (GGUF Q5)
99.3%
0.352
0.595
v2 (bf16)
100%
0.415 (+18%)
0.609
v2 (GGUF Q5, AMD Vulkan)
100%
0.405
0.606
По жанрам (v1 → v2, @±1): судебные решения 0.825 → 0.867; НПА 0.473 → 0.465 (паритет при выросшей точной позиции). Точность на судах @0: 0.361 → 0.495 (+37%).
История v1: согласие с метками учителя (teacher-agreement, не gold)
v2: 28 095 train + 1 500 holdout, 6 источников (cultura 30% / habr 23% / синтетика 19% / юр. НПА 12% / финансовые новости 8% / учебные документы 8%). Метки — DeepSeek-V4-Flash, self-consistency голосование 3 сэмплов (n=3 из одного префилла) + few-shot промпт против крошения мысли. Датасет: AGmind/agmind-rag-splitter-ru-data.
Обучение
bf16 LoRA (r32, rsLoRA, all-linear, response-only) на RTX 5090, 2 эпохи (3 512 шагов, ~8ч). См. docs/methodology.md в репо.
Файлы
LoRA-адаптер / merged FP16-веса
*-Q5_K_M.gguf (llama.cpp, Vulkan/CPU)
Ограничения
Метрики — согласие с учителем, не human-ground-truth. Лёгкая пере-сегментация. Для очень больших таблиц нужна отдельная табличная стратегия, а не эта боундари-модель.
Лицензия
Apache-2.0 (наследует лицензию базы T-lite-it-2.1).
