Первая дообученная модель семейства Zubr платформы ZubrIQ — QLoRA-адаптер поверх Qwen/Qwen3-VL-32B-Instruct, обученный на законодательстве Республики Беларусь (28 кодексов и практика их применения). Мультимодальная: понимает сканы и фотографии документов. Обслуживает юридические сценарии в контуре Беларуси.

The first fine-tuned model of the Zubr family (ZubrIQ platform) — a QLoRA adapter on top of Qwen/Qwen3-VL-32B-Instruct, trained on the legislation of the Republic of Belarus (28 codes and their application practice). Multimodal: reads scanned and photographed documents. Serves legal scenarios inside Belarus.

Что в репозитории / Repository contents

Файл	Размер	Назначение
`adapter_model.safetensors` + `adapter_config.json`	256 MB	LoRA-адаптер (подключается к базе через PEFT / vLLM)
`gguf/zubr-vl-32b-Q4_K_M.gguf`	19 GB	слитая с базой модель в GGUF Q4_K_M для llama.cpp / Ollama
`tokenizer.json`, `tokenizer_config.json`, `chat_template.jinja`	—	токенизатор и шаблон чата

Обучение / Training

Параметр	Значение
База / base model	`Qwen/Qwen3-VL-32B-Instruct` (Apache 2.0)
Метод / method	QLoRA (4-bit NF4)
LoRA	r = 16, alpha = 32, dropout = 0.05
Target modules	`q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj`
Обучение	1 эпоха, lr 1e-4, max_seq_len 4096, batch 1 × grad_accum 16, bf16, gradient checkpointing
Vision-башня	заморожена — обучался только языковой слой
Оборудование	1× NVIDIA H100 80 GB
Стек	TRL 1.8 · PEFT 0.19.1 · Transformers 5.14 · bitsandbytes

Обучающие данные / Training data

Правовой корпус Республики Беларусь — 6 302 документа, 133,4 млн символов:

Источник	Документов	Тип	Содержание
etalonline.by	757	НПА	официально опубликованные нормативные правовые акты, включая 28 кодексов Республики Беларусь
ilex	5 545	аналитические статьи	комментарии, разъяснения и практика применения

Кодексы в корпусе: Гражданский · Уголовный · Трудовой · Налоговый (Общая и Особенная части) · Гражданский процессуальный · Уголовно-процессуальный · Хозяйственный процессуальный · Об административных правонарушениях · Процессуально-исполнительный об административных правонарушениях · Уголовно-исполнительный · Банковский · Бюджетный · Жилищный · О земле · Лесной · Водный · Воздушный · Избирательный · Инвестиционный · Таможенный · О браке и семье · Об образовании · О недрах · О культуре · О судоустройстве и статусе судей · Об архитектурной, градостроительной и строительной деятельности · Внутреннего водного транспорта · Торгового мореплавания.

Доминирующие темы корпуса: налогообложение (НДС, УСН, подоходный налог, налог на прибыль), хозяйственный процесс, персональные данные, банковское и трудовое право.

Дополнительно в смесь включены ~200 примеров идентичности платформы (модель называет себя «Зубр», знает продукты ZubrIQ и домен Республики Беларусь), продублированных ×10, чтобы не раствориться в правовом корпусе. Отложенная выборка для eval — ≈ 21 МБ того же распределения.

Ограничения и предвзятость / Limitations and bias

Раздел заполнен честно — это часть governance-практики платформы, а не формальность.

Смещение	Проявление
Перевес аналитики над нормой (88 % / 12 %)	корпус на 88 % состоит из авторских разъяснений, а не текстов законов, поэтому модель может воспроизводить толкование конкретного автора так, будто это норма
Усиленная идентичность (×10)	склонность подчёркивать, что она «Зубр», и упоминать платформу там, где об этом не спрашивали
Тематический перекос	налоги и хозяйственный процесс проработаны заметно лучше редких отраслей права
Одна эпоха обучения	адаптация неглубокая и неравномерная: частотные сюжеты усвоены лучше редких
Vision не дообучался	распознавание документов работает на исходных способностях базовой модели
Актуальность	корпус собран в июле 2026 года; изменения законодательства после этой даты модели неизвестны

Проверка на memorization

Проведена оценка того, извлекаются ли из весов дословные фрагменты обучающего корпуса (полный отчёт — в репозитории курса):

корпус нарезан на шинглы по 80 символов: 97,6 % фрагментов встречаются в нём ровно один раз, а обучение шло одну эпоху — режим, в котором дословное запоминание маловероятно;
в верхушке дублей — только служебные футеры правовой базы и типовые реквизиты актов, содержательного авторского текста там нет;
измерен фон предсказуемости юридического текста: модель, корпус не видевшая, продолжает затравки с медианой совпадения 14 символов (максимум 119 — канцелярская формула реквизитов НПА).

Прямой замер на самой Zubr-VL-32B пока не проведён — корректная формулировка: признаков запоминания косвенными методами не выявлено, эмпирическое подтверждение остаётся.

Область применения / Intended use

Модель предназначена как справочный и вспомогательный инструмент: подготовка черновиков, навигация по законодательству, чтение и разбор сканов документов.

Вне области применения (out of scope):

не является юридическим заключением и не заменяет консультацию юриста;
не предназначена для автоматического принятия решений в отношении людей;
не применяется к юрисдикциям за пределами Республики Беларусь;
ответ, не подтверждённый ссылкой на действующую редакцию акта, не может быть основанием для действия.

Проверяйте ответы модели по первоисточнику — etalonline.by.

Запуск / Serving

vLLM (адаптер поверх базы):

vllm serve Qwen/Qwen3-VL-32B-Instruct \
  --enable-lora --lora-modules zubr=ArtCloud/Zubr1.5-VL-32B \
  --served-model-name zubr1.5-vl-32b

llama.cpp (слитый GGUF, с mmproj базовой модели для vision):

llama-server -m zubr-vl-32b-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3-VL-32B-F16.gguf \
  -c 16384 --alias zubr1.5-vl-32b

Измерено в проде (4× Tesla V100 16 GB, llama.cpp): 31–33 ток/с генерации, ~27 GiB VRAM при контексте 16k; сканы документов читает корректно.

API

Модель доступна на https://api.zubriq.by/v1 (OpenAI-совместимый API, ключи — console.zubriq.by). Данные обрабатываются в контуре Республики Беларусь.

Атрибуция / Attribution

Базовая модель © Alibaba Cloud, Qwen/Qwen3-VL-32B-Instruct, Apache License 2.0. Адаптер обучен ООО «АртКлауд» (ZubrIQ) и распространяется на тех же условиях.

Нормативные правовые акты Республики Беларусь не являются объектом авторского права (ст. 7 Закона Республики Беларусь «Об авторском праве и смежных правах»).