Добавлены role embeddings (вектор роли прибавляется к token+pos эмбеддингам).
Архитектура расширена по глубине до 36 слоёв.
Обучение велось этапами:
1. raw-корпуса (книги/смешанные тексты/wiki)
2. QA/инструктаж/Thinking/Факты/Математика
3. согласование слоёв модели и проекций (c_proj).

Архитектура

Семейство: GPT-2-совместимое
Слои: 36
Hidden size: 768
Heads: 12
Кол-во ролей: 6 (настраивается через num_roles)

Обучение

Вычисления: ~70 ч (RTX 3090 Ti) + ~180 ч (GTX 1070 Ti)
Объём: ~2 млрд токенов суммарно по всем этапам Из них ~300млн QA/инструктаж/Thinking/Факты/Математика

Важно (Примечания)

Модель умеет правдоподобно думать, но часто ошибается на фактах
Модель может генерировать нецензурный и NSFW контент.
Не рекомендуется использовать для продакшена
Требуется продолжение согласования слоёв модели и накачка фактами.

Инструменты (tool calls)

В архитектуре предусмотрен режим “выходов инструментов” (через ролевые спец токены), но модель этому специально не дообучена.
На практике она может:

не вызывать инструменты, делать это случайно или путать формат.

Как использовать

Быстрый старт

python

from transformers import AutoTokenizer, AutoModelForCausalLM

repo_id = "march228/gpt2-with-roles-36"

tok = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)

Передача role_ids (если ваш пайплайн поддерживает роли)

Модель принимает дополнительный аргумент role_ids (тензор ролей). Если role_ids не передавать, поведение будет близко к обычному GPT-2.

python

import torch

text = "USR> Привет!\nFINAL>\n"
inputs = tok(text, return_tensors="pt")

# role_ids: shape [bs, seq] (или совместимый формат, который вы используете)
# значения: 0..num_roles-1
role_ids = torch.zeros_like(inputs["input_ids"])

out = model.generate(
    **inputs,
    role_ids=role_ids,
    max_new_tokens=64,
    do_sample=True,
    temperature=0.7,
)

print(tok.decode(out[0], skip_special_tokens=False))

Предварительные итоги эксперимента

В рамках эксперимента увеличение глубины (36 слоёв) и последующее согласование слоёв дало заметный практический эффект:

Модель в среднем лучше держит системные ограничения и роль. На задачах, где требуется связать несколько условий из <SYS> и <CTX>, глубокая версия чаще даёт более устойчивое поведение, чем исходная 12-слойная база.

При этом это не делает модель “источником истины”: галлюцинации фактов остаются возможными, а качество сильно зависит от состава QA/инструктивного датасета и последнего этапа обучения.

Формат данных (пример)

Модель обучалась на примерах со строгой разметкой ролей и блоков:

text

<s_text>
<SYS>
Ты Алиса. Ты девушка, тебе 18 лет. Ты ничего не знаешь о программировании
</SYS>
<CTX>
Василий - Привет.
Я - Привет, Василий.
</CTX>
<USR>
Василий - что такое python?
</USR>
<thinking>
Меня спросили что такое python. Я помню, что Python — это язык программирования, но в системном блоке сказано, что я ничего не знаю о программировании.
Значит, нужно ответить просто и “по роли”. Вспоминаю, что в переводе на русский python — это змея.
</thinking>
<FINAL>
Python? Это же змея
</FINAL>
</s_text>

Лицензия и атрибуция

Модель инициализирована/вдохновлена базой ai-forever/rugpt3small_based_on_gpt2. Проверьте совместимость лицензий исходной модели и датасетов перед любым использованием.