Небольшая causal language model для генерации коротких русских анекдотов.
Модель обучалась в рамках домашнего задания по LLM на датасете IgorVolochay/russian_jokes.

Финальная версия модели — small-конфиг decoder-only Transformer.

Основные параметры:

В модели используются RMSNorm, Grouped-Query Attention, ALiBi positional bias и SwiGLU feed-forward block.

Модель обучалась на датасете русских анекдотов IgorVolochay/russian_jokes.

Для токенизации использовался byte-level BPE токенизатор со словарем на 1024 токена.
Данные были разделены на train/test в пропорции 90/10.

Validation loss финальной small-модели: 2.462.

По генерациям модель уже улавливает форму анекдота: короткие заходы, диалоги, типичных персонажей и общий стиль датасета. При этом она не всегда сохраняет смысл до конца, поэтому качество скорее на уровне “похоже на анекдот”, чем “стабильно смешной анекдот”.

Модель маленькая и обучалась в учебных условиях, поэтому она часто хорошо воспроизводит стиль и структуру анекдотов, но не всегда строит логичную концовку. Основные проблемы — слабый панчлайн, повторы и потеря связности в более длинных генерациях.