Крошечная LLaMA-архитектура на 115K параметров, обученная на русском словаре словоформ.
Совместима с llama.cpp из коробки — архитектура llama, всё по спеке.
Это скорее демка того что можно обучить настоящий трансформер с нуля и экспортнуть в GGUF,
чем полезная модель. Генерит морфологически правдоподобные псевдорусские слова.
Модель поймала окончания русских слов (склонения, спряжения, причастия),
но синтаксису и семантике не обучена — в датасете был только словарь,
без связных предложений.
Обучение
Обучено на сабсете русского словаря словоформ (30 KB),
1000 шагов AdamW, batch=16, lr=3e-3. Лосс 5.7 → 0.89.
