Лучший чекпойнт тестового задания T-LAB, направление Looped Models.

Уменьшенный Qwen3: четыре физических блока, d=384, 6 query heads, 3 KV heads, head dim 128, d_ff=1152, RoPE, QK-norm, GQA, SwiGLU, pre-norm RMSNorm, tied embeddings. Схема Huginn: prelude 1 блок, recurrent core 2 блока, coda 1 блок, concat-adapter, независимый случайный s_0, core-end RMSNorm, 16 повторов, truncated backprop через последние четыре.

Данные: HuggingFaceFW/fineweb, subset sample-10BT, revision 9bb295d. Токенизатор — 16k ByteLevel-BPE, обученный только на train-документах, лежит в tokenizer/. Один сид, bf16 autocast, A100.

Код обучения и эвала, а также отчёт со всеми экспериментами и отрицательными результатами — в репозитории проекта.