Transformer for Russian Jokes

Описание модели

• Механизм внимания - multi-head self-attention с поддержкой grouped query attention.
• Feed-Forward Block - SwiGLU
• нормализация - RMSNorm
• Позиционные эмбеддинги: сначала обучались модели с ALiBi, а затем с RoPE
• Токенизатор - Byte-level BPE

Конфигурации модели

• Mini, обученная с learning_rate = 1e-3, n_steps = 15000, доступна по коммиту revision='37abd8039d39c31286e4606cb39be842d9a633b3'
• Small, обученная с learning_rate = 1e-4, n_steps = 15000, доступна по коммиту revision='c048d6102d3924daa7df4be4daf98bef591fac07'
• Mini-small, обученная с learning_rate = 5e-4, n_steps = 15000, clip_grad_norm=2, доступна по коммиту revision = 'ac087cb830611b7035fd88e40b8301df30767235'
• Mini c rope, обученная с learning_rate = 1e-3, n_steps = 15000, доступна по коммиту revision='504db4270bc7bb4306630081c18842cd33955195'

Статистики и примеры генерации