Transformer для генерации русских анекдотов

Описание задачи

• Attention with Linear Biases (ALiBi) для позиционного кодирования.

• Multi-Headed Linear Attention (MHLA) для эффективного вычисления внимания,
• Rotary Positional Embedding (RoPE) для позиционного кодирования.

Репорт качества

• Метрики обучения:
  • Обучающий loss: 3.898
  • Валидационный loss: 3.989
• График обучения:
  

  

• Анализ:
  Модель демонстрирует стабильное снижение loss, однако примитивная архитектура модели не позволяет генерировать доконца осознанные фразы.

Примеры генерации

• Library: [More Information Needed]