BIGAI-models/

MagicText-2.0-BF

The model may generate content that is not appropriate for children. By using this model, you confirm that you are an adult (18+).

MagicText 2.0 модель

Новая модель MagicText основана на модифицированной архитектуре Transformer.Decoder и показывает хорошие результаты. Также, модель получилас спец. токены - 🚀 (начало промпта) 🔄 (конец промпта) 🟢 (начало генерации) 🏁 (конец генерации).

Модель является не готовой, нуждается в дообучении. Модель имеет ~~46М параметров, и для своих размеров справляется с генерацией текста хорошо. Данная архитектура показывала хорошие результаты при обучении, LOSS снижался не хаотично.

Протестировать модель: Colab