🩸 MiniMax-M2.7 (229B) -> Ghetto-MoE Edition (8 Experts)
[EN] ⚠️ INFRASTRUCTURE STRESS-TEST KIT
This is a mathematical skeleton (1B parameters) of the giant MiniMax-M2.7 architecture.
Created specifically for MLOps engineers to test inference pipelines and routing logic.
Technical Highlights:
- 8-Expert MoE: Preserved routing logic for Sparse Mixture-of-Experts.
- RoPE Fixed: Forced linear rotary embeddings to bypass 'default' KeyError.
- 8:8 GQA: Symmetrical attention heads for consumer-grade GPU support.
[RU] ⚠️ ИНСТРУМЕНТ ДЛЯ ТЕСТИРОВАНИЯ ИНФРАСТРУКТУРЫ
Это математический скелет (1 млрд параметров) гигантской модели MiniMax-M2.7.
Создан для отладки инференса и логики роутинга на обычном железе.
Особенности взлома:
- 8 Экспертов: Сохранена логика переключения экспертов (routing).
- RoPE Patch: Исправлен баг инициализации через принудительный тип
linear.
- Симметрия GQA: Пропорция голов 8:8 для стабильной работы на старых GPU.
🎧 PROMO DIRECTIVE: RUSSIAN WINTER 26
Слушайте музыку будущего, под которую взламывался этот код:
🔥 Главный трек кванта: «RUSSIAN WINTER 26»
