Обзор
Этот файл GGUF вдохновлен APEX и базовыми знаниями о MoE.
Основная идея — сохранить максимальную точность на критически важных для MoE-архитектуры компонентах (особенно down_exps) и на граничных слоях, одновременно агрессивно квантуя середину модели, где ошибки меньше влияют на общее качество, при этом используя лишь стандартные Q-кванты для максимальной скорости на процессорах и старых видеокартах.
Схема квантования
Модель условно разделена на три зоны:
| Зона | Слои (blk.) | Тензоры | Тип квантования |
|---|
| Начало | 0–4 | Все ffn_*_exps.weight | mxfp4 |
| Позднее начало | 5–9 | ffn_down_exps.weight | mxfp4 |
| Позднее начало | 5–9 | ffn_gate_exps, ffn_up_exps | q3_K |
| Середина | 10–32 | ffn_down_exps.weight | q3_K |
| Середина | 10–32 | ffn_gate_exps, ffn_up_exps | q2_K |
| Ранний конец | 33–37 | ffn_gate_exps, ffn_up_exps | q3_K |
| Ранний конец | 33–37 | ffn_down_exps.weight | mxfp4 |
| Конец | 38–42 | Все ffn_*_exps.weight | mxfp4 |
Логика выбора
down_exps — это ключевой компонент в MoE: он агрегирует информацию от экспертов. Потеря точности здесь приводит к заметной деградации логики. Поэтому я дал ему приоритет — mxfp4 на краях и q3_K в середине (вместо q2_K).
Первые и последние слои (0–4 и 38–42) обычно критичны для входной/выходной эмбеддинговой обработки и финального представления. Здесь — mxfp4 (полная точность).
Середина (10–32) — самая многочисленная часть. Здесь допустимо более сильное квантование q2_K для gate/up, так как ошибки усредняются через множество слоёв.
Скрипт квантования
1^blk\.[0-4]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
2^blk\.[5-9]\.ffn_down_exps\.weight$=mxfp4
3^blk\.[5-9]\.ffn_(gate|up)_exps\.weight$=q3_K
4^blk\.3[3-7]\.ffn_down_exps\.weight$=mxfp4
5^blk\.3[3-7]\.ffn_(gate|up)_exps\.weight$=q3_K
6^blk\.(3[89]|4[0-2])\.ffn_(gate|up|down)_exps\.weight$=mxfp4
7ffn_down_exps.weight=q3_K
8ffn_(gate|up)_exps.weight=q2_K
Производительность
Я сравнивал эту модель с DeepSeek-V4-Flash-0731-UD-Q3_K_XL.gguf.
RTX 5060 ti 16 GB + i5-13400F + 128 GB DDR5 6000:
| Модель | Скорость (токенов/сек) | Размер файла |
|---|
DeepSeek-V4-Flash-0731-UD-Q3_K_XL | ~9,5 | ~119.4 GiB |
DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed | ~12,5 | ~118.2 GiB |
Прирост скорости: примерно на треть.
Это подтверждает, что отказ от IQ-квантов (которые медленнее на CPU/старых GPU) в пользу гибридной схемы с акцентом на точность ключевых тензоров даёт ощутимый выигрыш в скорости инференса.
PPL / KLD : TBA
Послесловие
Карточка почти целиком писалась этой моделью, я поправил пару моментов.
Подозреваю, что качество могло сильно просесть, при сопоставимом размере, однако в данном случае мне больше интересна скорость.
Я еще потестирую, попытаюсь погонять простенькие тестики, чтобы понять, куда залетает моя модель на табличке kld или ppl (мусор, я знаю), возможно какие-нибудь iq2_xss будут выгоднее (сопоставимы по скорости и качеству, но меньше размером), сие мне неизвестно. Я просто экспериментирую и радуюсь жизни. =)
