gemma-4-31b-it-mxfp4-mlx

Resume

• Famille : Gemma 4 31B
• Base model : google/gemma-4-31B-it
• Repo id conseille : NeoRoth/gemma-4-31b-it-mxfp4-mlx
• Modalites : text, image
• Architecture : dense
• Couches texte : 60
• Profil public de quantification : MXFP4 4-bit + attention affine 8-bit
• Quantification par defaut : mxfp4 4-bit, group_size=32
• Overrides par couche : 240
• Taille totale des poids : 20.46 GB
• Plus gros shard : 5.00 GB

Ce qui differe des quantifications habituelles

• Quantification non uniforme : les projections d'attention utilisent 240 overrides par couche en affine 8-bit, alors que le mode global reste en MXFP4 4-bit.
• Les composants sensibles restent en haute precision quand c'est necessaire : tours vision/audio, projecteurs multimodaux, normes et router MoE ne sont pas traites comme de simples poids MXFP4 uniformes.
• Les embeddings token suivent la politique locale du checkpoint. Sur les variantes standard publiees ici, ils ne sont pas presentes comme une quantification HF canonique quelconque : il s'agit d'un export MLX prepare pour ce projet.

Fichiers de poids

• model-00001-of-00005.safetensors
• model-00002-of-00005.safetensors
• model-00003-of-00005.safetensors
• model-00004-of-00005.safetensors
• model-00005-of-00005.safetensors

Format et compatibilite

• Format de repo : safetensors + config.json + tokenizer/chat template.
• Ce depot est pense pour les chargeurs MLX capables de lire la section quantization de config.json, y compris les overrides par couche.
• Le repo est publie en tant que checkpoint MLX complet. Il ne s'agit pas d'un simple alias vers le modele Google original.

Telechargement

Python

CLI Hugging Face

Notes de publication

• Licence du checkpoint heritee du modele de base : Gemma Terms of Use.
• Attribution recommandee : mentionner google/gemma-4-31B-it comme modele source.
• Les differences de quantification sont documentees ici pour eviter de faire passer ce checkpoint pour une quantification MXFP4 "standard" ou "officielle".

Licence et conditions d'utilisation

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

• Conditions complètes : https://ai.google.dev/gemma/terms
• Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy
• Usage commercial autorisé dans le strict respect de ces conditions.
• En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval.