gemma-4-31b-it-qat-q4_0-mlx

Résumé

• Famille : Gemma 4 31B
• Base model : google/gemma-4-31B-it
• Repo id conseillé : NeoRoth/gemma-4-31b-it-qat-q4_0-mlx
• Modalités : text, image
• Architecture : Dense
• Couches texte : 60
• Quantification : affine 4-bit uniforme, group_size=32, mode=affine (Q4_0)
• Taille totale des poids : 20.34 GB
• Plus gros shard : 5.35 GB

Quantification

• Schéma homogène : quantification affine asymétrique 4-bit, blocs de 32 (Q4_0), appliquée uniformément (pas d'override par couche dans config.json).
• .weight en U32, .scales et .biases en BF16.
• Provient de la quantification du checkpoint QAT officiel *-qat-q4_0-unquantized de Google : le modèle a été entraîné en tenant compte de la quantification (Quantization-Aware Training), ce qui limite la perte de qualité face à une quantification post-entraînement classique.

Fichiers de poids

• model-00001-of-00004.safetensors
• model-00002-of-00004.safetensors
• model-00003-of-00004.safetensors
• model-00004-of-00004.safetensors

Format et compatibilité

• Format de repo : safetensors + config.json + tokenizer/chat template.
• Pensé pour les chargeurs MLX capables de lire la section quantization de config.json.
• Checkpoint MLX complet, ce n'est pas un alias vers le modèle Google original.

Téléchargement

Licence et conditions d'utilisation

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

• Conditions complètes : https://ai.google.dev/gemma/terms
• Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy
• Usage commercial autorisé dans le strict respect de ces conditions.
• En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval.