You can deploy this model and start earning money today!

sebt3/
lfm2.5-350m-vyrn-awq

Name: lfm2.5-350m-vyrn-awq
Availability: InStock

Views

No views yet

LFM2.5-350M — vyrn int4 (AWQ maison)

Poids quantifiés de LiquidAI/LFM2.5-350M pour le moteur d'inférence vyrn (Rust, backend Vulkan via Burn). Projet personnel, pas de support.

⚠️ Pas un format AWQ/GPTQ standard

Ce n'est pas chargeable tel quel par transformers, AutoAWQ, vLLM ou llama.cpp. Le schéma de quantization (vyrn_int4_symmetric_grouped, voir quant_meta.json) est propriétaire au projet vyrn : int4 symétrique (pas de zero-point), groupé par blocs de 32 sur le canal d'entrée, empaqueté en nibbles (2 valeurs/octet). Conçu pour un kernel de dequant+matmul maison écrit dans Burn, pas pour les kernels CUDA (Marlin, exllama...) des outils habituels.

Comment c'est fait

Algorithme AWQ maison (activation-aware scaling + repli RTN groupé pour les linéaires sans norme en amont), calibré sur un corpus français + documentation Kubernetes officielle.
Détail complet (mapping par type de linéaire, format de fichier, décisions et risques) : docs/features/quantization-awq.md dans le dépôt du projet.

Validation qualité (calibration complète, 2026-07-30)

Comparaison logits + génération réelle (template ChatML, greedy) contre le modèle original sur 4 prompts FR : réponses cohérentes et correctes des deux côtés (dont un texte strictement identique), erreur relative sur les logits 0.20-0.36, aucune dégénérescence. Pas de garantie de qualité au-delà de cet échantillon — projet personnel, pas de benchmark de perplexité formel.

sebt3/lfm2.5-350m-vyrn-awq

LFM2.5-350M — vyrn int4 (AWQ maison)

⚠️ Pas un format AWQ/GPTQ standard

Comment c'est fait

Validation qualité (calibration complète, 2026-07-30)

sebt3/
lfm2.5-350m-vyrn-awq