La perte de qualité est tirée de la documentation de llama.cpp et a été calculée par la variation de la perplexité (ppl) sur le modèle LLaMA-v1-7B. Elle n'est donc fournie ici que pour donner une approximation de la perte rééle.

Méthode de quantification	Taille du fichier	Perte	Téléchargement
COPY	13,5 Go	Aucune	https://huggingface.co/FlorianJc/Vigostral-7b-Chat-GGUF/blob/main/vigostral-7b-chat-COPY.gguf
Q8_0	7,2 Go	+0.0004 ppl @ LLaMA-v1-7B	https://huggingface.co/FlorianJc/Vigostral-7b-Chat-GGUF/blob/main/vigostral-7b-chat-Q8_0.gguf
Q6_K	5,5 Go	-0.0008 ppl @ LLaMA-v1-7B	https://huggingface.co/FlorianJc/Vigostral-7b-Chat-GGUF/blob/main/vigostral-7b-chat-Q6_K.gguf
Q5_K_M	4,8 Go	+0.0122 ppl @ LLaMA-v1-7B	https://huggingface.co/FlorianJc/Vigostral-7b-Chat-GGUF/blob/main/vigostral-7b-chat-Q5_K_M.gguf
Q4_K_M	4,1 Go	+0.0532 ppl @ LLaMA-v1-7B	https://huggingface.co/FlorianJc/Vigostral-7b-Chat-GGUF/blob/main/vigostral-7b-chat-Q4_K_M.gguf

FlorianJc/Vigostral-7b-Chat-GGUF

Vigostral-7b-Chat GGUF

FlorianJc/
Vigostral-7b-Chat-GGUF