Référence de qualité de quantification GGUF

Quel quant GGUF devriez-vous utiliser ? La quantification GGUF réduit un LLM local en stockant chaque poids sur moins de bits — le compromis est la taille de fichier et la VRAM contre la qualité. Cette référence liste chaque type de quant GGUF par son nombre exact de bits par poids, sa famille de quant et un palier de qualité, afin que vous en choisissiez un qui à la fois tient dans votre VRAM et reste précis. CSV/JSON gratuits + API REST sous CC BY 4.0. Les données restent en anglais (source unique), fidèles aux descriptions du HuggingFace Hub et de llama.cpp.

Réponse rapide

La quantification GGUF réduit un LLM local en stockant chaque poids sur moins de bits — le compromis est la taille de fichier et la VRAM contre la qualité de sortie. Cette référence liste 19 types de quant GGUF selon leur nombre exact de bits par poids, leur famille (flottants pleine précision, K-quants, I-quants à matrice d'importance et anciens types « round-to-nearest ») et un palier de qualité, afin que vous choisissiez un quant qui À LA FOIS tient dans votre VRAM et reste précis. Règle générale : Q4_K_M (~4,8 bpw) est le choix par défaut recommandé ; utilisez Q5_K_M ou Q6_K quand vous avez de la VRAM à revendre ; Q8_0 est pratiquement sans perte ; et sous ~3 bpw, préférez les I-quants à matrice d'importance, seulement sur de grands modèles.

Q4_K_M est le juste milieu pour la plupart des modèles locaux. Sous ~3 bpw, les I-quants à matrice d'importance (IQ3 / IQ2) conservent plus de qualité par bit et sont à réserver aux grands modèles ; Q6_K et Q8_0 sont quasi sans perte quand la VRAM le permet. Combinez ceci aux données GPU/modèle de VRAM de D-Central pour confirmer qu'un quant à la fois TIENT et reste précis.

Télécharger le CSV Télécharger le JSON API REST →

Type de quant	Famille	Bits/poids	Qualité	Notes
F32	Floating point	32	Reference	Full single precision; the unquantized training baseline. Rarely used for local inference (huge files).
F16	Floating point	16	Reference	Half precision; the near-lossless inference baseline that quants are measured against.
BF16	Floating point	16	Reference	Brain-float 16; same size as F16 with a wider exponent range; a common training/inference format.
Q8_0	Legacy	8.5	Near-lossless	8-bit round-to-nearest; virtually indistinguishable from F16. Large files; a safe maximum-quality quant.
Q6_K	K-quant	6.5625	Excellent	6-bit K-quant; near-indistinguishable from F16 in most evaluations. The top choice when VRAM allows.
Q5_K	K-quant	5.5	Very good	Base 5-bit K-quant. Q5_K_M (a Q5_K/Q6_K tensor mix) is a high-quality pick for modest extra size.
Q4_K	K-quant	4.5	Good	Base 4-bit K-quant. Q4_K_M (a Q4_K/Q6_K mix, ~4.8 bpw effective) is the recommended default for most local models.
Q4_0	Legacy	4.5	Medium	Legacy round-to-nearest 4-bit; superseded by Q4_K_M, which is higher quality at similar size.
IQ4_XS	I-quant	4.25	Good	Importance-matrix 4-bit; excellent quality-per-bit, often matching Q4_K_S at a smaller size. Slower on some CPUs.
IQ4_NL	I-quant	4.25	Good	Importance-matrix 4-bit non-linear; similar size to IQ4_XS, tuned for non-linear weight distributions.
IQ3_S	I-quant	3.44	Medium	Importance-matrix 3-bit; better quality-per-bit than Q3_K at a comparable size.
Q3_K	K-quant	3.4375	Medium-low	Base 3-bit K-quant (Q3_K_S/M/L are tensor mixes around this). Visible quality loss on smaller models.
IQ3_XXS	I-quant	3.06	Low-medium	Importance-matrix 3-bit, very small; best reserved for larger models.
Q2_K	K-quant	2.625	Low	Smallest K-quant; noticeable quality loss. Use only for tight VRAM on large (30B+) models.
IQ2_S	I-quant	2.5	Low	Importance-matrix 2-bit; preserves more quality per bit than Q2_K. Large models only.
IQ2_XS	I-quant	2.31	Very low	Importance-matrix 2-bit, extra small; viable only on very large models.
IQ2_XXS	I-quant	2.06	Very low	Importance-matrix 2-bit, smallest practical 2-bit; large models only, with real quality loss.
IQ1_M	I-quant	1.75	Lowest	Importance-matrix 1-bit; extreme compression, only usable on the largest (70B+) models.
IQ1_S	I-quant	1.56	Lowest	Importance-matrix 1-bit, smallest; experimental, heavy quality loss, 70B+ only.

Cette page couvre les types de quant à l'intérieur d'un fichier GGUF. Pour la couche au-dessus — GGUF face à MLX, EXL3, GPTQ, AWQ, FP8 et bitsandbytes, et lequel votre matériel veut réellement — voir la comparaison des formats de quantification. Source : les descriptions des types de quantification GGUF dans la documentation du HuggingFace Hub et les descriptions de quant de llama.cpp. Glossaire connexe : quantification, GGUF, perplexité. Outils : compatibilité VRAM GPU/modèle, calculateur de VRAM, base de données de modèles LLM locaux, calculateur de coût d'inférence.

Ce jeu de données ouvert (CC BY 4.0) fait partie du catalogue de données ouvertes de D-Central. Règle générale : Q4_K_M est le juste milieu ; sous ~3 bpw, préférez les I-quants à matrice d’importance sur de grands modèles.

Produits, réparations et guides connexes

Dernière révision: 27 juillet 2026.