Compatibilité GPU / LLM local (tient-il dans la VRAM ?)

Réponse rapide

Ce jeu de données croise 30 GPU avec 63 LLM locaux ouverts (1890 fiches de compatibilité), en calculant si chaque modèle tient dans la VRAM en Q4, Q8 et FP16 — avec la marge et une quantification recommandée. Utilisez-le pour répondre à « quel LLM local mon GPU peut-il faire tourner ? » avant d'acheter du matériel ou de télécharger un modèle.

Le jeu de données porte maintenant deux colonnes de compatibilité par paire : poids seuls (q4/q8_fits) et une fits_at_context tenant compte du cache KV, qui ajoute le cache d'attention FP16 à un contexte de stress de 32 768 jetons (plafonné à la fenêtre native de chaque modèle) plus une marge d'exécution d'environ 1 Go. Une carte peut réussir en poids seuls et échouer en contexte réel — un GPU de 24 Go contient les poids Q4 de Qwen3-32B (20 Go) mais manque de mémoire vers 29 Go une fois 32k de cache KV ajouté. Vérifiez fits_at_context avant de provisionner. Libre de téléchargement (CSV/JSON) et interrogeable par API sous CC BY 4.0.