Accélérateurs d’inférence IA (non-GPU)

Réponse rapide

Chaque « PC IA » et carte edge affiche désormais un chiffre de TOPS, et la plupart ne peuvent pas faire tourner un vrai modèle de langage. La raison est simple et constamment oubliée : l'inférence de LLM locale est limitée par la CAPACITÉ et la BANDE PASSANTE de la mémoire, pas par les TOPS bruts. Un TPU Coral de 4 TOPS avec 8 Mo de SRAM et un héritage de CNN de vision ne contiendra jamais un LLM ; un SoC AMD ou Apple à mémoire unifiée de 128 Go fera tourner un modèle de 70 milliards de paramètres sur une seule machine. Cette référence donne le verdict honnête pour 13 accélérateurs non-GPU (8 constituent une voie crédible vers le LLM local) — calcul, le modèle de mémoire déterminant, runtimes et puissance. Les GPU et Apple Silicon vivent dans notre base de données AI-GPU sœur ; ici nous couvrons les NPU, TPU edge, cartes IA RISC-V et LPU que tout le reste ignore.

Lisez la colonne mémoire, pas les TOPS : les SoC à mémoire unifiée (AMD Ryzen AI Max+, Jetson AGX Orin) et les cartes ouvertes adossées à de la DRAM (Tenstorrent) font réellement tourner des LLM locaux ; les composants edge à faible SRAM (Coral Edge TPU, Hailo-8) sont des appareils de vision/CNN qui ne le peuvent pas, peu importe le marketing ; et le LPU de Groq est du silicium infonuagique à l'échelle du rack, pas du matériel local (une puce contient 230 Mo — il en faudrait ~576 pour servir un 70B). Les TOPS, SDK et prix des NPU évoluent chaque trimestre (dernière vérification 2026-06) — revérifiez auprès du fabricant avant d'acheter. Les cartes Tenstorrent à pile ouverte sont l'option qui fait avancer la souveraineté de l'IA locale d'un cran de plus. CSV/JSON gratuits sous CC BY 4.0 ; ceci est le complément « peut-il faire tourner un LLM local ? » de notre base de données GPU.