NPU : c'est quoi, et est-ce utile pour un LLM local ?

#Un NPU, c'est quoi ?

Un réseau de neurones se résume, côté calcul, à d'immenses séries de multiplications de matrices sur des nombres de faible précision, répétées des milliards de fois. Un processeur classique sait le faire, lentement, une poignée d'opérations à la fois. Une carte graphique le fait vite, en parallèle sur des milliers d'unités, en consommant des dizaines à des centaines de watts. Un NPU est une portion de silicium conçue pour ne faire que cela, et rien d'autre : des unités de calcul figées pour les entiers sur 8 et 4 bits, de petites mémoires placées juste à côté pour éviter les allers-retours coûteux, et un ordonnanceur qui déplace les données le moins possible. Le résultat de cette spécialisation extrême : une vitesse de pointe modeste comparée à un GPU, mais une efficacité par watt largement supérieure, ce qui compte énormément sur batterie.

L'idée est plus ancienne que l'étiquette marketing qui l'accompagne aujourd'hui. Apple intègre un Neural Engine dans ses iPhone depuis 2017 et dans tous ses Mac Apple Silicon depuis leur lancement ; les puces Pixel de Google embarquent un bloc TPU depuis plusieurs générations. Ce qui a réellement changé en 2024, c'est qu'Intel, AMD et Qualcomm ont tous placé, au même moment, un NPU conséquent dans leurs processeurs grand public pour PC portable, et que Microsoft y a aussitôt conditionné une gamme entière de fonctions de Windows, sous le nom commercial Copilot+ PC. C'est cette convergence, plus que la technologie elle-même, qui explique la déferlante d'étiquettes « PC IA » sur les rayons depuis deux ans.

#CPU, GPU, NPU : les différences

Les trois puces sont complémentaires, pas concurrentes : chacune existe parce qu'elle fait un compromis différent entre vitesse, consommation et polyvalence. Sur un « PC IA », le NPU gère les effets de webcam pendant quatre heures de visioconférence pendant que le GPU reste inactif, économisant une bonne partie de l'autonomie de la batterie qu'un usage continu du GPU aurait consommée. Demandez à la même machine de faire tourner un assistant de 14 milliards de paramètres, et le travail part entièrement sur le GPU, parce que c'est là que se trouvent à la fois la bande passante mémoire nécessaire et le support logiciel mature : aucun runtime grand public ne sait aujourd'hui faire tourner un LLM de cette taille sur un NPU.

#Les TOPS : ce qu'ils mesurent, ce qu'ils cachent

TOPS signifie « mille milliards d'opérations par seconde » (Tera Operations Per Second), presque toujours mesurées en entiers sur 8 bits pour rester comparables d'une fiche technique à l'autre. C'est une puissance de calcul de pointe, mesurée en laboratoire dans des conditions favorables. Elle ne dit rien de la vitesse à laquelle les données arrivent jusqu'à ces unités de calcul depuis la mémoire, et c'est précisément ce qui limite un modèle de langage en pratique : un NPU affamé de données passe le plus clair de son temps à attendre, TOPS élevés ou non.

Cette nouvelle génération, présentée au CES en janvier 2026 et déjà disponible dans des portables vendus au 28 septembre 2026, pousse le chiffre affiché bien au-delà du seuil Copilot+ minimal : le Snapdragon X2 Elite quasiment double le score de son prédécesseur, à 80 TOPS contre 45 auparavant. Rien de tout cela ne change la conclusion de cette page : l'argument qui suit, sur la bande passante mémoire partagée, s'applique identiquement à ces nouvelles puces, aussi impressionnant que paraisse leur chiffre de TOPS sur l'étiquette.

#Pourquoi un NPU n'accélère pas vos LLM

Pour produire un seul token, un modèle doit relire l'essentiel de ses poids en mémoire, du premier au dernier paramètre actif. Un modèle de 14 milliards de paramètres en Q4 pèse environ 9 Go : générer 20 tokens par seconde revient donc à faire transiter 180 Go par seconde entre la mémoire et les unités de calcul. Le calcul arithmétique lui-même, la multiplication proprement dite, est bon marché en comparaison de ce transfert permanent. La vitesse de génération suit donc la bande passante mémoire disponible, pas la puissance de calcul en TOPS ou en TFLOPS annoncée sur la fiche produit, ce qui explique pourquoi deux puces aux TOPS très différents peuvent écrire du texte exactement à la même vitesse.

Un NPU de 50 TOPS, comme un NPU de 80 TOPS sur les toutes dernières puces, se trouve sur la première ligne du tableau. Il puise dans la même LPDDR5X partagée avec le processeur : quel que soit son nombre de TOPS affiché, il ne peut physiquement pas aller plus vite que cette mémoire ne le permet. Un portable à 45 TOPS et un portable à 80 TOPS écriront donc du texte exactement à la même vitesse si leur mémoire, elle, reste identique en capacité et en débit.

Là où un NPU peut réellement aider, c'est sur la lecture du prompt, une phase surtout gourmande en calcul plutôt qu'en bande passante, puisque le modèle traite d'un coup tout le texte déjà présent plutôt que de le produire mot après mot. Des montages hybrides qui confient cette lecture au NPU et la génération au GPU intégré réduisent l'attente avant le premier mot affiché et la consommation globale, sur de petits modèles bien pris en charge. C'est un gain d'autonomie et de réactivité perçue, mesurable sur la latence, pas un moyen de faire tourner de plus gros modèles ou d'aller plus vite en écriture continue.

• VRAM et bande passante : ce qui décide vraiment en IA locale

#Le vrai frein : le logiciel

Ollama, llama.cpp, LM Studio

Ils tournent sur le GPU ou le CPU. Sur un portable Copilot+, ils utilisent le GPU intégré ou le processeur et ignorent le NPU.

Windows

Les modèles embarqués de Microsoft et son environnement Foundry Local visent le NPU via ONNX Runtime, avec une sélection de petits modèles.

AMD

Ryzen AI Software et le serveur Lemonade exécutent certains modèles ONNX en mode hybride, NPU et GPU intégré.

Intel

OpenVINO sait cibler le NPU pour les modèles pris en charge.

Qualcomm

La chaîne d'outils QNN et AI Hub fournissent des modèles déjà convertis pour le NPU Hexagon.

Apple

Core ML utilise le Neural Engine, mais les outils de LLM réellement utilisés sur Mac (MLX, llama.cpp, Ollama) passent par le GPU, via Metal.

Le point commun à tous ces outils : passer par le NPU, c'est choisir dans une courte liste de modèles déjà convertis et validés par le constructeur, en général de 1 à 8 milliards de paramètres, et non télécharger n'importe quel GGUF trouvé sur Hugging Face pour le lancer directement. Cette conversion demande un format et une chaîne d'outils différents pour chaque fabricant, ce qui explique pourquoi aucun projet communautaire n'a encore unifié le support NPU comme llama.cpp l'a fait pour les GPU.

• Ryzen AI 9 HX : ce que donne vraiment le NPU avec un LLM local
• Snapdragon X Elite : LLM local sur PC ARM

#Que regarder à la place avant d'acheter

1. 01
   La mémoire que le GPU peut utiliser

   La VRAM d'une carte dédiée, ou la mémoire unifiée d'un Mac ou d'une machine Strix Halo. C'est elle qui décide quels modèles se chargent.
2. 02
   La bande passante de cette mémoire

   C'est elle qui décide directement du nombre de tokens générés par seconde.
3. 03
   Le chemin logiciel

   NVIDIA sans aucune friction, Apple Silicon presque aussi bien, AMD correctement pris en charge sous Linux.
4. 04
   Les TOPS du NPU

   Utiles si vous voulez les fonctions Copilot+ de Windows et une longue autonomie en visioconférence. Sans effet sur les LLM à poids ouverts aujourd'hui.

• Matériel pour l'IA locale : nos fiches machines
• Mini-PC Ryzen AI Max+ 395 : le cas où la mémoire unifiée change la donne
• Quel GPU pour un LLM local ?
• Microsoft : les appareils Copilot+ et leur NPU
• Source : Wikipedia, histoire et architecture des NPU
• Source : communiqué AMD, Ryzen AI 400 (CES 2026)

#FAQ