CUDA : c'est quoi, et faut-il l'installer pour l'IA ?

#CUDA, c'est quoi ?

Une carte graphique contient des milliers de petits processeurs conçus pour appliquer la même opération à de très nombreuses données en même temps, plutôt qu'une opération complexe à la fois comme un CPU. À l'origine, on ne pouvait les exploiter qu'à travers les interfaces graphiques : il fallait déguiser un calcul en image pour le faire passer par le pipeline 3D. CUDA, pour Compute Unified Device Architecture, a supprimé ce déguisement dès son lancement en 2007. Un programmeur écrit du code ordinaire, en C, en C++ ou appelé depuis Python, et il s'exécute directement sur ces processeurs, sans détour par le rendu graphique.

Dans l'usage courant, « CUDA » désigne quatre choses à la fois : le modèle de programmation, le compilateur nvcc, la partie du pilote qui exécute le code, et un ensemble de bibliothèques optimisées comme cuBLAS pour l'algèbre linéaire et cuDNN pour les réseaux de neurones. Les frameworks comme PyTorch reposent sur ces bibliothèques, et les applications d'IA reposent à leur tour sur les frameworks : c'est un empilement en couches successives, où chaque étage masque la complexité de celui du dessous. Quand un outil annonce « compatible CUDA », cela signifie concrètement que ses calculs lourds, multiplications de matrices et convolutions en tête, finissent exécutés dans ces bibliothèques propriétaires de NVIDIA plutôt que dans du code générique.

#Et les « cœurs CUDA » ?

C'est le nom marketing que NVIDIA donne aux processeurs parallèles d'un GPU, ses unités de calcul de base. Une RTX 4060 en compte 3 072, une RTX 5090 en compte 21 760, presque sept fois plus, selon les fiches techniques du constructeur. Plus de cœurs, c'est plus de calculs par seconde, ce qui compte directement pour la génération d'images, l'entraînement d'un modèle et la lecture du prompt par un LLM, la phase où le GPU doit traiter d'un coup tout le texte déjà écrit.

Cela compte beaucoup moins pour ce que l'on ressent le plus avec un LLM au quotidien : la vitesse d'écriture, token après token. Là, la limite est la vitesse à laquelle les poids sont lus en mémoire, pas celle à laquelle ils sont multipliés une fois lus. Une carte avec moins de cœurs mais une VRAM plus grande et plus rapide écrira donc souvent plus vite, à l'usage, qu'une carte plus puissante sur le papier mais à la mémoire plus étroite.

• VRAM : pourquoi la mémoire compte plus que les cœurs

#Pilote, bibliothèques, Toolkit : que faut-il installer ?

• Le cas où le Toolkit est nécessaire : compiler llama.cpp avec CUDA
• Installer Ollama sur Windows

#Lire ses numéros de version

nvidia-smi        # version du pilote, et version MAXIMALE de CUDA qu'il sait exécuter
nvcc --version    # version du Toolkit, s'il est installé

Ces deux numéros diffèrent légitimement, et le premier trompe presque tout le monde. Quand nvidia-smi affiche « CUDA Version: 13.0 », cela veut dire que votre pilote peut exécuter des logiciels compilés pour CUDA jusqu'à la version 13.0. Cela ne veut pas dire que le Toolkit est installé. Et un logiciel compilé pour une version plus ancienne de CUDA fonctionne sans problème avec un pilote récent.

#La capacité de calcul, génération par génération

Chaque GPU NVIDIA porte un numéro de « capacité de calcul » (compute capability) qui identifie son architecture et les instructions qu'elle comprend nativement. Les logiciels sont compilés pour des capacités précises, généralement une plage de versions couvertes par un même paquet, et les projets abandonnent régulièrement la prise en charge des plus anciennes au fil des mises à jour. C'est cela, bien plus que la vitesse de calcul brute, qui met fin à la carrière d'une carte en IA locale : une RTX 2060 reste physiquement fonctionnelle des années après son achat, mais certains outils récents refusent de s'y installer faute de code compilé pour sa génération.

La dernière ligne explique la vague de messages « ma RTX 50 n'est pas détectée » : un binaire compilé avant l'existence de cette architecture ne contient aucun code pour la capacité 12.0. La solution est une version plus récente de l'outil, ou un PyTorch construit pour une version récente de CUDA.

#CUDA face à ROCm, Metal et Vulkan

L'avance de CUDA ne tient pas à ce que les autres seraient incapables de faire les calculs. Elle tient à près de vingt ans de bibliothèques, d'outils et de code éprouvé, construits GPU après GPU depuis 2007 selon la page officielle du projet. Pour l'inférence avec les outils courants, l'écart s'est beaucoup réduit : llama.cpp tourne sur les cinq plateformes, avec des performances proches à quantification égale sur du matériel comparable. Pour l'entraînement, le fine-tuning et le code de recherche tout juste publié sur GitHub, en revanche, CUDA reste le seul chemin qui fonctionne dès le premier jour : c'est presque toujours la première cible, parfois la seule, des dépôts qui accompagnent un nouvel article scientifique, souvent plusieurs mois avant qu'un portage vers les autres plateformes n'apparaisse, s'il apparaît un jour.

• Ollama sur GPU AMD avec ROCm
• llama.cpp avec Vulkan, le backend universel
• Sur Mac : MLX ou llama.cpp ?
• Source : Wikipedia, historique et architecture de CUDA
• Source : tableau des capacités de calcul CUDA par GPU (GPUSmith)

#Ce que cela change au moment d'acheter

Vous voulez que tout fonctionne sans dépannage

Prenez une carte NVIDIA, et privilégiez la capacité de VRAM au nombre de cœurs CUDA affiché sur la boîte : c'est elle qui décide si un modèle se charge, pas la puissance de calcul brute.

Vous faites surtout tourner des GGUF dans Ollama ou LM Studio

Un Mac Apple Silicon, ou une Radeon récente sous Linux avec ROCm, est un choix légitime : llama.cpp couvre correctement ces deux plateformes, et vous y perdez peu en confort d'usage au quotidien.

Vous comptez faire du fine-tuning, utiliser vLLM ou suivre des dépôts de recherche

L'absence de CUDA vous coûtera du temps chaque semaine, entre les dépendances qui ne se compilent pas et les notebooks publiés en supposant un GPU NVIDIA disponible par défaut.

Vous achetez une carte d'occasion

Évitez tout ce qui est sous la capacité de calcul 7.5, quel que soit le prix affiché : au-delà de la lenteur, certains frameworks récents refusent purement et simplement de s'installer.

• Quel GPU pour un LLM local ?
• Le calculateur de VRAM
• NVIDIA : la capacité de calcul de chaque GPU

#FAQ

Matériel recommandé : RTX 5070 Ti 16 Go — carte NVIDIA récente avec 16 Go de VRAM, prise en charge par CUDA. Tout le matériel IA →