Optimiser les thermiques en inférence

#Pourquoi les thermiques comptent pour un serveur d'inférence

Un GPU protège sa puce : lorsque la température ou la puissance dépasse ce que son firmware autorise, il baisse ses fréquences. Ce mécanisme s'appelle le throttling. La documentation de nvidia-smi distingue ses causes : un ralentissement logiciel lié à la température (« sw thermal slowdown »), un ralentissement matériel plus brutal qui réduit les fréquences d'un facteur 2 ou plus (« hw thermal slowdown »), et un plafond de puissance (« sw power cap »). Si toutes ces raisons sont indiquées comme inactives, les fréquences tournent aussi haut que possible.

Le seuil n'est pas le même sur toutes les cartes. NVIDIA le définit comme « GPU Slowdown Temp », la température à laquelle le matériel commence à optimiser les fréquences pour refroidir, et l'expose dans nvidia-smi. Ne vous fiez donc pas à un chiffre général comme « 83 °C » : lisez la valeur de votre carte. Les conséquences d'un throttling sont la baisse de vitesse et, si les ventilateurs compensent, du bruit ; à long terme, une carte qui tourne chaude en permanence vieillit plus vite, mais nous n'avons pas de chiffre fiable à citer sur ce point.

#Mesurer avant de régler : ce que dit vraiment la carte

Le point de départ est de savoir si la carte ralentit et pourquoi. Deux commandes suffisent sur une carte NVIDIA. La première affiche en continu la température, la puissance, la fréquence du cœur et l'utilisation ; la seconde détaille les raisons de ralentissement et les seuils de température de votre modèle.

nvidia-smi --query-gpu=timestamp,temperature.gpu,power.draw,clocks.current.graphics,clocks.current.memory,utilization.gpu --format=csv -l 1

nvidia-smi -q -d PERFORMANCE
nvidia-smi -q -d TEMPERATURE

rocm-smi --showtemp --showpower --showuse

Lancez ces commandes pendant une génération de plusieurs minutes, pas au repos. Deux lectures comptent. Si la fréquence du cœur chute alors que la température monte et qu'une raison thermique est active, c'est un problème de refroidissement. Si le cœur reste haut mais qu'un plafond de puissance est actif, la carte est limitée par sa consommation : abaisser encore la limite n'aura pas d'effet de vitesse notable en génération, mais elle réduira la chaleur.

#La limite de puissance : le réglage qui rapporte le plus

Plafonner la puissance est plus simple que retoucher la courbe de tension, et réversible. Pour une inférence limitée par la mémoire, la perte est faible jusqu'à un certain seuil, puis brutale. Le blog runaihome, qui a mesuré une RTX 3090 avec un modèle dense de 27 milliards de paramètres, indique que de 350 W à 250 W la carte perd moins de 3 % de sa vitesse pour 100 W en moins, et que, à 200 W, la fréquence du cœur s'effondre et la vitesse chute de 35 %.

Pour une RTX 4090, le même blog cite Tom's Hardware, selon lequel une limite à 70 % de la puissance (environ 315 W) conserve environ 94 % des performances. Ces chiffres viennent de sources secondaires et d'une carte donnée : ne les appliquez pas tels quels à la vôtre. La méthode fiable est de mesurer votre débit sur une génération longue, en abaissant la limite par paliers de 25 à 50 W et en vous arrêtant avant la chute.

# Lire la limite par défaut, minimale et maximale
nvidia-smi -q -d POWER

# Appliquer 250 W sur la carte 0 (nécessite les droits root)
sudo nvidia-smi -i 0 -pl 250

La documentation de nvidia-smi précise que la valeur doit être comprise entre la limite minimale et maximale rapportée par la carte, et que la commande demande les droits root. Vérifiez après un redémarrage que la limite est toujours appliquée : si elle est revenue à la valeur par défaut, créez une unité systemd qui la réapplique au démarrage.

[Unit]
Description=Limite de puissance GPU
After=multi-user.target

[Service]
Type=oneshot
ExecStart=/usr/bin/nvidia-smi -i 0 -pl 250
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

Activez-la avec sudo systemctl enable --now nvidia-power-limit.service.

#Courbe des ventilateurs : agressive tôt plutôt que brutale tard

La courbe d'usine privilégie le silence : ventilateurs lents jusqu'à une température élevée, puis rampe. Pour une charge continue, une courbe qui démarre plus tôt maintient la carte plus fraîche pour un bruit comparable, parce qu'elle évite les pics de vitesse. Sous Windows, MSI Afterburner règle la courbe ; sous Linux, LACT est une application graphique de contrôle des GPU AMD, NVIDIA et Intel qui inclut le contrôle des ventilateurs.

Ces valeurs sont un point de départ, pas une recommandation constructeur. Réglez le dernier palier à partir de la valeur « GPU Slowdown Temp » de votre carte, et jugez le résultat au bruit tolérable dans la pièce. Sur macOS, Apple gère les ventilateurs : il n'y a pas de réglage de courbe.

#Undervolting : plus fin, plus long à valider

L'undervolting consiste à obtenir une même fréquence avec une tension plus basse, donc moins de chaleur. Il se règle sous Windows dans MSI Afterburner (courbe fréquence-tension) ; sous Linux, l'approche courante est de verrouiller les fréquences avec l'option de nvidia-smi qui fixe l'intervalle de fréquences du cœur. Le gain dépend de la carte : chaque puce a sa propre marge, et un réglage trop agressif provoque des erreurs ou des plantages plus tard, pas immédiatement.

1. 01
   Partir d'une limite de puissance qui fonctionne

   Commencez par la limite de puissance : c'est le gain le plus sûr. N'ajoutez un undervolt que si la carte reste trop chaude ou trop bruyante.
2. 02
   Fixer une fréquence maximale

   Verrouillez la fréquence du cœur à une valeur inférieure au maximum de boost, par exemple avec nvidia-smi -lgc suivi d'un intervalle de fréquences en MHz.
3. 03
   Tester longtemps

   Lancez une génération continue d'au moins 30 minutes. Une instabilité se manifeste par des erreurs CUDA, des plantages du pilote ou des sorties incohérentes.
4. 04
   Comparer

   Mesurez la vitesse et la température avant et après sur le même modèle et le même prompt, puis gardez le réglage seulement si la perte de vitesse est négligeable.
5. 05
   Annuler si besoin

   Réinitialisez les fréquences (nvidia-smi -rgc) ou redémarrez pour revenir aux réglages d'usine.

#Boîtier et flux d'air : le gain se mesure en degrés

Chemin de l'air

Un flux clair de l'avant vers l'arrière, avec de l'air frais dirigé vers les ventilateurs de la carte. Un câblage qui obstrue le flux coûte des degrés.

Filtres et poussière

Un filtre encrassé réduit le débit d'air : nettoyez-le régulièrement, et dépoussiérez le radiateur de la carte à l'air comprimé, ventilateurs bloqués pour ne pas les faire tourner en surrégime.

Espace autour de la carte

Deux cartes collées en multi-GPU chauffent la première ; espacez-les ou ajoutez un ventilateur latéral.

Environnement

Une pièce à 30 °C contre 20 °C ajoute ses dix degrés à la carte : un serveur dans un placard fermé est un problème thermique avant d'être un problème de carte.

Pour juger un réglage sans se tromper, gardez un protocole constant : le même modèle, le même prompt long et la même durée de génération, en changeant un seul paramètre à la fois. Notez la température maximale, la fréquence du cœur et le débit moyen en fin de génération, pas au début, car une carte froide donne toujours de meilleurs chiffres que la même carte après vingt minutes. Refaites la mesure à la même température ambiante, sans quoi la comparaison est faussée par la pièce, pas par le réglage.

#Repasting : dernier recours, avec ses risques

Au bout de plusieurs années, la pâte et les pads thermiques d'une carte d'occasion peuvent avoir séché. Le symptôme est une température plus haute qu'à l'achat pour la même charge, malgré un boîtier propre. Démonter une carte graphique fait perdre la garantie, peut endommager les pads et la puce, et demande de la méthode. N'y venez qu'après avoir écarté les causes plus simples : poussière, flux d'air, limite de puissance, température ambiante. Si vous n'êtes pas sûr, confiez-la à un prestataire ; comparez le coût à celui d'une carte de remplacement.

#Portables et Mac : les leviers changent

Sur un ordinateur portable, vous ne réglez ni la tension ni la pâte. Le levier utile est le mode d'alimentation. Apple décrit deux modes : le mode Économie d'énergie, qui, sur macOS Sequoia 15.1 et plus récent, réduit aussi le bruit des ventilateurs sur les modèles à refroidissement actif, et le mode Haute puissance, qui permet aux ventilateurs de tourner plus vite pour maintenir les performances dans les charges très intensives, avec un bruit supplémentaire. Pour un MacBook Air sans ventilateur, les seuls leviers sont un support qui dissipe la chaleur, le secteur et un modèle plus petit.

• Réglages macOS pour Apple Silicon
• MacBook Pro M2 Pro / Max
• MacBook Air M3

• Choisir son GPU pour l'IA locale
• Config PC IA 32 Go
• Setup multi-GPU avec llama.cpp
• Source : documentation nvidia-smi
• Source : mesures de limite de puissance (runaihome)
• Source : Apple, modes d'alimentation du Mac

#Questions fréquentes