Optimiser les thermiques en inférence

#Pourquoi les thermiques comptent

Throttling

Dès 83°C sur la plupart des GPU, le firmware baisse la fréquence pour se protéger. -10 à -25 % de tok/s immédiats.

Usure des composants

Les pads thermiques, les condensateurs, les soldures vieillissent plus vite au-delà de 80°C sur le long terme.

Bruit

Les ventilos GPU tournent à 90 % pour compenser = 50+ dB. Inutilisable dans un bureau.

Consommation

Un GPU chaud fuit davantage de courant. Entre 70 et 85°C, 10-15 % de consommation en plus à iso-charge.

#1. Monitorer en continu

nvidia-smi --query-gpu=timestamp,name,temperature.gpu,power.draw,clocks.current.graphics,utilization.gpu \
            --format=csv -l 1

rocm-smi --showtemp --showpower --showuse -l

Zone verte

< 75°C en charge. Usage durable, pas de throttling.

Zone orange

75-82°C. Acceptable ponctuellement, problème si permanent.

Zone rouge

> 82°C. Throttling en cours. Il faut intervenir.

#2. Courbes de ventilation

Les courbes par défaut des GPU sont conservatrices (silencieuses) : ventilos à 30 % jusqu'à 70°C, puis rampe brutale. Pour une inférence continue, préférez une courbe linéaire plus agressive qui démarre tôt.

30°C →  30 %
50°C →  50 %
65°C →  70 %
75°C →  90 %
80°C → 100 %

#3. Undervolting

Baisser la tension d'alimentation du GPU pour une même fréquence. Réduit de 10-20 % la chaleur et la conso, souvent sans perte de perf. Gratuit, réversible.

1. 01
   Ouvrez MSI Afterburner (ou LACT)

   Affichez l'éditeur de courbe V/F (Ctrl+F).
2. 02
   Ciblez 900 mV ou moins

   Amenez un point à 1770 MHz / 900 mV (pour une RTX 3090 par exemple). Aplatissez la courbe à droite.
3. 03
   Testez 30 minutes de charge

   llama-bench ou boucle d'inférence. Si stable = gardé. Si crash = remontez à 925 mV et retestez.
4. 04
   Monitoring post-undervolt

   Attendez -10 à -15°C et -50 à -80 W, pour ~5 % de perf seulement perdue (voire 0 dans certains cas).

#4. Power limit

Plus brutal mais plus simple : limiter la puissance maximale autorisée au GPU. Pour un LLM en inférence, on travaille rarement à pleine puissance, donc la perte est minime.

# Passer une RTX 3090 de 350 W à 280 W
sudo nvidia-smi -i 0 -pl 280

# Persistance au boot (systemd) :
sudo cp /etc/systemd/system/nvidia-pl.service << EOF
[Service]
Type=oneshot
ExecStart=/usr/bin/nvidia-smi -pl 280
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable nvidia-pl

RTX 3090 : 350 W → 280 W

-2 % tok/s, -15°C, -70 W. Excellent trade.

RTX 4090 : 450 W → 320 W

-3 % tok/s, -10°C. Rendement perf/watt max.

RTX 5090 : 575 W → 400 W

-5 % tok/s, -15°C. Utile pour tenir dans un boîtier serré.

#5. Airflow boîtier

Pression positive

Plus d'air entrant que sortant. Moins de poussière, meilleur refroidissement GPU. 3 ventilos in + 2 out typiquement.

Flux direct sur le GPU

Un ventilo en façade basse qui pousse de l'air frais directement sous la carte graphique. Gain 5-10°C.

Ne pas oublier la backplate

Certaines 3090/4090 ont leur VRM à l'arrière. Un ventilo latéral qui souffle dessus est un bonus.

Filtres à poussière

Sur les entrées. Nettoyés mensuellement — un filtre encrassé réduit l'airflow de 30 %.

#6. Repasting (cas extrême)

Au bout de 2-3 ans, la pâte thermique GPU sèche. Hotspot qui grimpe anormalement, perf qui baisse sous charge continue. Solution : démontage + application de pâte neuve (Arctic MX-6, Thermal Grizzly Kryonaut) et pads thermiques de qualité.

Gain

-10 à -20°C sur la hotspot. Retour à la spec d'usine.

Risque

Perte de garantie. Pas facile sur certains modèles (FE NVIDIA notamment).

Quand faire

Si vous constatez un écart hotspot-GPU > 20°C, ou si les températures montent de 5°C+ d'une année sur l'autre malgré un boîtier propre.