ControlNet : maîtriser la composition de ses images

#Le problème que ça résout

Le texte est une mauvaise langue pour la géométrie. On décrit un sujet, un style et une ambiance dans un prompt, mais la position d'une main, l'angle d'un bâtiment ou la silhouette exacte d'un produit ne se fixent pas avec des mots. On relance avec une autre graine et la composition change entièrement. ControlNet change l'entrée, pas le prompt : vous fournissez une image qui encode la structure voulue, le modèle est conditionné dessus à chaque étape du débruitage, et le prompt gouverne tout le reste.

La méthode vient d'un article de recherche : « Adding Conditional Control to Text-to-Image Diffusion Models », de Lvmin Zhang, Anyi Rao et Maneesh Agrawala, publié dans les actes d'ICCV 2023 et lauréat du prix du meilleur article de la conférence, le prix Marr. Son résumé décrit le principe : ControlNet verrouille le modèle de diffusion, réutilise ses couches d'encodage préentraînées comme socle, et relie la copie entraînable par des « zero convolutions », des couches de convolution initialisées à zéro qui font croître les paramètres progressivement et évitent qu'un bruit nuisible perturbe l'entraînement. Les auteurs montrent aussi que l'entraînement reste robuste avec de petits jeux de données, moins de 50 000 images, comme avec de grands, plus d'un million.

Ce que cela change pour vous : un contrôle s'ajoute à un modèle existant sans le réentraîner, et chaque type de contrôle est un fichier séparé. C'est aussi pourquoi il faut le bon fichier pour la bonne famille de modèles.

#Choisir le type de contrôle

Le dépôt officiel de ControlNet 1.1 annonce 14 modèles, dont 11 prêts pour la production et 3 expérimentaux, tous nommés selon une règle unique. Pour la profondeur, il liste trois préprocesseurs acceptés : Depth_Midas, Depth_Leres et Depth_Zoe. Un préprocesseur est l'outil qui transforme votre image de référence en carte de contrôle, par exemple une photo en carte de profondeur.

La règle pratique : prenez le contrôle le plus lâche qui capture encore ce qui vous importe. Un conditionnement par contours sur une photographie reproduit la photographie : si c'est le résultat voulu, la génération était inutile. La profondeur ou la pose donnent en général un meilleur équilibre entre obéissance et créativité.

#Les réglages qui comptent

Les noms varient selon l'outil, mais trois réglages reviennent partout. Le tableau donne leur nom dans les trois environnements les plus courants, d'après leurs documentations.

La force est le levier le plus efficace : près du maximum, le résultat est rigide, et baisser la force corrige la plupart des images figées. Arrêter le contrôle avant la fin du débruitage fixe la composition tout en laissant le modèle libre sur le rendu des matières et de la lumière. L'extension d'AUTOMATIC1111 ajoute un Control Mode à trois positions : Balanced, My prompt is more important et ControlNet is more important, pour arbitrer entre le prompt et le contrôle.

#Des valeurs de départ publiées par les auteurs des modèles

Plutôt que d'inventer des chiffres, partez de ceux que les éditeurs indiquent. Ils varient nettement d'une famille à l'autre, ce qui rappelle qu'un réglage valable pour SD 1.5 ne se transpose pas.

#Quel ControlNet pour quelle famille

L'offre a beaucoup bougé depuis SD 1.5, et beaucoup de guides sont périmés. Le tableau distingue ce que publie le laboratoire du modèle de ce que publie la communauté, car cela conditionne la maintenance et la licence.

Deux points méritent d'être nommés. D'abord, Black Forest Labs a marqué FLUX.1 Depth et FLUX.1 Canny comme dépréciés pour son API, y compris les versions LoRA : les poids ouverts restent disponibles sur Hugging Face, mais l'éditeur ne les maintient plus. Ensuite, les modèles « Union » regroupent plusieurs modes dans un seul fichier, ce qui économise du disque, au prix d'une maturité variable : la fiche du ControlNet Union d'InstantX pour Flux le présente comme une première version bêta peut-être pas entièrement entraînée.

La licence ne suit pas automatiquement le modèle de base : chaque fichier de contrôle a la sienne, et elle change d'un fichier à l'autre.

#Ce que ça coûte en fichiers et en mémoire

Un ControlNet est un réseau supplémentaire qui tourne à côté du modèle de base : il ajoute de la VRAM et du temps par image. Les tailles de fichiers, publiées sur Hugging Face, donnent le premier ordre de grandeur : elles s'ajoutent aux poids du modèle de base et de son encodeur de texte.

Deux enseignements. Premièrement, un contrôle sous forme de LoRA pèse une fraction d'un modèle complet : Stability AI présente ses Control-LoRA comme une manière d'amener le contrôle à un plus large éventail de cartes graphiques grand public. Deuxièmement, il faut se méfier du format : les fichiers .pth de ControlNet 1.1 sont des pickles Python, que Hugging Face signale par un avertissement d'import de pickle. Préférez les versions .safetensors, qui ne peuvent pas exécuter de code.

Combien de VRAM en plus ? Les éditeurs n'annoncent pas de chiffre général, et la mesure dépend du modèle et de la résolution. En cas de mémoire saturée, l'ordre des remèdes est : baisser la résolution, réduire le nombre de contrôles simultanés, puis passer à un contrôle plus léger, comme un Control-LoRA ou une version demi-précision. Pour la mémoire de base, voir le guide sur la VRAM.

• VRAM : c'est quoi, et combien en faut-il pour l'IA

#Où l'utiliser

ControlNet n'est pas une application autonome : il vit dans une interface de génération d'images. Dans ComfyUI, deux nœuds font le travail : Load ControlNet, qui lit les fichiers du dossier models/controlnet, et Apply ControlNet, qui reçoit l'image de contrôle et les réglages du tableau plus haut. La documentation ComfyUI précise que le cœur du logiciel n'inclut pas tous les préprocesseurs : il faut souvent une extension comme ComfyUI ControlNet aux. Rappelez-vous qu'une extension est du code exécuté avec vos droits : n'installez que des extensions connues. Pour Z-Image Turbo, le fichier de contrôle se range dans un autre dossier, models/model_patches.

Dans l'interface web classique, l'extension sd-webui-controlnet d'AUTOMATIC1111 ajoute un panneau sous le prompt. Sa dernière entrée d'actualité, la version 1.1.454, date de juillet 2024, comme son dernier commit : elle fonctionne encore sur SD 1.5 et SDXL, mais ne suivra pas les modèles récents. Forge intègre ControlNet directement, d'après son README, sans passer par cette extension.

#Combiner plusieurs contrôles à la fois

Rien n'empêche d'empiler deux contrôles, par exemple une pose pour la posture du personnage et une profondeur pour le décor. La documentation de diffusers donne la règle : pour de bons résultats, masquez les conditionnements pour qu'ils ne se chevauchent pas, et expérimentez avec des forces différentes pour ajuster le poids de chaque contrôle. Son exemple SDXL combine canny et profondeur à 0,5 chacun. Dans ComfyUI, on enchaîne les nœuds Apply ControlNet. Les mêmes principes valent pour les deux : n'empiler que des contrôles qui portent sur des aspects différents de l'image, et baisser la force de chacun, car les effets s'additionnent.

#Quand le contrôle est ignoré

Le contrôle n'apparaît pas dans la liste

Le fichier est dans le mauvais dossier, ou son fichier de configuration n'a pas le même nom que lui. Dans ComfyUI, le dossier est models/controlnet.

La sortie ignore la référence

Incompatibilité entre la famille du modèle de base et celle du contrôle, préprocesseur qui a produit une carte vide, ou force trop basse. Affichez la carte de contrôle elle-même avant de suspecter autre chose.

Les images sont figées et sans vie

Force trop élevée, ou contrôle appliqué pendant tout le débruitage. Baissez la force et arrêtez le contrôle avant la fin.

Résultat décevant avec un modèle Union

Les auteurs du Union d'InstantX écrivent que même un modèle Union entièrement entraîné peut être moins bon que des modèles spécialisés, comme celui de la pose. Essayez un ControlNet dédié, et écrivez un prompt détaillé, comme le conseille la fiche de Shakker Labs.

Mémoire saturée

Baissez la résolution, retirez un contrôle, ou prenez une version plus légère du contrôle.

• ComfyUI : installer l'interface par graphe
• AUTOMATIC1111 : l'interface web classique
• Panorama de la génération d'images en local
• Le kit Images IA : workflows et réglages ControlNet par carte graphique
• Source : le dépôt officiel de ControlNet
• Source : l'article de recherche original, ICCV 2023
• Source : les Control-LoRA de Stability AI pour SDXL
• Source : FLUX.1 Tools et la dépréciation de Depth et Canny

#FAQ