ControlNet: Kontrolle über die Komposition Ihrer images

#Das Problem, das gelöst wird

Text eignet sich schlecht, um Geometrie zu beschreiben. In einem Prompt beschreibt man ein Motiv, einen Stil und eine Atmosphäre, doch die Position einer Hand, der Winkel eines Gebäudes oder die genaue Silhouette eines Produkts lassen sich nicht mit Worten festlegen. Startet man die Generierung mit einem anderen Seed erneut, verändert sich die Komposition vollständig. ControlNet verändert die Eingabe, nicht den Prompt: Sie stellen ein Bild bereit, das die gewünschte Struktur kodiert. Das Modell wird bei jedem Schritt der Rauschunterdrückung anhand dieses Bildes konditioniert, und der Prompt steuert alles Übrige.

Die Methode stammt aus einem Forschungsartikel: „Adding Conditional Control to Text-to-Image Diffusion Models“ von Lvmin Zhang, Anyi Rao und Maneesh Agrawala, der im Tagungsband der ICCV 2023 veröffentlicht und mit dem Marr-Preis für den besten Artikel der Konferenz ausgezeichnet wurde. Der Abstract beschreibt das Prinzip: ControlNet friert das Diffusionsmodell ein, verwendet dessen vortrainierte Encoder-Schichten als Grundlage und bindet die trainierbare Kopie über „zero convolutions“ an — mit null initialisierte Faltungsschichten, die die Parameter schrittweise wachsen lassen und verhindern, dass schädliches Rauschen das Training stört. Die Autoren zeigen außerdem, dass das Training sowohl mit kleinen Datensätzen von weniger als 50.000 Bildern als auch mit großen von mehr als einer Million Bildern robust bleibt.

Was dies für Sie bedeutet: Ein Kontrollmechanismus wird einem bestehenden Modell hinzugefügt, ohne das Modell neu trainieren zu müssen, und jeder Kontrolltyp ist eine getrennte Datei. Deshalb ist es wichtig, die richtige Datei für die richtige Modellfamilie zu verwenden.

#Die Art der Steuerung auswählen

Das offizielle Repository von ControlNet 1.1 kündigt 14 Modelle an, davon 11 produktionsreife und 3 experimentelle, die alle nach einer einheitlichen Regel benannt sind. Für Tiefenkarten führt es drei unterstützte Präprozessoren auf: Depth_Midas, Depth_Leres und Depth_Zoe. Ein Präprozessor ist ein Werkzeug, das Ihr Referenzbild in eine Kontrollkarte umwandelt, beispielsweise ein Foto in eine Tiefenkarte.

Die Faustregel: Wählen Sie die lockerste Steuerung, die noch das erfasst, worauf es Ihnen ankommt. Eine konturbasierte Konditionierung anhand eines Fotos reproduziert das Foto: Wenn genau das gewünscht ist, war die Generierung überflüssig. Tiefe oder Pose bieten im Allgemeinen ein besseres Gleichgewicht zwischen Vorgabentreue und Kreativität.

#Die wichtigsten Einstellungen

Die Namen variieren je nach Tool, aber drei Einstellungen tauchen überall auf. Die Tabelle zeigt deren Namen in den drei am häufigsten verwendeten Umgebungen gemäß ihren Dokumentationen.

Die Stärke ist der wirksamste Hebel: Nahe dem Maximum wirkt das Ergebnis starr, und eine geringere Stärke korrigiert die meisten starr wirkenden Bilder. Die Steuerung vor dem Ende des Entrauschens zu beenden, legt die Komposition fest und lässt dem Modell zugleich Freiheit bei der Darstellung von Materialien und Licht. Die AUTOMATIC1111-Erweiterung ergänzt einen Control Mode mit drei Einstellungen: Balanced, My prompt is more important und ControlNet is more important, um zwischen Prompt und Steuerung abzuwägen.

#Anfangswerte, die von den Modellautoren veröffentlicht wurden

Statt eigene Zahlen zu erfinden, beginnen Sie mit den Werten, die die Hersteller angeben. Sie variieren erheblich von Familie zu Familie, was daran erinnert, dass eine Einstellung, die für SD 1.5 gültig ist, nicht auf andere übertragen werden kann.

#Welches ControlNet für welche Familie?

Das Angebot hat sich seit SD 1.5 erheblich verändert, und viele Anleitungen sind veraltet. Die Tabelle unterscheidet, was das Modell-Team veröffentlicht, von dem, was die Community veröffentlicht, da dies die Wartung und die Lizenzbedingungen beeinflusst.

Zwei Punkte sollten ausdrücklich erwähnt werden. Erstens hat Black Forest Labs FLUX.1 Depth und FLUX.1 Canny für seine API als veraltet gekennzeichnet, einschließlich der LoRA-Versionen: Die offenen Gewichte bleiben auf Hugging Face verfügbar, werden vom Anbieter aber nicht mehr gepflegt. Zweitens vereinen die „Union“-Modelle mehrere Modi in einer einzigen Datei. Das spart Speicherplatz auf dem Datenträger, geht aber mit einem unterschiedlichen Reifegrad einher: Die Modellbeschreibung von InstantXs ControlNet Union für Flux stellt es als erste Betaversion vor, die möglicherweise noch nicht vollständig trainiert ist.

Die Lizenz entspricht nicht automatisch der des Basismodells: Jede Kontrolldatei hat ihre eigene Lizenz, und diese unterscheidet sich von Datei zu Datei.

#Was dafür an Dateien und Speicher benötigt wird

Ein ControlNet ist ein zusätzliches Netzwerk, das neben dem Basismodell läuft: Es erhöht den VRAM-Bedarf und die Rechenzeit pro Bild. Die auf Hugging Face veröffentlichten Dateigrößen liefern eine erste Größenordnung: Sie kommen zu den Gewichten des Basismodells und seines Textencoders hinzu.

Zwei Erkenntnisse. Erstens benötigt eine Steuerung in Form einer LoRA nur einen Bruchteil des Speicherplatzes eines vollständigen Modells: Stability AI stellt seine Control-LoRA als Möglichkeit vor, die Steuerung auf einem breiteren Spektrum handelsüblicher Grafikkarten verfügbar zu machen. Zweitens ist beim Format Vorsicht geboten: Die .pth-Dateien von ControlNet 1.1 sind Python-Pickles, auf die Hugging Face mit einer Warnung vor Pickle-Imports hinweist. Bevorzugen Sie die .safetensors-Versionen, die keinen Code ausführen können.

Wie viel zusätzlicher VRAM wird benötigt? Die Anbieter nennen keine allgemeingültige Zahl, und der gemessene Wert hängt vom Modell und der Auflösung ab. Wenn der Speicher voll ist, helfen folgende Maßnahmen in dieser Reihenfolge: die Auflösung senken, die Anzahl gleichzeitig eingesetzter Steuerungen reduzieren und anschließend zu einer weniger speicherintensiven Steuerung wechseln, etwa einem Control-LoRA oder einer Version mit halber Präzision. Zum grundlegenden Speicherbedarf siehe den VRAM-Leitfaden.

• VRAM: Was ist das, und wie viel benötigt man für KI?

#Wo Sie es einsetzen können

ControlNet ist keine eigenständige Anwendung: Es läuft innerhalb einer Oberfläche zur Bilderzeugung. In ComfyUI übernehmen zwei Knoten die Arbeit: Load ControlNet liest die Dateien aus dem Ordner models/controlnet, und Apply ControlNet erhält das Kontrollbild und die Einstellungen aus der obigen Tabelle. Die ComfyUI-Dokumentation weist darauf hin, dass der Softwarekern nicht alle Präprozessoren enthält: Häufig ist eine Erweiterung wie ComfyUI ControlNet aux nötig. Denken Sie daran, dass eine Erweiterung Code ist, der mit Ihren Berechtigungen ausgeführt wird: Installieren Sie nur bekannte Erweiterungen. Für Z-Image Turbo gehört die Kontrolldatei in einen anderen Ordner, models/model_patches.

In der klassischen Weboberfläche fügt die Erweiterung sd-webui-controlnet von AUTOMATIC1111 ein Bedienfeld unter dem Prompt hinzu. Ihr letzter Eintrag im Abschnitt mit Neuigkeiten, Version 1.1.454, stammt aus Juli 2024, ebenso wie ihr letzter Commit: Sie funktioniert weiterhin mit SD 1.5 und SDXL, wird neuere Modelle aber nicht mehr unterstützen. Forge integriert ControlNet laut seinem README direkt, ohne diese Erweiterung zu verwenden.

#Mehrere Steuerungen gleichzeitig kombinieren

Sie können problemlos zwei Steuerungen kombinieren, zum Beispiel eine Posensteuerung für die Körperhaltung der Figur und eine Tiefensteuerung für die Umgebung. Die Dokumentation von diffusers nennt die Regel: Maskieren Sie die Konditionierungen für gute Ergebnisse so, dass sie sich nicht überlappen, und experimentieren Sie mit unterschiedlichen Stärken, um die Gewichtung jeder Steuerung anzupassen. Ihr SDXL-Beispiel kombiniert Canny und Tiefe mit jeweils 0,5. In ComfyUI werden die Apply ControlNet-Knoten hintereinander geschaltet. Für beide gelten dieselben Prinzipien: Nur Steuerungen kombinieren, die unterschiedliche Aspekte des Bildes betreffen, und die Stärke jeder Steuerung reduzieren, da sich die Effekte addieren.

#Wenn der Kontrollmechanismus ignoriert wird

Das ControlNet-Modell erscheint nicht in der Liste

Die Datei befindet sich im falschen Ordner oder ihre Konfigurationsdatei trägt nicht den gleichen Namen. In ComfyUI ist der Ordner models/controlnet.

Die Ausgabe ignoriert die Referenz

Inkompatibilität zwischen der Basismodellfamilie und der Kontrollmodellfamilie, ein Präprozessor, der eine leere Kontrollkarte erzeugt hat, oder eine zu niedrig eingestellte Stärke. Zeigen Sie die Kontrollkarte selbst an, bevor Sie andere Ursachen vermuten.

Die Bilder wirken starr und leblos

Zu hohe Stärke oder Steuerung während des gesamten Entrauschungsprozesses. Verringern Sie die Stärke und beenden Sie die Steuerung vor dem Ende.

Enttäuschendes Ergebnis mit einem Union-Modell

Die Autoren des Union-Modells von InstantX schreiben, dass selbst ein vollständig trainiertes Union-Modell schlechter sein kann als spezialisierte Modelle, etwa das Modell für Posen. Probieren Sie ein dediziertes ControlNet aus und schreiben Sie einen detaillierten Prompt, wie es die Modellkarte von Shakker Labs empfiehlt.

Speicher voll

Reduzieren Sie die Auflösung, entfernen Sie ein ControlNet-Modul oder verwenden Sie eine leichtere Version des Moduls.

• ComfyUI: die graphbasierte Oberfläche installieren
• AUTOMATIC1111: die klassische Weboberfläche
• Übersicht zur lokalen Bildgenerierung
• Das KI-Bilder-Kit: ControlNet-Workflows und -Einstellungen je nach Grafikkarte
• Quelle: das offizielle ControlNet-Repository
• Quelle : der ursprüngliche Forschungsartikel, ICCV 2023
• Quelle: die Control-LoRA von Stability AI für SDXL
• Quelle: FLUX.1 Tools und die Abkündigung von Depth und Canny

#FAQ