Real-ESRGAN: Bilder vergrößern in lokal

#Was ein KI-basiertes Vergrößerungstool tut

Eine klassische Bildvergrößerung arbeitet mit Interpolation: Sie berechnet Zwischenpixel aus den benachbarten Pixeln, wodurch ein größeres und unschärferes Bild entsteht. Ein lernbasierter Bildvergrößerer arbeitet anders. Er wurde darauf trainiert, aus einer qualitativ verschlechterten Version ein scharfes Bild wiederherzustellen, und rekonstruiert das, was dem Original am ähnlichsten ist: Texturen, Kanten, Körnung. Der Unterschied lässt sich in einem Satz zusammenfassen: Interpolation erzeugt keine Informationen, das Modell erfindet sie. Genau das verlangen wir von ihm, und deshalb muss man wissen, wo man es nicht einsetzen sollte.

Real-ESRGAN geht auf einen Artikel von Xintao Wang, Liangbin Xie, Chao Dong und Ying Shan (Tencent ARC Lab) zurück, der im Juli 2021 auf arXiv veröffentlicht und bei den ICCV Workshops vorgestellt wurde: „Training Real-World Blind Super-Resolution with Pure Synthetic Data“. Die Zusammenfassung beschreibt die Idee: ein ausschließlich mit synthetischen Daten trainiertes Modell mit einer Modellierung von Bildverschlechterungen „höherer Ordnung“, die reale Bildfehler (Unschärfe, Rauschen, Kompression) besser simuliert, und einem U-Net-Diskriminator. „Blind“ bedeutet, dass das Modell nicht wissen muss, welche Bildverschlechterung das Bild erfahren hat. Das Repository hat mehr als 36.000 Sterne.

#Die Modelle: Welches sollten Sie wählen?

Der Katalog des Projekts unterscheidet zwischen Modellen für Fotos und Modellen für Illustrationen, und diese Wahl hat den größten Einfluss auf das Ergebnis. Die Anime-Variante wird als für diesen Bildtyp optimiert beschrieben, mit einem kleineren Netzwerk, und das Projekt vergleicht sie mit waifu2x. Probieren Sie sie bei einer Zeichnung zuerst aus: Ein Fotomodell kann gleichmäßigen Farbflächen, die glatt bleiben sollten, eine Textur verleihen. Prüfen Sie das an Ihrem Bild.

#Drei Möglichkeiten zum Starten

Das README beschreibt drei Möglichkeiten: eine Online-Demo, die portable ncnn-Programmdatei und das Python-Skript. Für den regelmäßigen lokalen Einsatz kommen nur die letzten beiden infrage.

#Die genauen Befehle

Die portable ausführbare Datei wird über die Kommandozeile verwendet. Der Hilfetext nennt die Optionen: -i für die Eingabe (Datei oder Ordner), -o für die Ausgabe, -s für den Skalierungsfaktor (2, 3 oder 4), -n für das Modell, -t für die Kachelgröße, -g zur Auswahl der GPU, -f für das Ausgabeformat.

# Exécutable portable : photo agrandie ×4 avec le modèle généraliste
./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesrgan-x4plus

# Script Python : échelle arbitraire (ici ×3,5) avec amélioration des visages
python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs --outscale 3.5 --face_enhance

Das Python-Skript bietet die Option --outscale: Das Modell vergrößert das Bild immer um den Faktor 4, anschließend skaliert das Programm das Ergebnis mit geringem Rechenaufwand auf den gewünschten Maßstab. Außerdem gibt es --tile, um das Bild in Kacheln aufzuteilen und Arbeitsspeicher zu sparen, sowie --fp32 für volle Präzision. Diese ist beim Betrieb auf der CPU zwingend erforderlich (siehe unten).

In ComfyUI werden Upscaling-Modelle in ComfyUI/models/upscale_models abgelegt. Angewendet werden sie mit einem Ladeknoten und anschließend einem Knoten für modellbasiertes Upscaling. Für eine Desktop-Oberfläche nennt die README mehrere Projekte, die Real-ESRGAN integrieren, darunter Upscayl, eine freie Software für Linux, macOS und Windows, die rund 50.000 Sterne hat und in den letzten Tagen aktualisiert wurde.

• ComfyUI: Das Vergrößern als letzter Knoten im Graphen

#Gut nutzen

1. 01
   Das Modell entsprechend dem Bildtyp auswählen

   Foto oder Illustration: Diese Einstellung beeinflusst das Ergebnis am stärksten, weit stärker als der Vergrößerungsfaktor. Fügen Sie dem Befehl immer -n hinzu.
2. 02
   Nicht mehrere Durchgänge hintereinander ausführen

   Zweimal hintereinander um den Faktor ×4 zu vergrößern, erzeugt eine Plastikoptik statt Details. Ein Durchlauf mit dem richtigen Faktor genügt; wenn ×4 zu viel ist, nehmen Sie das ×2-Modell oder die Skalierungsoption.
3. 03
   Vor dem Vergrößern bereinigen

   Eine leichte Rauschreduzierung im Vorfeld verhindert, dass das Modell Rauschen als zu rekonstruierende Details behandelt. Bei realesr-general-x4v3 steuert die Option -dn die Stärke der Rauschreduzierung, um ein zu glattes Ergebnis zu vermeiden.
4. 04
   face_enhance nur für echte Gesichter verwenden

   Die Option face_enhance basiert auf GFPGAN und ist nur für echte Gesichter gedacht: Die FAQ des Projekts rät davon ab, sie bei Animationen zu verwenden, da sie dort unnötig GPU-Speicher verbraucht.
5. 05
   Bei 100 % vergleichen

   Eine Vergrößerung beurteilt man auf Pixelebene, nicht anhand eines Vorschaubilds. Viele Ergebnisse, die in kleiner Darstellung spektakulär wirken, sehen aus der Nähe glatt und künstlich aus.

#Welche Größe anstreben: eine Berechnung vor dem Start

Ein Vergrößerungsfaktor von ×4 ist nur dann nützlich, wenn die endgültige Größe für eine spezifische Anwendung geeignet ist. Der erforderliche Faktor nach dem Ziel basiert auf einem einfachen Berechnungsverfahren: Pixel = Zentimeter ÷ 2,54 × Auflösung in Punkten pro Zoll, dann Faktor = gewünschter großer Seitenwert ÷ ursprünglicher großer Seitenwert.

Merken Sie sich den Grundsatz: die sinnvoll nutzbare Größe anstreben, nicht die maximale. Ein Bild mit 1.024 × 1.024 Pixeln, das um den Faktor 4 vergrößert wird, hat anschließend 4.096 × 4.096 Pixel, also etwa 16,8 Millionen Pixel, sechzehnmal so viele wie am Anfang: entsprechend mehr Dateidaten zum Speichern, Laden und Nachbearbeiten, für einen Zugewinn, der auf dem Bildschirm oft unsichtbar bleibt. Mit der Option --outscale des Python-Skripts lässt sich der genaue Skalierungsfaktor wählen, statt erst zu stark zu vergrößern und anschließend wieder zu verkleinern.

#In einer Kette zur Bildgenerierung

Bei der lokalen Bildgenerierung ist der Upscaler der letzte Schritt: Man erzeugt ein Bild in einer Auflösung, die die Grafikkarte unterstützt, und vergrößert es anschließend. Das benötigt weniger Speicher, als direkt ein großes Bild zu generieren. Die nativen Auflösungen der Bildmodelle, beispielsweise 512 × 512 für SD 1.5 oder 1024 × 1024 für SDXL, werden im Leitfaden zu Stable Diffusion ausführlich beschrieben. Eine anschließende Vergrößerung um den Faktor 2 macht aus einem SDXL-Bild mit 1024 × 1024 ein Bild mit 2048 × 2048, ohne es erneut durch das Diffusionsmodell laufen zu lassen.

• Stable Diffusion: Versionen, native Auflösungen und Lizenzbedingungen
• Bilder lokal generieren: der Überblick

#Was es erfindet

Der Text

Beim Vergrößern werden kleine Schriftzeichen zu plausibel aussehenden, aber falschen Zeichen. Für ein Dokument braucht es optische Zeichenerkennung, kein Vergrößerungstool.

Gesichter

Ein unscharfes Gesicht wird beim Vergrößern zu einem scharfen Gesicht, das nicht genau dieselbe Person zeigt. Eine Verwendung zur Identifizierung ist in keinem Fall akzeptabel.

Feine Details

Stoffmuster, Laub, Haare: Das Modell erzeugt eine glaubhafte Textur, nicht die ursprüngliche Textur.

Fehler

Ein deutlich sichtbares Kompressionsartefakt wird manchmal geradezu sorgfältig vergrößert, statt entfernt zu werden.

#Troubleshooting: Häufige Fehler

#Wo steht das Projekt im Jahr 2026?

Man muss ehrlich sein, was das Alter angeht. Die letzte veröffentlichte Version, v0.3.0, stammt vom 20. September 2022, und der letzte Commit im Hauptrepository vom 2. April 2024 entfernt eine Konfigurationsdatei für die kontinuierliche Integration. Die ncnn-Implementierung, deren README eine MIT-Lizenz angibt, hat seit Mai 2024 kein Update erhalten. Das macht das Modell nicht schlecht: Es erfüllt seine Aufgabe, ist klein und läuft auch auf weniger leistungsstarken Grafikkarten. Allerdings kann man nicht mit Fehlerbehebungen für neuere Inkompatibilitäten wie die mit torchvision rechnen.

Als Alternativen führt das README von ComfyUI SeedVR2 und SUPIR unter den unterstützten Modellen auf. SeedVR2 stellt sich als Verfahren zur Videorestaurierung in einem Schritt durch adversariales Nachtraining eines Diffusionsmodells vor, und SUPIR zielt auf die fotorealistische Restaurierung von Bildern „in the wild“ ab. Diese Ansätze basieren auf Diffusion: Wir haben keinen zuverlässigen zahlenbasierten Vergleich mit Real-ESRGAN, und das Risiko erfundener Details ist dort mindestens ebenso hoch. Lesen Sie vor einer kommerziellen Nutzung die Lizenz von SUPIR, die GitHub als „Other“ einstuft. Für die meisten alltäglichen Fotos und Illustrationen bietet Real-ESRGAN weiterhin ein gutes Verhältnis zwischen Einfachheit, Geschwindigkeit und benötigter Hardware.

• ControlNet: Die Komposition vorab beherrschen
• Das Kit KI-Bilder
• Quelle: das offizielle Repository von Real-ESRGAN
• Quelle: Forschungsartikel auf arXiv
• Quelle: die Implementierung ncnn-vulkan

#FAQ