Revolution in der Bildgenerierung durch KI: Wunschbild per Texteingabe

Künstliche Intelligenz:

Veröffentlicht 05.09.2022 12:10, Dagmar Finlayson

In Sekundenschnelle aus Texten Bilder machen – und zwar mit einer herkömmlichen Grafikkarte und ohne Hochleistungsrechner. Das ermöglicht das neue KI-Modell Stable Diffusion. Den zugrundeliegenden Algorithmus hat die Machine Vision & Learning-Arbeitsgruppe um Prof. Björn Ommer (Ludwig-Maximilians-Universität München) entwickelt.

„Selbst Laien ohne künstlerische Fähigkeiten, besondere Computerkenntnisse und Computerhardware erhalten mit dem neuen Modell ein effektives Tool, mit dem ihnen die Barriere genommen wird, ihre Kreativität zu entfalten, indem der Computer Bilder auf einfaches Zurufen generiert“, sagt Ommer. Aber auch erfahrene Künstler können neue Ideen mit Stable Diffusion schnell in eine Vielzahl von grafischen Entwürfen verwandeln. Ein solches KI-basiertes Werkzeug kann nach Überzeugung der Forschenden damit zukünftig die Möglichkeiten der kreativen Bilderzeugung durch Pinsel oder Photoshop so grundsätzlich erweitern, wie die computerbasierte Textverarbeitung es mit dem Schreiben mit Stift und Schreibmaschine gemacht hat.

Bei ihrem Vorhaben wurden die LMU-Wissenschaftler vom Start-up Stability.Ai unterstützt, auf dessen Servern das KI-Modell trainiert wurde. „Dieses Mehr an Rechenpower und Trainingsbeispielen hat unser KI-Modell in einen der leistungsfähigsten Algorithmen zur Bildsynthese verwandelt“, freut sich der Informatiker.

Besonders an dem entwickelten Ansatz ist, dass das trainierte Modell gleichzeitig leistungsfähig und doch so kompakt ist, dass es auf einer herkömmlichen Grafikkarte läuft und keinen Hochleistungsrechner mehr benötigt, wie dies bislang für die Bildsynthese der Fall war. Dazu lernt die künstliche Intelligenz, die Essenz aus Milliarden von Trainingsbildern in einem nur wenige Gigabyte großen KI-Modell zusammenzufassen. „Wenn eine solche KI wirklich verstanden hat, was ein Auto ausmacht oder welche Merkmale für einen künstlerischen Stil charakteristisch sind, sollte sie genau diese wesentlichen Merkmale erfasst haben und idealerweise weitere Beispiele kreieren können, wie es ein Schüler eines alten Meisters vermag“, erklärt Ommer. Für das Ziel der LMU-Wissenschaftler, den Computer das Sehen – also das inhaltliche Verstehen von Bildern – lernen zu lassen ist dies ein weiterer wichtiger Schritt, der die Grundlagenforschung im maschinellen Lernen und der Computer Vision weiter voranbringt.

Das trainierte Modell wurde kürzlich unter der „CreativeML Open RAIL-M“ Lizenz (https://huggingface.co/spaces/CompVis/stable-diffusion-license) frei zur Verfügung gestellt, um so die weitere Erforschung und Anwendung dieser Technologie in der Breite voranzutreiben. „Wir sind gespannt, was mit unserem aktuellen Modell ,gebaut‘ wird und welche weiteren Arbeiten aus der offenen, kollaborativen Forschung hervorgehen werden", meint Doktorand Robin Rombach.

Foto: Aus dem Text "Happy vegetables waiting for supper" generiertes Bild.Machine Vision & Learning©Machine Vision & Learning-Arbeitsgruppe

Quelle: Machine Vision & Learning Group, Ludwig-Maximilians-Universität München


Lesen Sie mehr zum Thema "Special Künstliche Intelligenz"

Effiziente KI-Technologie zur Analyse von MRT-Daten
Special Künstliche Intelligenz
UKB
Mit KI die Lebensqualität von Menschen mit Diabetes verbessern
Special Künstliche Intelligenz
MELISSA

Lesen Sie hier die neuesten Beiträge