VC-KI-Bildgenerator
KI-Bildgenerator mit Verifiable Credentials
Als Full-Stack-Engineer an der Hochschule Mittweida im Rahmen des Forschungsprojekts ID-Ideal habe ich eine Softwarelandschaft entwickelt, die es den Nutzenden ermöglicht, KI-generierte Bilder zu erstellen und diese als Verifiable Credentials (VCs) zu erhalten. Dabei kam hauptsächlich die Programmiersprache Dart mit dem Framework Flutter zum Einsatz.
Die Leitung Forschungsprojekts gab dabei die Anforderungen und den Rahmen vor. Ich habe nach einer Einarbeitungsphase die komplette Softwarelandschaft eigenständig geplant, entworfen, implementiert, erweitert, getestet und gewartet.
Die erzeugten Bilder wurden auch automatisiert in einen Shopify-Webshop hochgeladen, um dort als Print-on-Demand-Produkte angeboten zu werden. Dabei bekamen die Bilder ebenfalls automatisiert einen Titel und eine Beschreibung, die durch Large Language Models (LLMs) generiert wurden.
Das Ergebnis des Projekts wurde in Form eines wissenschaftlichen Arbeitspapiers veröffentlicht.
Artikel auf ResearchGate ansehen
Architektur
Die Softwarelandschaft besteht aus mehreren Komponenten, die mittels Websockets miteinander kommunizieren. Zum Zeitpunkt der Veröffentlichung des Arbeitspapiers bestand die Landschaft aus folgenden Komponenten:
- Art Bubble: Frontend-Anwendung zur Interaktion mit den Nutzenden.
- Stable Diffusion Proxy: Vermittler zwischen Art Bubble (und anderen Softwarekomponenten) und dem KI-Bildgenerator Stable Diffusion.
- Shop Integration: Automatisches Hochladen und Erstellen von Produkten im Shopify-Webshop
Art Bubble
Art Bubble ist die Hauptkomponente, mit der die Nutzenden interagieren. Die Anwendung wurde in Dart mit dem Framework Flutter entwickelt und läuft als Webanwendung im Browser. Über das Frontend können die Nutzenden Bilder generieren und als Verifiable Credentials empfangen. Die Steuerung der Prozesse erfolgt dabei im Backend. Dieses kommuniziert über Websockets mit dem Stable Diffusion Proxy, um Bilder zu generieren und mit der Shop Integration, um die Bilder in den Webshop hochzuladen.
Stable Diffusion Proxy & Shop Integration
Der Stable Diffusion Proxy dient als Vermittler zwischen der Art Bubble (und anderen Softwarekomponenten, die zu einem späteren Zeitpunkt hinzugefügt wurden) und dem KI-Bildgenerator Stable Diffusion. Dieser beinhaltet nicht nur die Weiterleitung der Bildgenerierungsanfragen, sondern verwaltet diese auch. Dabei wird eine Warteschlange verwendet, die mittels Scheduling abgearbeitet wird. Die Verarbeitung der Anfragen passiert dabei allerdings nicht (nur) nach dem First-Come-First-Serve-Prinzip, sondern es können auch Prioritäten vergeben werden. So werden von Nutzenden angefragte Bilder bevorzugt behandelt, während Anfragen von Hintergrundprozessen (z.B. die Shop Integration) mit niedrigerer Priorität abgearbeitet werden. Bilder, welche im Batch generiert werden, werden sogar nur zu bestimmten Tageszeiten generiert, um die Generierung von Nutzenden-Anfragen nicht zu beeinträchtigen.
Die Shop Integration ist für das automatische Hochladen und Erstellen von Produkten im Shopify-Webshop verantwortlich. Nachdem ein Bild generiert wurde, wird dieses zusammen mit einem automatisch generierten Titel und einer Beschreibung (beides generiert durch Large Language Models) genutzt, um ein neues Produkt im Webshop zu erstellen.