Das Text- zu-Bild-Diffusionsmodell hat sich in der Generierung von Bildern als herausragend leistungsfähig erwiesen und wurde weitreichend in der Aufgabe der Bildvervollständigung eingesetzt. Obwohl textliche Hinweise eine intuitive Anleitung für bedingte Bildvervollständigung bieten können, möchten Benutzer häufig das personalisierte Aussehen eines bestimmten Objekts vervollständigen, indem sie ein Bezugsbild bereitstellen. Die aktuellen Methoden zur bebilderten Vervollständigung, die durch Bezug gesteuert werden, tun sich jedoch schwer, eine hochwertige Vervollständigung zu erreichen. Zur Lösung dieses Problems schlagen wir ein LoRA-Modul (Low-Rank Adaptation) auf der Grundlage eines vorab trainierten textgesteuerten Bildvervollständigungsmodells vor. Dieses Modul passt erfolgreich eine spezifische Eigenschaft des Bezugsbildes an und verbessert signifikant die Anpassungsfähigkeit an personalisierte Bezugsbilder, ohne eine umfangreiche Schulung an einem großen Datensatz zu erfordern. Darüber hinaus steigert die Einführung des Schlüsselwortes GPT-4V und der a priori-Rauschinitialisierungstechnik die Qualität der Vervollständigungsergebnisse weiter. Kurz gesagt, der Rauschdiffusionsprozess beginnt zunächst mit dem anfänglichen Rauschen, das aus dem kombinierten Bezug-Hintergrundbild abgeleitet wird, und wird dann von GPT-4V für den weiteren Generierungsprozess geleitet. Zahlreiche Experimente zeigen, dass unser Ansatz sowohl qualitativ als auch quantitativ die höchsten Standards erreicht und den Benutzern ein Werkzeug zur bebilderten Vervollständigung bereitstellt, das eine höhere Anpassungsfähigkeit bietet.

Diffusionsmodell;Bildvervollständigung;bezugsangestrebte Vervollständigung;geringrangige Anpassung