Le modèle de diffusion du texte vers l'image a démontré une capacité exceptionnelle dans la génération d'images et a été largement appliqué à la tâche de complétion d'images. Bien que les indications textuelles puissent fournir un guide intuitif pour la complétion conditionnelle d'images, les utilisateurs souhaitent souvent compléter l'apparence personnalisée d'un objet spécifique en fournissant une image de référence. Cependant, les méthodes actuelles de complétion d'images pilotées par référence ont du mal à atteindre un effet de complétion de haute fidélité. Pour résoudre ce problème, nous proposons un module LoRA (Low-Rank Adaptation) basé sur un modèle pré-entraîné de complétion d'images piloté par le texte. Ce module adapte avec succès une caractéristique spécifique de l'image de référence, améliorant considérablement sa capacité à s'adapter aux images de référence personnalisées, sans nécessiter un entraînement massif sur un ensemble de données à grande échelle. De plus, en introduisant le mot-clé GPT-4V et la technique d'initialisation du bruit a priori, nous améliorons encore la fidélité des résultats de complétion. En bref, le processus de diffusion du bruit commence d'abord à partir du bruit initial dérivé de l'image combinée de référence - arrière-plan, puis est guidé par GPT-4V pour générer la suite du processus de génération. De nombreuses expériences montrent que notre méthode atteint les niveaux les plus élevés tant en termes qualitatifs que quantitatifs, offrant aux utilisateurs un outil de complétion d'images piloté par référence avec une plus grande capacité de personnalisation.

modèle de diffusion;complétion d'images;complétion pilotée par référence;adaptation à faible rang