El modelo de difusión de texto a imagen ha demostrado una capacidad sobresaliente en la generación de imágenes y ha sido ampliamente aplicado en la tarea de completar imágenes. Aunque las pistas de texto pueden proporcionar una guía intuitiva para la completación condicional de imágenes, los usuarios a menudo desean completar la apariencia personalizada de un objeto específico proporcionando una imagen de referencia. Sin embargo, los métodos actuales de completación de imágenes impulsados por referencia tienen dificultades para lograr un efecto de completación de alta fidelidad. Para resolver este problema, proponemos un módulo LoRA (Low-Rank Adaptation) basado en un modelo pre-entrenado de completación de imágenes impulsado por texto. Este módulo adapta con éxito una característica específica de la imagen de referencia, mejorando significativamente su capacidad para adaptarse a imágenes de referencia personalizadas, sin la necesidad de un extenso entrenamiento en un conjunto de datos a gran escala. Además, al introducir la palabra clave GPT-4V y la técnica de inicialización de ruido a priori, mejoramos aún más la fidelidad de los resultados de completación. En resumen, el proceso de difusión de ruido comienza primero desde el ruido inicial derivado de la imagen combinada de referencia-fondo, y luego es guiado por GPT-4V para generar la siguiente etapa del proceso de generación. Numerosos experimentos muestran que nuestro enfoque alcanza los niveles más altos tanto cualitativa como cuantitativamente, brindando a los usuarios una herramienta de completación de imágenes impulsada por referencia con una mayor capacidad de personalización.

modelo de difusión;completado de imágenes;completación impulsada por referencia;adaptación de bajo rango