Модель распространения текстовой информации на изображение показывает выдающуюся способность в области создания изображений и была широко применена в задаче автозавершения изображений. Несмотря на то, что текстовые подсказки могут обеспечить непосредственное руководство для условного завершения изображений, пользователи часто желают завершить индивидуальный внешний вид определенного объекта, предоставляя образец изображения в качестве справочника. Однако существующие методы завершения изображений, управляемых образцом, затрудняют достижение высококачественного эффекта завершения. Для решения этой проблемы мы предлагаем модуль LoRA (Low-Rank Adaptation), основанный на предварительно обученной модели завершения изображения, управляемой текстом. Этот модуль успешно адаптирует конкретную особенность образца, существенно повышая способность соответствовать индивидуализированным образцам изображений, без необходимости в обширном обучении на большом наборе данных. Более того, с использованием ключевого слова GPT-4V и технологии предварительной инициализации шума, мы дополнительно усилили достоверность завершения. Кратко, процесс распространения по шуму начинается с исходного шума, происходящего от совмещенного образца-фона изображения, а затем направляется GPT-4V на следующем этапе генерации. Множество экспериментов показывает, что наш подход достигает самого высокого уровня как в качественных, так и в количественных показателях, обеспечивая пользователям более сильный инструмент завершения изображений, обеспечивающий большую индивидуализацию.

модель распространения;автозавершение изображения;завершение, управляемое образцом;микронагрузочная адаптация