نموذج انتشار النص إلى الصورة يظهر قدرة متميزة في إنشاء الصور وقد تم تطبيقه على نطاق واسع في مهمة استكمال الصور. على الرغم من أن التلميحات النصية يمكن أن توفر توجيها مباشرا لاستكمال الصور المشروطة ، إلا أن المستخدمين في كثير من الأحيان يرغبون في استكمال المظهر الشخصي لكائن معين من خلال توفير صورة مرجعية. ومع ذلك ، فإن الطرق الحالية لاستكمال الصور المحركة بواسطة الصور المرجعية تصعب تحقيق تأثير الاكتمال عالي الدقة. لحل هذه المشكلة ، نقترح وحدة التكيف ذات المرتبة المنخفضة (LoRA) على أساس نموذج استكمال الصور المحركة بواسطة النص المدرب مسبقًا. تعمل هذه الوحدة عن طريق تعديل الصورة المرجعية التحديدية بنجاح على ميزة معينة ، مما يعزز بشكل كبير قدرتها على تناسب الصور المرجعية المخصصة ، ودون الحاجة إلى تدريب كبير على مجموعة البيانات الكبيرة. بالإضافة إلى ذلك ، بمقدمة الكلمات المفتاحية GPT-4V وتقنية تهيئة الضوضاء البادئة ، فإنها تعزز بشكل إضافي وفاء الاكتمال. بإختصار ، يبدأ عملية الانتشار الخفي في البادئة الأصلية من الضوضاء المستندة إلى صورة المرجع - الخلفية ، ثم يستمر من خلال عملية الانتاج بعد توجيهه من GPT-4V. أظهرت العديد من التجارب أن النهج الخاص بنا يصل إلى أعلى مستويات التصميم والرقابة الكمية وهو يوفر للمستخدم أداة استكمال صورية محركة بصورة أقوى .

نموذج الانتشار؛إكمال الصورة؛إنتاج الصور المرجعية؛تعديل التدريب المحدود