画像生成において、テキストから画像への拡散モデルは卓越した能力を発揮し、画像補完タスクに広く適用されています。テキストのヒントは条件付きの画像補完に直感的なガイダンスを提供できますが、ユーザーはしばしば特定のオブジェクトをカスタマイズした外観に補完するためにリファレンス画像を提供したいと考えています。しかし、既存のリファレンス画像駆動型画像補完方法は高い保真度の補完効果を実現することが難しかったです。この問題を解決するために、我々は、事前訓練されたテキスト駆動型画像補完モデルを基にした即座適用可能な低ランク適応（LoRA）モジュールを提案します。このモジュールは、少ないサンプル微調整により、リファレンス画像の特定特徴を学習してカスタムリファレンス画像に対する適合性を高め、大規模データセットで大量の訓練が必要ありません。さらに、GPT-4V提示ワードおよび事前ノイズ初期化技術を導入することで、補完結果の高い保真度をさらに高めました。要するに、ノイズ拡散プロセスはまず複合リファレンス-背景画像から派生した初期ノイズから始まり、続いてGPT-4Vがリファレンス画像から生成した豊富なヒントワードで後続生成プロセスを導きます。多数の実験結果が、当社の方法が定性的および定量的指標で現在最高水準に到達し、ユーザーにより強いカスタマイズ能力を持つリファレンス画像駆動型画像補完ツールを提供していることを示しています。

拡散モデル; 画像補完; リファレンス画像駆動型; 少数サンプル微調整