이미지 생성 측면에서 텍스트로 이미지 확산 모델은 뛰어난 능력을 보여주고 이미지 보충 작업에 널리 적용되었습니다. 텍스트 힌트는 조건부 이미지 보충에 직관적인 안내를 제공할 수 있지만 사용자는 종종 특정 객체에 대한 개인화된 외관을 보충하기 위해 참조 이미지를 제공할 수 있기를 원합니다. 그러나 기존의 참조 이미지 기반 이미지 보충 방법은 고품질의 보충 효과를 실현하기 어려웠습니다. 이 문제를 해결하기 위해 우리는 사전 훈련된 텍스트로 된 이미지 보충 모델을 기반으로 한 즉석 적용 가능한 저랭크 적응 (LoRA) 모듈을 제안합니다. 이 모듈은 적은 샘플 미세 조정을 통해 참조 이미지의 특정 피쳐를 학습하여 사용자 정의 참조 이미지에 대한 적합성을 높이고 대규모 데이터 세트에서 많은 훈련이 필요하지 않습니다. 또한, GPT-4V 힌트 단어 및 사전 노이즈 초기화 기술을 도입하여 보충 결과의 고품질을 더욱 높였습니다. 요약하면, 노이즈 확산 프로세스는 우선 복합 참조-배경 이미지에서 파생된 초기 노이즈로부터 시작하여 GPT-4V가 참조 이미지로부터 생성한 풍부한 힌트 단어로 후속 생성 프로세스를 안내합니다. 많은 실험 결과 우리의 방법이 현장에서 최고 수준의 질적 및 정량적 지표를 달성하여 사용자에게 보다 강력한 맞춤형 참조 이미지 기반 이미지 보충 도구를 제공합니다.

확산 모델; 이미지 보충; 참조 이미지 기반; 소량 샘플 미세 조정