물체의 잡는 위치는 작업 종류와 밀접한 관련이 있다. 같은 물체라도 사용자에 따라 요구가 다르면 다른 잡기 방식이 필요할 수 있다. 시각적 어포던스는 조작 행동에 신뢰할 수 있는 사전 지식을 제공한다. 기존 방법은 주로 이미지나 비디오에서 어포던스를 학습하지만, 평면 기반 어포던스는 6자유도 조작에 필요한 공간 정보를 결여하고 있다. 또한 현재 방법은 사전 정의된 범주 관련 어포던스에 한정되어 사용자의 지시에서 직접 어포던스를 추론할 수 없다. 이러한 문제를 해결하기 위해 언어 지시 기반 3D 물체 어포던스 분할이라는 새로운 과제를 제안한다. 이를 지원하기 위해 지시-어포던스 데이터셋을 구축했다. 이 데이터셋은 20개 일반 물체 범주에 속하는 7190개 물체 인스턴스와 명확한 어포던스를 정의한 624개의 조작 지시문으로 구성되어 있어 도전적이다. 모델의 신규 지시문에 대한 일반화 성능을 평가하기 위해 데이터셋은 ‘발견된’과 ‘미발견’ 두 가지 설정을 포함한다. 이를 바탕으로 지시 기반 3D 어포던스 분할 네트워크를 설계했으며, 이 네트워크는 점군에서 특징을 추출하고 지시 특징을 층별로 융합한다. 주어진 사용자 지시문에 따라 모델은 물체 점군 상에서 제안된 조작 영역을 직접 분할하여 최적의 잡기 자세 선택을 안내할 수 있다. 실험 결과는 이 방법이 ‘발견된’ 및 ‘미발견’ 설정 모두에서 다른 관련 방법을 능가하며, 다양한 사용자 지시문과 미지의 어포던스에 대한 일반화 능력을 보여줌을 입증했다.

시각적 어포던스; 점군 분할; 개방 의미; 다중 모달 융합; 서비스 로봇