物体の把持位置はタスクの種類と密接に関連しています。同じ物品であっても、異なるユーザーのニーズにより異なる把持方法が求められる場合があります。視覚的アフォーダンスは操作行動に信頼できる事前知識を提供します。既存の手法は通常、画像やビデオからアフォーダンスを学習しますが、平面ベースのアフォーダンスは6自由度操作に必要な空間情報を欠いています。さらに、現在の手法は事前定義されたカテゴリに関連するアフォーダンスに限定されており、ユーザー指示から直接アフォーダンスを推論することはできません。これらの問題を解決するために、新たな課題として言語指示駆動の3次元物体アフォーダンス分割を提案します。この研究を支援するために、指示―アフォーダンスデータセットを構築しました。本データセットは20カテゴリの一般的な物体に属する7190個の物体インスタンスと、それに対応するアフォーダンスを明示した624の操作指示を含む挑戦的なものです。新しい指示に対するモデルの汎化能力を評価するために、「既知」と「未知」の設定を含みます。これに基づき、点群から特徴を抽出し指示特徴を層ごとに融合する指示駆動型3Dアフォーダンス分割ネットワークを設計しました。与えられたユーザー指示に応じて、モデルは物体点群上で提案された操作領域を直接分割し、最適な把持姿勢の選択を導きます。実験結果は、本手法が「既知」および「未知」設定の両方で他の関連手法を上回り、多様なユーザー指示や未知のアフォーダンスに対する汎化能力を示すことを明らかにしました。

視覚的アフォーダンス;点群分割;オープンセマンティクス;マルチモーダル融合;サービスロボット