A posição de agarrar um objeto está intimamente relacionada ao tipo de tarefa. Para o mesmo item, diferentes necessidades dos usuários podem corresponder a diferentes formas de agarrar. A affordance visual fornece um conhecimento prévio confiável para ações operacionais. Os métodos existentes geralmente aprendem affordance a partir de imagens ou vídeos, mas a affordance baseada em superfícies planas carece das informações espaciais necessárias para realizar operações de seis graus de liberdade. Além disso, os métodos atuais são limitados a affordances relacionadas a categorias predefinidas e não podem inferir affordance diretamente das instruções do usuário. Para resolver esses problemas, propõe-se uma nova tarefa: segmentação de affordance tridimensional de objetos guiada por instruções linguísticas. Para apoiar essa pesquisa, foi criado um conjunto de dados de instruções e affordances. Esse conjunto desafiador contém 7190 instâncias de objetos em 20 categorias comuns, com 624 instruções operacionais que especificam claramente as affordances correspondentes. Para avaliar a capacidade do modelo de generalizar para novas instruções, o conjunto de dados inclui configurações "vista" e "não vista". Com base nisso, foi projetada uma rede de segmentação de affordance 3D guiada por instruções, que extrai características da nuvem de pontos e funde as características das instruções camada por camada. De acordo com as instruções do usuário fornecidas, o modelo pode segmentar diretamente as áreas de operação sugeridas na nuvem de pontos do objeto, orientando assim a seleção da pose de preensão ideal. Os resultados experimentais mostram que esse método supera outros métodos relacionados nas configurações "vista" e "não vista" e demonstra capacidade de generalização para instruções diversas e affordances desconhecidas.

affordance visual; segmentação de nuvem de pontos; semântica aberta; fusão multimodal; robôs de serviço