Agentes de interface gráfica do usuário (GUI) têm sido amplamente aplicados na automação digital geral. Grandes modelos de linguagem, modelos de linguagem visual e modelos base multimodais agora são capazes de interpretar capturas de tela, seguir instruções em linguagem natural e executar operações baseadas em localização em sites, aplicativos móveis e sistemas operacionais de desktop. No entanto, embora esses cenários tenham diferentes condições de execução, as pesquisas existentes frequentemente os agrupam sob a mesma etiqueta. Este artigo faz uma revisão dos frameworks representativos, modelos, conjuntos de dados e benchmarks de teste de agentes GUI através de uma pilha tecnológica comum — incluindo observação, localização, planejamento, memória, execução e verificação. Defendemos que agentes web, agentes móveis e agentes de desktop/sistemas operacionais devam ser vistos como regimes operacionais distintos, pois diferem em observabilidade, semântica da ação, dependência do estado oculto, custo de execução e riscos de efeitos colaterais. É descrita a transição nessa área da predição da próxima ação para a execução confiável, onde a verificação de resultados, eficiência de execução e confiabilidade têm recebido crescente atenção. Por fim, exploram-se direções futuras de pesquisa voltadas para o uso confiável do computador, incluindo o rastreamento do estado de crenças, percepção adaptativa, execução híbrida GUI-ferramenta e supervisão humana.

Agentes de interface gráfica do usuário; regimes operacionais; avaliação confiável; verificação de pós-condições