Les agents d'interface utilisateur graphique (GUI) sont largement utilisés dans l'automatisation numérique générale. Les grands modèles linguistiques, les modèles langage-visuel et les modèles de base multimodaux sont désormais capables d'interpréter des captures d'écran, de suivre des instructions en langage naturel et d'exécuter des actions localisées sur des sites web, des applications mobiles et des systèmes d'exploitation de bureau. Cependant, malgré des conditions d'exécution différentes, les recherches existantes regroupent souvent ces scénarios sous une même étiquette. Cet article passe en revue, à travers une pile technologique commune — incluant l'observation, la localisation, la planification, la mémoire, l'exécution et la vérification — des cadres, modèles, ensembles de données et benchmarks représentatifs des agents GUI. Nous soutenons qu'il faut voir les agents web, les agents mobiles et les agents de bureau/systèmes d'exploitation comme des régimes opérationnels différents, car ils diffèrent en termes d'observabilité, de sémantique des actions, de dépendance à l'état caché, de coût d'exécution et de risques d'effets secondaires. Le domaine est décrit comme passant de la prédiction de l'action suivante à une exécution fiable, où la vérification des résultats, l'efficacité d'exécution et la fiabilité suscitent un intérêt croissant. Enfin, cet article explore les directions futures de recherche pour une utilisation informatique fiable, incluant le suivi de l'état des croyances, la perception adaptative, l'exécution hybride GUI-outils et la supervision humaine.

Agents d'interface utilisateur graphique ; régime opérationnel ; évaluation de confiance ; vérification des post-conditions