Los agentes de interfaz gráfica de usuario (GUI) se han aplicado ampliamente en la automatización digital general. Los grandes modelos de lenguaje, los modelos de lenguaje visual y los modelos base multimodales ahora pueden interpretar capturas de pantalla, seguir instrucciones en lenguaje natural y realizar operaciones ubicadas en sitios web, aplicaciones móviles y sistemas operativos de escritorio. Sin embargo, aunque estos escenarios tienen diferentes condiciones de ejecución, las investigaciones existentes a menudo los clasifican bajo la misma etiqueta. Este artículo revisa, a través de una pila tecnológica común — que incluye observación, localización, planificación, memoria, ejecución y verificación — los marcos representativos, modelos, conjuntos de datos y puntos de referencia de prueba de los agentes GUI. Sostenemos que los agentes web, los agentes móviles y los agentes de escritorio/sistemas operativos deben considerarse distintos regímenes operativos, ya que difieren en observabilidad, semántica de acciones, dependencia del estado oculto, costo de ejecución y riesgos de efectos secundarios. Se describe la transición en este campo de la predicción del siguiente paso a la ejecución confiable, donde la verificación de resultados, la eficiencia de ejecución y la confiabilidad reciben una atención creciente. Finalmente, se exploran futuras direcciones de investigación orientadas al uso confiable de computadoras, incluyendo el seguimiento del estado de creencias, la percepción adaptativa, la ejecución híbrida GUI-herramientas y la supervisión humana.

Agentes de interfaz gráfica de usuario; régimen operativo; evaluación de confianza; verificación de postcondiciones