Grafische Benutzeroberflächenagenten (GUI-Agenten) werden in der allgemeinen digitalen Automatisierung weit verbreitet eingesetzt. Große Sprachmodelle, visuelle Sprachmodelle und multimodale Basismodelle können nun Screenshots interpretieren, natürlichen Sprachbefehlen folgen und ortsbasierte Operationen auf Websites, mobilen Anwendungen und Desktop-Betriebssystemen ausführen. Trotz unterschiedlicher Ausführungsbedingungen werden diese Szenarien in der bestehenden Forschung jedoch häufig unter einem gemeinsamen Label zusammengefasst. Dieser Artikel gibt einen Überblick über repräsentative Frameworks, Modelle, Datensätze und Testbenchmarks von GUI-Agenten anhand eines gemeinsamen Technologiestacks — einschließlich Beobachtung, Lokalisierung, Planung, Speicher, Ausführung und Verifikation. Wir plädieren dafür, Webagenten, mobile Agenten und Desktop-/Betriebssystemagenten als verschiedene Betriebsmodi zu betrachten, da sie sich in Beobachtbarkeit, Aktionssemantik, Abhängigkeit von versteckten Zuständen, Ausführungskosten und Risiken von Nebenwirkungen unterscheiden. Es wird der Wandel von der Vorhersage der nächsten Aktion zur zuverlässigen Ausführung beschrieben, wobei Ergebnisverifikation, Ausführungseffizienz und Vertrauenswürdigkeit zunehmende Aufmerksamkeit erhalten. Abschließend werden zukünftige Forschungsrichtungen für eine zuverlässige Computernutzung erörtert, darunter Glaubenszustandsverfolgung, adaptive Wahrnehmung, hybride GUI- und Tool-Ausführung sowie menschliche Überwachung.

Grafische Benutzeroberflächenagenten; Betriebsmodus; Vertrauenswürdige Bewertung; Nachbedingungsverifikation