グラフィカルユーザーインターフェース（GUI）エージェントは、汎用デジタル自動化に広く応用されています。大規模言語モデル、視覚言語モデル、およびマルチモーダル基盤モデルは、スクリーンショットの解釈、自然言語の指示の遵守、およびウェブサイト、モバイルアプリ、デスクトップOSにおける位置依存の操作を実行することが可能になりました。しかし、これらのシナリオは異なる実行条件を持つにもかかわらず、既存の研究では同一のカテゴリで扱われることが多いです。本稿では、観察、位置特定、計画、記憶、実行、検証を含む共通の技術スタックを通じて、GUIエージェントの代表的なフレームワーク、モデル、データセット、および評価ベンチマークを概説します。我々は、ウェブエージェント、モバイルエージェント、およびデスクトップ/OSエージェントを、可観測性、動作の意味論、隠れ状態依存性、実行コストおよび副作用リスクの違いから異なるオペレーション体制として扱うことを提唱します。この分野における次の動作予測から信頼できる実行への転換を説明し、結果の検証、実行効率、および信頼性への関心が高まっていることを述べます。最後に、信頼性の高いコンピュータ利用に向けた将来の研究方向として、信念状態追跡、適応的知覚、GUIとツールのハイブリッド実行、および人間の監督について論じます。

グラフィカルユーザーインターフェースエージェント；オペレーション体制；信頼評価；後条件検証