تم تطبيق وكلاء واجهة المستخدم الرسومية (GUI) على نطاق واسع في الأتمتة الرقمية العامة. أصبحت النماذج اللغوية الكبيرة ونماذج اللغة المرئية والنماذج الأساسية متعددة النماذج قادرة الآن على تفسير لقطات الشاشة، واتباع تعليمات اللغة الطبيعية، وأداء عمليات مستندة إلى المواقع في المواقع الإلكترونية وتطبيقات الجوال وأنظمة تشغيل سطح المكتب. ومع ذلك، على الرغم من أن هذه السيناريوهات تتمتع بشروط تنفيذ مختلفة، إلا أن الأبحاث الحالية غالبًا ما تصنفها تحت نفس الفئة. تستعرض هذه الورقة من خلال مجموعة تقنية مشتركة - تشمل المراقبة، والتحديد، والتخطيط، والذاكرة، والتنفيذ، والتحقق - الأُطُر والنماذج ومجموعات البيانات والمعايير الاختبارية الممثلة لوكلاء GUI. نحن نؤيد اعتبار وكلاء الويب، ووكلاء المحمول، ووكلاء سطح المكتب/أنظمة التشغيل كأنظمة تشغيل مختلفة بسبب اختلافها في الملاحظة، ودلالات الأفعال، واعتماد الحالة المخفية، وتكلفة التنفيذ، ومخاطر الآثار الجانبية. تم وصف الانتقال في هذا المجال من توقع الخطوة التالية إلى التنفيذ الموثوق، حيث يلقى التحقق من النتائج، وكفاءة التنفيذ، والموثوقية اهتمامًا متزايدًا. أخيرًا، تناقش الورقة اتجاهات البحث المستقبلية الموجهة نحو استخدام الحوسبة الموثوقة، بما في ذلك تتبع حالة الاعتقاد، والإدراك التكيفي، والتنفيذ المختلط بين GUI والأدوات، والإشراف البشري.

وكلاء واجهة المستخدم الرسومية؛ أنظمة التشغيل؛ تقييم الثقة؛ التحقق من الشروط اللاحقة