그래픽 사용자 인터페이스(GUI) 에이전트는 범용 디지털 자동화에 널리 적용되고 있습니다. 대형 언어 모델, 시각 언어 모델, 멀티모달 기초 모델은 이제 스크린샷을 해석하고 자연어 지침을 따르며 웹사이트, 모바일 애플리케이션 및 데스크톱 운영 체제에서 위치 기반 작업을 수행할 수 있습니다. 그러나 이러한 시나리오는 실행 조건이 다름에도 불구하고 기존 연구에서는 종종 동일한 범주로 분류됩니다. 본문에서는 관찰, 위치 파악, 계획, 기억, 실행 및 검증을 포함하는 공통 기술 스택을 통해 GUI 에이전트의 대표적인 프레임워크, 모델, 데이터셋 및 테스트 벤치마크를 개관합니다. 우리는 웹 에이전트, 모바일 에이전트 및 데스크톱/운영 체제 에이전트를 가시성, 동작 의미론, 숨겨진 상태 의존성, 실행 비용 및 부작용 위험 측면에서 차이가 있으므로 별개의 운영 체계로 간주할 것을 주장합니다. 이 분야가 다음 동작 예측에서 신뢰할 수 있는 실행으로 전환하는 과정이 설명되며, 결과 검증, 실행 효율성 및 신뢰성에 점점 더 많은 관심이 쏠리고 있음을 강조합니다. 마지막으로, 신뢰할 수 있는 컴퓨터 사용을 위한 미래 연구 방향으로서 신념 상태 추적, 적응형 인지, GUI와 도구의 혼합 실행 및 인간 감독을 논의합니다.

그래픽 사용자 인터페이스 에이전트; 운영 체계; 신뢰 평가; 후조건 검증