인터넷에서 노출되는 취약점 수가 증가함에 따라 자율 침투 테스트(pentesting)가 유망한 연구 분야로 떠올랐습니다. 강화 학습(RL)은 이 주제를 연구하는 데 자연스럽게 적합합니다. 그러나 두 가지 주요 과제가 RL 기반 자율 침투 테스트의 실제 시나리오 적용을 제한합니다: 훈련 환경의 딜레마—에이전트를 시뮬레이션 환경에서 훈련시키면 샘플 효율적이지만 현실성을 보장하는 것은 어려움; 낮은 일반화 능력—에이전트의 정책은 보지 못한 환경으로 이전할 때 성능이 저하되며, 약간의 변화만으로도 큰 일반화 격차가 발생할 수 있습니다. 이러한 두 가지 과제를 해결하기 위해, 우리는 GAP라는 일반화 가능한 자율 침투 테스트 프레임워크를 제안합니다. 이는 현실적인 환경에서 효율적인 정책 훈련을 달성하고 한 사례에서 다른 사례에 대해 추론할 수 있는 일반화 가능한 에이전트를 훈련시키는 것을 목표로 합니다. GAP는 현실-시뮬레이션-현실 파이프라인을 도입하여 알려지지 않은 실제 환경에서 종단 간 정책 학습을 가능하게 하면서 현실적인 시뮬레이션을 구축하고, 도메인 랜덤화 및 메타 RL 학습을 활용하여 에이전트의 일반화 능력을 향상시킵니다. 우리는 자율 침투 테스트에서 도메인 랜덤화를 적용한 최초 사례 중 하나이며, 합성 환경 생성을 위한 대형 언어 모델 기반 도메인 랜덤화 방법을 제안합니다. 또한 합성 환경을 활용해 보지 못한 환경에서 에이전트의 일반화 능력을 향상시키기 위해 메타 RL을 적용합니다. 두 방법의 결합은 일반화 격차를 효과적으로 해소하고 에이전트 정책 적응 성능을 향상시킵니다. 다양한 취약한 가상 머신에서 시뮬레이션이 수행되었으며, 그 결과 GAP가 다양한 현실 환경에서 정책 학습을 가능하게 하고, 유사 환경에서 제로샷 정책 전이를 달성하며, 달리 환경에서 빠른 정책 적응을 이룰 수 있음을 보여줍니다.

사이버 보안;침투 테스트;강화 학습;도메인 랜덤화;메타 강화 학습;대형 언어 모델