インターネット上で公開される脆弱性の数が増加する中、自律型ペネトレーションテスト（pentesting）は有望な研究分野として浮上しています。強化学習（RL）はこのテーマの研究に自然に適しています。しかし、RLベースの自律型ペネトレーションテストを現実世界のシナリオに適用する際には、二つの重要な課題があります。トレーニング環境のジレンマ―エージェントをシミュレーション環境で訓練することはサンプル効率が良い一方で、そのリアリティを確保することは困難であること、そして一般化能力の低さ―エージェントのポリシーは未見のシナリオに転移するときにしばしば性能が低下し、わずかな変化でも大きな一般化ギャップを引き起こす可能性があります。これら二つの課題に対処するために、我々はGAPと呼ばれる一般化可能な自律型ペネトレーションテストフレームワークを提案します。これは、現実的な環境で効率的なポリシー訓練を実現し、一つの事例から他のケースについて推論できる一般化可能なエージェントを訓練することを目的としています。GAPは、未知の現実環境でエンドツーエンドのポリシー学習を可能にしつつ、現実的なシミュレーションを構築するリアル・トゥ・シム・トゥ・リアルのパイプラインを導入し、ドメインランダマイゼーションとメタRL学習を活用してエージェントの一般化能力を向上させます。私たちは、自律型ペネトレーションテストにおいてドメインランダマイゼーションを適用した最初の一人であり、合成環境生成のための大規模言語モデルを活用したドメインランダマイゼーション手法を提案しました。また、合成環境を活用して未知の環境でのエージェントの一般化能力を向上させるためにメタRLを適用しています。これら二つの手法を組み合わせることで、一般化ギャップを効果的に埋め、エージェントのポリシー適応性能を向上させます。様々な脆弱な仮想マシン上でシミュレーションを行い、その結果GAPがさまざまな現実的な環境でのポリシー学習を可能にし、類似環境でのゼロショットポリシー転移を達成し、異なる環境での迅速なポリシー適応を実現できることを示しました。

サイバーセキュリティ;ペネトレーションテスト;強化学習;ドメインランダマイゼーション;メタ強化学習;大規模言語モデル