Com o aumento do número de vulnerabilidades expostas na Internet, o pentesting autônomo surgiu como uma área de pesquisa promissora. O aprendizado por reforço (RL) é uma escolha natural para estudar este tópico. No entanto, dois desafios principais limitam a aplicabilidade do pentesting autônomo baseado em RL em cenários do mundo real: o dilema do ambiente de treinamento — treinar agentes em ambientes simulados é eficiente em amostras, enquanto garantir que seu realismo permaneça desafiador; a baixa capacidade de generalização — as políticas dos agentes frequentemente têm desempenho ruim quando transferidas para cenários não vistos, com até mesmo pequenas mudanças podendo causar uma lacuna significativa de generalização. Para enfrentar ambos os desafios, propomos uma estrutura generalizável de pentesting autônomo chamada GAP, que visa alcançar o treinamento eficiente de políticas em ambientes realistas e treinar agentes generalizáveis capazes de inferir sobre outros casos a partir de uma instância. O GAP introduz um pipeline real-to-sim-to-real que permite o aprendizado de políticas de ponta a ponta em ambientes reais desconhecidos, enquanto constrói simulações realistas e melhora a capacidade de generalização dos agentes ao aproveitar a randomização de domínio e o aprendizado meta-RL. Somos dos primeiros a aplicar randomização de domínio no pentesting autônomo e propomos um método de randomização de domínio potencializado por um grande modelo de linguagem para a geração de ambientes sintéticos. Além disso, aplicamos meta-RL para melhorar a capacidade de generalização dos agentes em ambientes não vistos, aproveitando ambientes sintéticos. A combinação dos dois métodos efetivamente reduz a lacuna de generalização e melhora o desempenho de adaptação da política dos agentes. Simulações são realizadas em várias máquinas virtuais vulneráveis, com resultados mostrando que o GAP pode permitir o aprendizado de políticas em vários ambientes realistas, atingir transferência de política zero-shot em ambientes semelhantes e conseguir adaptação rápida de políticas em ambientes dissimilares.

Cibersegurança;Testes de penetração;Aprendizado por reforço;Randomização de domínio;Meta-aprendizado por reforço;Grande Modelo de Linguagem