Avaliação do desempenho de grandes modelos de linguagem para previsão de nomes de funções binárias

Yunxiang GE ,  

Bing XIA ,  

Yong DING ,  

Wenbo LIU ,  

Abstract

Na engenharia reversa prática, programas binários que passaram por remoção de símbolos e otimização de compilação carecem de informações semânticas de alto nível, o que representa um grande desafio para a compreensão automática da semântica das funções. Este artigo utiliza a previsão de nomes de funções binárias como tarefa base, avaliando sistematicamente a capacidade das grandes modelos de linguagem (LLM) de código aberto para raciocínio semântico em nível de função em cenários reais, e analisa os fatores chave que afetam o desempenho do modelo, incluindo domínio de pré-treinamento, escala do modelo, arquitetura e estratégias de otimização, métodos de prompt e informações de depuração. Experimentos foram conduzidos em um grande conjunto de dados binários abrangendo vários projetos. Os resultados indicam que os LLMs de código aberto atuais ainda apresentam limitações evidentes na recuperação da semântica das funções em programas binários com remoção de símbolos. Modelos pré-treinados no domínio de código superam modelos gerais, enquanto o aumento da escala do modelo não proporcionou melhoria contínua no desempenho. Além disso, a introdução de informações contextuais entre funções, especialmente as relações de chamadas de funções, pode aliviar efetivamente o problema de escassez de informações semânticas, melhorando significativamente o desempenho na previsão de nomes de funções. Os resultados revelam os limites das capacidades dos LLM atuais na compreensão semântica binária e fornecem referência para pesquisas em modelagem contextual e técnicas de adaptação de domínio voltadas para engenharia reversa prática.

Keywords

previsão de nomes de funções binárias;grandes modelos de linguagem;engenharia reversa;análise de código binário

READ MORE

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website