Destilação de conhecimento em grandes modelos de linguagem financeira: uma revisão sistemática de estratégias, aplicações e avaliações

Jiaqi SHI ,  

Xulong ZHANG ,  

Xiaoyang QU ,  

Junfei XIE ,  

Jianzong WANG ,  

Abstract

Grandes modelos de linguagem financeira oferecem um enorme potencial para aplicações financeiras. No entanto, os altos custos de implantação e a grande latência de inferência representam obstáculos principais. Como um método importante de compressão, a destilação de conhecimento fornece uma solução eficaz para esses desafios. Este artigo apresenta uma investigação abrangente sobre como a destilação de conhecimento interage com grandes modelos de linguagem financeira, abrangendo três aspectos centrais: estratégias, aplicações e avaliação. No nível estratégico, é introduzida uma taxonomia estruturada para comparar e analisar as vias de destilação existentes. No nível de aplicações, é proposto um framework lógico upstream-midstream-downstream para explicar sistematicamente o valor prático dos modelos destilados no domínio financeiro. No nível de avaliação, para resolver o problema da falta de padrões na área financeira, construiu-se uma estrutura de avaliação abrangente, avaliando múltiplas dimensões como precisão financeira, fidelidade da inferência e robustez. Em resumo, este artigo tem como objetivo fornecer um roteiro claro para este campo interdisciplinar para acelerar o desenvolvimento de grandes modelos financeiros destilados.

Keywords

grandes modelos de linguagem financeira; destilação de conhecimento; compressão de modelos; negociação quantitativa

READ MORE