Destilación del conocimiento en grandes modelos de lenguaje financiero: una revisión sistemática de estrategias, aplicaciones y evaluaciones

Jiaqi SHI ,  

Xulong ZHANG ,  

Xiaoyang QU ,  

Junfei XIE ,  

Jianzong WANG ,  

Abstract

Los grandes modelos de lenguaje financiero ofrecen un enorme potencial para las aplicaciones financieras. Sin embargo, los altos costos de implementación y la gran latencia de inferencia constituyen obstáculos principales. Como un método importante de compresión, la destilación del conocimiento proporciona una solución efectiva a estos problemas. Este artículo realiza una investigación exhaustiva sobre cómo la destilación del conocimiento interactúa con los grandes modelos de lenguaje financiero, abarcando tres aspectos clave: estrategias, aplicaciones y evaluación. En el nivel estratégico, se introduce una taxonomía estructurada para comparar y analizar las vías de destilación existentes. En el nivel de aplicaciones, se propone un marco lógico upstream-midstream-downstream que explica sistemáticamente el valor práctico de los modelos destilados en el campo financiero. En el nivel de evaluación, para abordar la falta de estándares en el área financiera, se construye un marco integral de evaluación, evaluando múltiples dimensiones como la precisión financiera, la fidelidad de la inferencia y la robustez. En resumen, este artículo tiene como objetivo proporcionar un mapa claro para este campo interdisciplinario para acelerar el desarrollo de grandes modelos financieros destilados.

Keywords

grandes modelos de lenguaje financiero; destilación del conocimiento; compresión de modelos; trading cuantitativo

READ MORE