Distillation des connaissances dans les grands modèles linguistiques financiers : une revue systématique des stratégies, applications et évaluations

Jiaqi SHI ,  

Xulong ZHANG ,  

Xiaoyang QU ,  

Junfei XIE ,  

Jianzong WANG ,  

Abstract

Les grands modèles linguistiques financiers offrent un potentiel énorme pour les applications financières. Cependant, le coût élevé de déploiement et les délais importants d'inférence constituent des obstacles majeurs. En tant que méthode importante de compression, la distillation des connaissances offre une solution efficace à ces problèmes. Cet article présente une enquête complète sur la manière dont la distillation des connaissances interagit avec les grands modèles linguistiques financiers, couvrant trois aspects clés : les stratégies, les applications et l'évaluation. Sur le plan stratégique, une taxonomie structurée est introduite pour analyser et comparer les voies de distillation existantes. Sur le plan des applications, un cadre logique upstream-midstream-downstream est proposé pour expliquer systématiquement la valeur pratique des modèles distillés dans le domaine financier. Sur le plan de l'évaluation, afin de résoudre le problème du manque de normes dans le domaine financier, un cadre d'évaluation exhaustive est construit, évaluant sous plusieurs dimensions telles que la précision financière, la fidélité d'inférence et la robustesse. En résumé, cet article vise à fournir une feuille de route claire pour ce domaine interdisciplinaire afin d'accélérer le développement des grands modèles financiers distillés.

Keywords

grands modèles linguistiques financiers; distillation des connaissances; compression de modèles; trading quantitatif

READ MORE