Les grands modèles linguistiques financiers offrent un potentiel énorme pour les applications financières. Cependant, le coût élevé de déploiement et les délais importants d'inférence constituent des obstacles majeurs. En tant que méthode importante de compression, la distillation des connaissances offre une solution efficace à ces problèmes. Cet article présente une enquête complète sur la manière dont la distillation des connaissances interagit avec les grands modèles linguistiques financiers, couvrant trois aspects clés : les stratégies, les applications et l'évaluation. Sur le plan stratégique, une taxonomie structurée est introduite pour analyser et comparer les voies de distillation existantes. Sur le plan des applications, un cadre logique upstream-midstream-downstream est proposé pour expliquer systématiquement la valeur pratique des modèles distillés dans le domaine financier. Sur le plan de l'évaluation, afin de résoudre le problème du manque de normes dans le domaine financier, un cadre d'évaluation exhaustive est construit, évaluant sous plusieurs dimensions telles que la précision financière, la fidélité d'inférence et la robustesse. En résumé, cet article vise à fournir une feuille de route claire pour ce domaine interdisciplinaire afin d'accélérer le développement des grands modèles financiers distillés.
Keywords
grands modèles linguistiques financiers; distillation des connaissances; compression de modèles; trading quantitatif