Wissensdistillation bei großen finanziellen Sprachmodellen: ein systematischer Überblick über Strategien, Anwendungen und Bewertung

Jiaqi SHI ,  

Xulong ZHANG ,  

Xiaoyang QU ,  

Junfei XIE ,  

Jianzong WANG ,  

Abstract

Finanzielle große Sprachmodelle bieten enormes Potenzial für finanzielle Anwendungen. Dennoch stellen die hohen Bereitstellungskosten und die beträchtliche Verzögerung bei der Inferenz wesentliche Hindernisse dar. Als eine wichtige Komprimierungsmethode bietet Wissen-Distillation effektive Lösungen für diese Herausforderungen. Dieser Artikel untersucht umfassend, wie Wissen-Distillation mit großen finanziellen Sprachmodellen interagiert, und deckt drei Kernaspekte ab: Strategien, Anwendungen und Bewertung. Auf strategischer Ebene wird eine strukturierte Taxonomie eingeführt, um bestehende Distillationswege vergleichend zu analysieren. Auf Anwendungsebene wird ein logisches Upstream–Midstream–Downstream-Rahmenwerk vorgeschlagen, das den praktischen Wert distillierter Modelle im Finanzbereich systematisch erläutert. Auf Bewertungsebene wird zur Lösung des Mangels an Standards im Finanzbereich ein umfassendes Bewertungsrahmenwerk erstellt, das unter mehreren Gesichtspunkten wie finanzielle Genauigkeit, Inferenztreue und Robustheit bewertet. Zusammenfassend zielt dieser Artikel darauf ab, eine klare Roadmap für dieses interdisziplinäre Feld bereitzustellen, um die Entwicklung distillierter großer Finanzmodelle zu beschleunigen.

Keywords

Große finanzielle Sprachmodelle; Wissensdistillation; Modellkomprimierung; quantitativer Handel

READ MORE