Знаниевая дистилляция больших финансовых языковых моделей: систематический обзор стратегий, применения и оценки

Jiaqi SHI ,  

Xulong ZHANG ,  

Xiaoyang QU ,  

Junfei XIE ,  

Jianzong WANG ,  

Abstract

Финансовые большие языковые модели предоставляют огромные возможности для финансовых приложений. Однако высокие затраты на развертывание и значительные задержки при выведении являются основными препятствиями. В качестве важного метода сжатия, знаниевая дистилляция предлагает эффективные решения этих проблем. В данной статье проводится всестороннее исследование взаимодействия знаниевой дистилляции с большими финансовыми языковыми моделями, охватывая три ключевых аспекта: стратегии, применение и оценку. На уровне стратегий введена структурированная классификация для сравнительного анализа существующих путей дистилляции. На уровне применения предложена логическая структура «вверх — середина — вниз», систематически объясняющая практическую ценность дистиллированных моделей в финансовой сфере. На уровне оценки для решения проблемы отсутствия стандартов в финансовой области создан комплексный оценочный фреймворк, оценивающий модели по финансовой точности, достоверности вывода и устойчивости. В целом, статья направлена на предоставление ясной дорожной карты для этого междисциплинарного поля с целью ускорения развития дистиллированных крупных финансовых моделей.

Keywords

Большие финансовые языковые модели; знаниевая дистилляция; сжатие моделей; количественная торговля

READ MORE