금융 대형 언어 모델 지식 증류: 전략, 응용 및 평가에 관한 체계적 고찰

Jiaqi SHI ,  

Xulong ZHANG ,  

Xiaoyang QU ,  

Junfei XIE ,  

Jianzong WANG ,  

Abstract

금융 대형 언어 모델은 금융 응용 분야에 거대한 잠재력을 제공합니다. 하지만 높은 배포 비용과 큰 추론 지연은 주요 장애물로 작용합니다. 중요한 압축 방법인 지식 증류는 이러한 문제들에 대한 효과적인 해결책을 제공합니다. 본 논문은 지식 증류가 금융 대형 언어 모델과 어떻게 상호작용하는지에 대해 전략, 응용 및 평가의 세 가지 핵심 측면을 포괄적으로 조사합니다. 전략적 측면에서는 기존 증류 경로를 비교 분석하기 위한 구조화된 분류법을 도입합니다. 응용 측면에서는 상류-중류-하류의 논리적 프레임워크를 제안하여 금융 분야에서 증류 모델의 실제 가치를 체계적으로 설명합니다. 평가 측면에서는 금융 분야의 표준 부재 문제를 해결하기 위해 금융 정확도, 추론 충실도 및 견고성 등 여러 차원에서 평가하는 종합 평가 프레임워크를 구축합니다. 요컨대, 본 논문은 이 학제간 분야의 명확한 로드맵을 제공하여 증류형 금융 대형 모델 개발을 가속화하는 것을 목표로 합니다.

Keywords

금융 대형 언어 모델; 지식 증류; 모델 압축; 알고리즘 트레이딩

READ MORE