大規模言語モデルは金融取引指示を効果的に処理・実行できるか?

Yu KANG ,  

Xin YANG ,  

Ge WANG ,  

Yuda WANG ,  

Zhanyu WANG ,  

Mingwen LIU ,  

Abstract

大規模言語モデル(LLM)の発展は金融業界に革新的な機会をもたらし、とくに金融取引分野で顕著である。しかし、LLMを取引システムに統合することは課題である。この課題を解決するために、本論文では取引注文を取引実行中に標準フォーマットに変換できるインテリジェントな取引注文認識フローを提案する。本システムは人間トレーダーと取引プラットフォームのインタラクション能力を向上させるとともに、取引実行中の情報取得バイアス問題を解決する。さらに、実際の取引シナリオを模擬するために500件の取引注文データセットを構築した。このデータセット上で最先端のLLM 5種を用いて実験を行い、複数の評価指標を設計し、データセットの信頼性および金融分野における大規模モデルの生成能力を包括的に評価した。実験結果は、多くのモデルが約80%~99%の高精度で文法的に正しいJavaScriptオブジェクト表記法(JSON)を生成可能であり、ほぼすべて(約90%~100%)の不完全なケースにおいて積極的に明確化質問を提示することを示した。しかしながら、モデルのエンドツーエンドの正確率は依然として低く(約6%~14%)、情報欠落の問題が顕著である(約12%~66%)。さらに、モデルは過剰な質問傾向があり、約70%~80%の後続質問が不要であり、これによりインタラクションコストの増加や潜在的な情報漏洩リスクが生じている。本研究は、本フローを実際の取引システムと統合する可能性を実証し、LLMベースの取引自動化ソリューションの実用的な展開の基盤を築いている。

Keywords

大規模言語モデル;金融指示;評価;データセット構築

READ MORE