Развитие больших языковых моделей (LLM) создало революционные возможности для финансовой отрасли, особенно в области финансовых сделок. Однако интеграция LLM с торговыми системами остается вызовом. Для решения этой задачи в статье предложен интеллектуальный процесс распознавания торговых ордеров, способный преобразовывать торговые ордера в стандартный формат во время исполнения сделок. Система улучшает взаимодействие между трейдерами-людьми и торговыми платформами, а также решает проблему искажений при получении информации во время исполнения сделок. Кроме того, построен набор данных с 500 записями торговых ордеров для моделирования реальных торговых сценариев. На этом наборе проведены эксперименты с пятью передовыми LLM, разработаны несколько метрик оценки для всесторонней проверки надежности набора данных и способности больших моделей генерировать данные в финансовой сфере. Результаты экспериментов показывают, что большинство моделей способны генерировать синтаксически корректные объекты JavaScript (JSON) с высокой точностью (~80%–99%) и в большинстве (~90%–100%) неполных случаев активно задают уточняющие вопросы. Тем не менее, точность от начала до конца остается низкой (~6%–14%), наблюдается значительное отсутствие информации (~12%–66%). Кроме того, модели склонны к избыточным запросам — около 70%–80% последующих вопросов не являются необходимыми, что увеличивает затраты на взаимодействие и создает потенциальный риск утечки информации. Исследование также подтверждает возможность интеграции данного процесса с реальными торговыми системами, закладывая основу для практического развертывания автоматизированных торговых решений на базе LLM.
Keywords
большие языковые модели;финансовые инструкции;оценка;построение наборов данных