O desenvolvimento de grandes modelos de linguagem (LLM) criou oportunidades transformadoras na indústria financeira, especialmente no campo das operações financeiras. No entanto, integrar os LLM com sistemas de negociação continua sendo um desafio. Para resolver esse problema, este artigo propõe um processo inteligente de reconhecimento de ordens de negociação que pode converter as ordens em um formato padrão durante a execução das negociações. Este sistema melhora a interação entre operadores humanos e plataformas de negociação, ao mesmo tempo que resolve o viés de aquisição de informações durante a execução das negociações. Além disso, foi construído um conjunto de dados com 500 ordens de negociação para simular cenários reais. Através de experimentos com cinco dos LLM mais avançados neste conjunto e do design de múltiplas métricas de avaliação, foi realizada uma avaliação abrangente da confiabilidade dos dados e da capacidade gerativa dos grandes modelos no domínio financeiro. Os resultados mostram que a maioria dos modelos consegue gerar representações JSON sintaticamente corretas com alta precisão (cerca de 80%–99%) e que, em quase todos os casos incompletos (cerca de 90%–100%), apresentam proativamente perguntas de esclarecimento. No entanto, a precisão de ponta a ponta ainda é baixa (cerca de 6%–14%), com problemas significativos de informação faltante (cerca de 12%–66%). Além disso, os modelos apresentam uma tendência a questionar excessivamente — cerca de 70%–80% das perguntas de acompanhamento são desnecessárias, aumentando os custos de interação e acarretando riscos potenciais de vazamento de informações. A pesquisa também confirma a viabilidade de integrar esse processo com sistemas reais de negociação, estabelecendo as bases para a implementação prática de soluções de automação de negociações baseadas em LLM.

grandes modelos de linguagem;instruções financeiras;avaliação;construção de conjunto de dados