Die Integration großer Sprachmodelle (LLM) in Finanzanwendungen zeigt ein erhebliches Potenzial, Entscheidungsprozesse zu verbessern, Abläufe zu automatisieren und personalisierte Dienstleistungen bereitzustellen. Allerdings erfordern die risikoreichen Eigenschaften von Finanzsystemen höchste Vertrauenswürdigkeit, die aktuelle LLM oft nur schwer erfüllen. Diese Studie identifiziert und untersucht drei große Vertrauenswürdigkeitsherausforderungen in auf LLM basierenden Finanzsystemen: (1) Umgehungsstrategien — Ausnutzung von Modellabgestimmtheitslücken zur Erzeugung schädlicher oder unerlaubter Antworten; (2) Halluzinationen — Ausgabe faktisch falscher Resultate, die Finanzentscheidungen irreführen; (3) Verzerrungen und Fairnessfragen — demografische oder institutionelle Voreingenommenheiten in LLM, die zu unfairer Behandlung von Individuen oder Regionen führen können. Um diese Risiken konkret darzustellen, entwarfen wir drei finanzbezogene Tests und bewerteten führende LLM aus proprietären und Open-Source-Familien. In allen Modellen trat in jedem Test mindestens ein risikoreiches Verhalten auf. Basierend auf diesen Erkenntnissen fassten wir systematisch bestehende Risikominderungsstrategien zusammen. Wir sind der Ansicht, dass die Lösung dieser Probleme nicht nur für die verantwortungsvolle Nutzung von KI im Finanzbereich entscheidend ist, sondern auch der Schlüssel zu einer sicheren und skalierbaren Bereitstellung.