Technologiemanager spielen eine entscheidende Rolle bei der Förderung des Technologietransfers. Obwohl große Sprachmodelle (LLMs) in diesem Bereich Potenzial gezeigt haben, bleibt die Bewertung ihrer grundlegenden kognitiven Fähigkeiten, die von Technologiemanagern erwartet werden, aufgrund des Mangels an branchenspezifischen Benchmarks eine Herausforderung. Um diese Herausforderung anzugehen, haben wir TMBench entwickelt, einen branchenspezifischen Benchmark zur Bewertung der kognitiven Fähigkeiten, die von Technologiemanagern erwartet werden. Es umfasst eine Sammlung von 3474 Fragen, die unterschiedliche Szenarien abdecken und sich auf drei Aufgaben und fünf Fragetypen verteilen. Wir integrieren typische Metriken mit LLM-as-a-Judge unter Verwendung sowohl fester als auch entropiebasierter Gewichtungen, um die entsprechenden dimensionalen und zusammengesetzten Scores zu berechnen. Mit diesem Mechanismus bewerten wir neun repräsentative Modelle unter verschiedenen Prompt-Konfigurationen und Temperatureinstellungen, um ihre Fähigkeiten zu untersuchen, ihre Fehlermuster zu charakterisieren und sie mit menschlichen Experten zu vergleichen. Unsere Ergebnisse zeigen heterogene Fähigkeiten, wobei kein einziges Modell in allen drei Fähigkeitsstufen den ersten Platz belegt. Für höherstufige Fähigkeiten zeigen LLMs günstigere Punktwerte als die menschliche Basislinie, aber die Unterschiede sind statistisch nicht signifikant. Aufforderungen, die auf einer Gedankenkette basieren, sind mit empfindlichen Fähigkeitsprofilen verbunden und zeigen eine günstigere Leistung mit offenen Gewichtungen in den beiden höherstufigen Aufgaben. Die Fehleranalyse identifiziert Lücken in der Wissensbasis, dem Abruf und der Anwendung als die häufigste Fehlerkategorie. Auf Grundlage dieser Erkenntnisse bietet diese Studie eine Referenz für die Modellauswahl, das Prompt-Engineering und die gezielte Optimierung bei der Anwendung von LLMs im Technologietransfer.

Technologietransfer;Technologiemanager;Benchmark;Großes Sprachmodell (LLM)