Les gestionnaires de technologie jouent un rôle clé dans la facilitation du transfert de technologie. Bien que les grands modèles de langage (LLM) aient démontré leur potentiel dans ce domaine, il reste difficile de les évaluer sur les capacités cognitives fondamentales attendues des gestionnaires de technologie en raison de l'absence de points de référence spécifiques au domaine. Pour relever ce défi, nous avons créé TMBench, un point de référence spécifique au domaine pour évaluer les capacités cognitives attendues des gestionnaires de technologie. Il comprend une collection de 3474 questions couvrant divers scénarios, réparties en trois tâches et cinq types de questions. Nous intégrons des métriques typiques avec LLM-as-a-Judge en utilisant des pondérations fixes et basées sur l'entropie pour calculer les scores dimensionnels et composites correspondants. En utilisant ce mécanisme, nous évaluons neuf modèles représentatifs sous différentes configurations d'invite et paramètres de température afin d'examiner leurs capacités, de caractériser leurs profils d'erreurs et de les comparer à des experts humains. Nos résultats montrent des capacités hétérogènes, aucun modèle unique ne se classant en premier sur les trois niveaux de capacités. Pour les capacités de niveau supérieur, les LLM montrent des estimations ponctuelles plus favorables que la référence humaine, mais les différences ne sont pas statistiquement significatives. Les invites basées sur la chaîne de pensée sont associées à des profils de capacités sensibles aux invites, avec des performances à poids ouvert plus favorables dans les deux tâches de niveau supérieur. L'analyse des erreurs identifie les déficiences de la base de connaissances, de la récupération et de l'application comme la catégorie d'erreurs la plus courante. Sur la base de ces conclusions, cette étude fournit une référence pour la sélection de modèles, l'ingénierie d'invites et l'optimisation ciblée lors de l'application des LLM au transfert de technologie.

Transfert de technologie;Gestionnaire de technologie;Point de référence;Grand modèle de langage (LLM)