Los gestores tecnológicos son fundamentales para facilitar la transferencia de tecnología. Aunque los grandes modelos de lenguaje (LLM) han demostrado su potencial en este ámbito, evaluarlos en las capacidades cognitivas fundamentales esperadas de los gestores tecnológicos sigue siendo un desafío debido a la falta de puntos de referencia específicos del dominio. Para abordar este desafío, construimos TMBench, un punto de referencia específico del dominio para evaluar las capacidades cognitivas esperadas de los gestores tecnológicos. Comprende una colección de 3474 preguntas que abarcan diversos escenarios, cubriendo tres tareas y cinco tipos de preguntas. Integramos métricas típicas con LLM-as-a-Judge utilizando pesos fijos y basados en la entropía para calcular las puntuaciones dimensionales y compuestas correspondientes. Aprovechando este mecanismo, evaluamos nueve modelos representativos bajo diferentes configuraciones de indicaciones y ajustes de temperatura para investigar sus capacidades, caracterizar sus patrones de errores y compararlos con expertos humanos. Nuestros resultados muestran capacidades heterogéneas, sin que un único modelo ocupe el primer lugar en los tres niveles de capacidad. Para capacidades de orden superior, los LLM muestran estimaciones puntuales más favorables que la referencia humana, pero las diferencias no son estadísticamente significativas. Las indicaciones basadas en pensamiento en cadena están asociadas con perfiles de capacidad sensibles a las indicaciones, con un rendimiento más favorable en tareas de orden superior con pesos abiertos. El análisis de errores identifica deficiencias en la base de conocimientos, recuperación y aplicación como la categoría de error más prevalente. Basándose en estos hallazgos, este estudio proporciona una referencia para la selección de modelos, la ingeniería de indicaciones y la optimización dirigida al aplicar los LLM en la transferencia de tecnología.

Transferencia de tecnología;Gestor tecnológico;Punto de referencia;Gran modelo de lenguaje (LLM)