Технологические менеджеры играют ключевую роль в содействии передаче технологий. Хотя крупные языковые модели (LLM) демонстрируют потенциал в этой области, оценка их базовых когнитивных способностей, ожидаемых от технологических менеджеров, остается сложной задачей из-за отсутствия специализированных эталонов. Чтобы решить эту проблему, мы создали TMBench, специализированный эталон для оценки когнитивных способностей, ожидаемых от технологических менеджеров. Он включает коллекцию из 3474 вопросов, охватывающих разнообразные сценарии, три задачи и пять типов вопросов. Мы интегрируем типичные метрики с использованием LLM-as-a-Judge с фиксированными и энтропийными весами для вычисления соответствующих размерных и составных оценок. Используя этот механизм, мы оцениваем девять репрезентативных моделей при различных конфигурациях подсказок и настройках температуры, чтобы исследовать их возможности, характеризовать их ошибки и сравнивать их с человеческими экспертами. Наши результаты показывают гетерогенные способности, при этом ни одна модель не занимает первое место на всех трех уровнях способностей. На более высоких уровнях способностей LLM показывают более благоприятные точечные оценки, чем у человека, но различия не являются статистически значимыми. Подсказки, основанные на цепочке размышлений, связаны с профилями способностей, зависящими от подсказок, с более благоприятной производительностью с открытыми весами в двух задачах высшего порядка. Анализ ошибок выявляет недостатки в базе знаний, извлечении и применении как наиболее распространенные категории ошибок. Основываясь на этих выводах, данное исследование предоставляет ориентир для выбора модели, разработки подсказок и целевой оптимизации при применении LLM в передаче технологий.

Передача технологий;Технологический менеджер;Эталон;Крупная языковая модель (LLM)