مديرو التكنولوجيا هم أساسيون في تسهيل نقل التكنولوجيا. على الرغم من أن نماذج اللغة الكبيرة (LLMs) أظهرت إمكانيات في هذا المجال، إلا أن تقييمها بناءً على القدرات الإدراكية الأساسية المتوقعة من مديري التكنولوجيا لا يزال يشكل تحديًا بسبب نقص المعايير الخاصة بالمجال. لمواجهة هذا التحدي، أنشأنا TMBench، وهو معيار خاص بالمجال لتقييم القدرات الإدراكية المتوقعة من مديري التكنولوجيا. يتألف من مجموعة من 3474 سؤالًا تغطي سيناريوهات متنوعة، مع تغطية ثلاثة مهام وخمسة أنواع من الأسئلة. نقوم بدمج المقاييس النموذجية مع LLM-as-a-Judge باستخدام كل من الأوزان الثابتة والمستندة إلى الإنتروبيا لحساب الدرجات البُعدية والتركيبية المقابلة. باستخدام هذه الآلية، نقيم تسعة نماذج ممثلة تحت تكوينات مطالبات ودرجات حرارة متباينة للتحقيق في قدراتها، وتوصيف أنماط أخطائها، ومقارنتها بالخبراء البشريين. تظهر نتائجنا قدرات غير متجانسة، دون أن يحتل أي نموذج المرتبة الأولى عبر جميع مستويات القدرات الثلاثة. بالنسبة للقدرات العليا، تُظهر نماذج LLM تقديرات نقطة أكثر إيجابية من القاعدة البشرية، لكن الفروقات ليست ذات دلالة إحصائية. يُرتبط الحث القائم على سلسلة التفكير بملفات تعريف القدرة الحساسة للمطالبة، مع أداء مفتوح الوزن أكثر إيجابية في المهمتين الأعلى مستوى. يكشف تحليل الأخطاء عن نقص في قاعدة المعرفة والاسترجاع والتطبيق كأكثر فئات الأخطاء شيوعًا. بناءً على هذه النتائج، توفر هذه الدراسة مرجعًا لاختيار النماذج، وهندسة المطالبات، والتحسين المستهدف عند تطبيق نماذج LLM في نقل التكنولوجيا.

نقل التكنولوجيا;مدير التكنولوجيا;معيار;نموذج اللغة الكبير (LLM)