Abstract
نظرًا للقيود المفروضة على الذاكرة والموارد الحسابية ، يتم تدريب نماذج التعلم العميق بشكل كبير على نطاق واسع بطريقة موزعة. من النادر أن تولي الأساليب الحالية لتوليد الاستراتيجيات اهتمامًا بتقليل استخدام الذاكرة كهدف. لهذا السبب ، تم تقديم خوارزمية جديدة تستطيع إنشاء استراتيجيات موازية تهدف إلى تقليل الذاكرة الزائدة تلقائيًا. تم تقديم نموذج تكلفة الذاكرة الزائدة لحساب تكلفة الذاكرة الخاصة بكل عامل في الاستراتيجية الموازية المعطاة. من أجل ضمان تولي افضل استراتيجية موازية ، تم تشكيل مشكلة البحث عن الاستراتيجية الموازية كمشكلة تخطيط خطي صحيح ، واستخدام حل المشكلة فعال للعثور على استراتيجية موازية تحتوي على أصغر استهلاك للذاكرة. تم تطبيق الطريقة المقترحة في إطار تدريب متعدد الأبعاد على صعيد الموازية ؛ أظهرت نتائج التجربة ، بالمقارنة مع أحدث نموذجMegatron-LM ، أنه يمكن توفير ما يصل إلى 67٪ من تكلفة الذاكرة ، بينما لا تختلف كثيرا في الإنتاجية.
Keywords
تعلم عميق؛موازي؛تقليل الذاكرة الزائدة