Previous | Next
طريقة إنشاء استراتيجيات توازي أوتوماتيكية تهدف إلى تقليل تكرار الذاكرة إلى الحد الأدنى
Abstract
نظرًا للقيود في الذاكرة والموارد الحسابية، يتم تدريب نماذج التعلم العميق بشكل عام بطريقة موزعة. نادرًا ما تكون طرق توليد الاستراتيجيات الحالية تهدف إلى تقليل استخدام الذاكرة كهدف. لهذا الغرض، يتم اقتراح خوارزمية جديدة قادرة على إنشاء استراتيجية توازي أوتوماتيكية تهدف إلى تقليل تكرار الذاكرة إلى الحد الأدنى. تم اقتراح نموذج تكلفة الذاكرة المكررة لحساب تكلفة الذاكرة لكل عامل في الاستراتيجية الموازية النظرية. لضمان إيجاد استراتيجية توازي مثلى، تم تشكيل مشكلة البحث عن استراتيجية توازي كمشكلة برمجة خطية صحيحة، واستخدام حلول فعالة للعثور على استراتيجية توازي تحتوي على أقل استخدام للذاكرة. تم تنفيذ الأسلوب المقترح في إطار تدريب متعدد الأبعاد؛ تشير نتائج التجربة إلى أنه يمكن توفير ما يصل إلى 67٪ من تكلفة الذاكرة مقارنة بأحدث أسلوب Megatron-LM، دون أدنى فرق في معدل المرور.
Keywords
تعلم عميق؛ توازي التلقائي؛ تقليل تكرار الذاكرة