Building accurate translation-tailored large language models with language-aware instruction tuning
Abstract
أظهرت النماذج اللغوية الكبيرة (LLM) قدرة متميزة في مهام معالجة اللغة الطبيعية مثل الترجمة الآلية. ومع ذلك، يمكن أن يكلف حجم معلمات النموذج اللغوي الكبير تكلفة حسابية بارزة خلال عملية الاستدلال. حاولت الدراسات السابقة تدريب نماذج اللغة الكبيرة المخصصة للترجمة من خلال ضبط نماذج متوسطة الحجم على بيانات الترجمة. ومع ذلك، عند التعامل مع اتجاهات الترجمة المجهولة التي لم تكن مشمولة في مجموعة بيانات ضبط النموذج، يغفل النموذج غالبًا عن مطالب التوجيه، مما يؤدي إلى ترجمة المحتوى إلى لغة الهدف بطريقة خاطئة، وهو ما نرى أنه مشكلة في ترجمة المحتوى. لهذا الغرض، نقترح في هذه الورقة خوارزمية ضبط ثنائية المراحل لزيادة قدرة نموذج اللغة الكبير المخصص للترجمة على اتباع الإرشادات، وخاصة على الاحتفاظ بدقة اتجاه الترجمة. أولاً، نقوم بتحفيز قدرة الترجمة الأساسية لدى النموذج من خلال ضبطه على مجموعة بيانات الترجمة. في المرحلة الثانية، نقوم ببناء عينات تعارض الإرشادات عن طريق استبدال الإرشادات بشكل عشوائي بإرشادات خاطئة. ثم نقوم بتقديم خسارة غير محتملة إضافية لتقليل احتمالية تخصيص النموذج لهذه العينات. على مر 16 اتجاه ترجمة بصفة صفرية، فقد أظهرت نتائج التجارب باستخدام نموذجي LLaMA 2 و LLaMA 3 على مجموعتي البيانات الأساسيتين أن طريقتنا تقلل بشكل كبير من نسبة الانحراف في الترجمة بعيدًا عن اللغة الهدف (يمكن أن تقل بنسبة 62.4 بالمائة على الأقل)، وبالتالي تعزز جودة الترجمة (يمكن أن ترتفع أعلى ما يصل إلى 9.7 في مؤشرات التقييم المزدوجة). وأظهرت التحليلات أن طريقتنا قادرة على الحفاظ على أداء ممتاز في مهام أخرى (مثل الترجمة المراقبة والمهام العامة). يمكن الحصول على الكود على الرابط التالي: https://github.com/alphadl/LanguageAware_Tuning.
Keywords
Zero-shot machine translation;Off-target issue;Large language model;Language-aware instruction tuning;Instruction-conflicting sample