Le grand modèle linguistique (LLM) a montré une capacité remarquable dans des tâches de traitement du langage naturel telles que la traduction automatique. Cependant, la grande taille des paramètres du grand modèle linguistique entraîne des coûts de calcul importants lors du processus d'inférence. De précédentes études ont tenté de former des grands modèles linguistiques personnalisés pour la traduction en affinant des modèles de taille moyenne sur des données de traduction. Cependant, lors de la manipulation des directions de traduction zéro non incluses dans l'ensemble de données d'affinage, le modèle ignore souvent les instructions, ce qui entraîne une traduction incorrecte du contenu dans la langue cible, c'est-à-dire un problème de déviation de traduction. À cette fin, cet article propose un algorithme d'affinage en deux étapes pour améliorer la capacité des grands modèles linguistiques personnalisés pour la traduction à suivre les instructions, en particulier à maintenir la précision de la direction de traduction. Tout d'abord, nous affinons le modèle sur l'ensemble de données de traduction pour susciter sa capacité de traduction de base. À la deuxième étape, nous construisons des exemples de conflit d'instructions en remplaçant aléatoirement les instructions par des instructions incorrectes. Ensuite, nous introduisons une perte non vraisemblable supplémentaire pour réduire la probabilité d'attribution du modèle à ces exemples. Pour 16 directions de traduction zéro, les résultats expérimentaux obtenus avec les modèles LLaMA 2 et LLaMA 3 sur deux ensembles de données de base montrent que notre méthode est capable de réduire considérablement la proportion de déviations de traduction par rapport à la langue cible (pouvant être réduite de 62,4 pour cent au maximum), améliorant ainsi la qualité de la traduction (la mesure de remplacement bilingue peut être améliorée de 9,7 au maximum). L'analyse montre que notre méthode est capable de maintenir une excellente performance dans d'autres tâches (comme la traduction supervisée et les tâches générales). Le code peut être obtenu à l'adresse suivante: https://github.com/alphadl/LanguageAware_Tuning.

Zero-shot machine translation;Off-target issue;Large language model;Language-aware instruction tuning;Instruction-conflicting sample