La tâche de reconnaissance des caractères chinois vise à résoudre les problèmes de sémantique et de confusion dans les caractères chinois, qui posent un risque potentiel pour la sécurité du contenu de la page et compliquent la gestion des mots sensibles. La plupart des méthodes existantes se concentrent lors de la pré-formation sur l'obtention de la sémantique contextuelle à partir des corpus et du vocabulaire chinois, souvent négligeant les caractéristiques phonétiques et morphologiques inhérentes au chinois. Pour résoudre ce problème, cet article propose un modèle de traduction multimodale à poids partagé pour la reconnaissance des caractères chinois. Ce modèle intègre les caractéristiques phonétiques du pinyin et les caractéristiques morphologiques des polices chinoises dans chaque élément lexical chinois pour apprendre les caractéristiques sémantiques profondes du texte varié. Plus précisément, les caractéristiques phonétiques du pinyin chinois sont codées par une couche d'incrustation et les caractéristiques morphologiques des polices chinoises sont apprises par un réseau de neurones convolutionnels. Compte tenu de la similarité des caractéristiques multimodales entre la phrase source et la phrase cible dans la tâche de reconnaissance des caractères chinois, un mécanisme d'incrustation à poids partagé a été conçu pour générer la phrase cible à partir des informations heuristiques de la phrase source lors du processus d'apprentissage. Les résultats expérimentaux montrent que le modèle de traduction multimodale à poids partagé proposé dans cet article atteint respectivement 89,550% et 79,480% en termes de test d'évaluation bilingue (BLEU) et de valeur F1, ce qui représente une amélioration significative par rapport au modèle de base le plus avancé actuel.

caractères chinois variés; modèle multimodal; modèle de traduction; phonétique et morphologique