中国の文字認識タスクは、中国の文字の意味の不明瞭さや混乱に対処し、ページのコンテンツのセキュリティに潜在的なリスクをもたらし、感繊なワードの管理を複雑化させる問題を解決することを目指しています。ほとんどの既存の手法は、事前学習段階で、中国のコーパスや語彙から文脈の意味を取得し、中国語固有の音韻論や形態論的特徴をしばしば無視しています。この問題を解決するために、本論文では、中国文字認識に焦点を当てた共有ウェイトマルチモーダル翻訳モデルを提案します。このモデルは、中国語ピン音の音韻的特徴と中国語フォント形態の特徴を各中国語レキシカル要素に統合し、変異テキストの深い意味特徴を学習するために設計されています。具体的には、中国語ピン音の音韻的特徴は埋め込み層を通してコーディングされ、中国語フォント形態の特徴は畳み込みニューラルネットワークによって学習されます。中国文字認識タスクで、ソース文とターゲット文の間の多モード特徴の類似性を考慮し、トレーニングプロセスでは、ソース文のヒューリスティック情報を活用してターゲット文を生成するための共有ウェイト埋め込み機構が設計されました。実験結果は、本論文で提案された共有ウェイトマルチモーダル翻訳モデルがそれぞれ89.550%、79.480%のバイリンガル評価テスト(BLEU)およびF1値で、現在の最先端のベースラインモデルと比較して、著しい向上を示しています。

中国文字の変種; マルチモードモデル; 翻訳モデル; 音韻論と形態論