近年、音声─視覚音声認識（AVSR）への関心が高まっています。しかし、既存の研究は実際の応用における複雑な課題を簡略化し、主に二者話者のシナリオと完全に同期した音声─映像クリップに焦点を当てています。本稿では、話者数とモーダルの非同期性がAVSRタスクに与える影響を検討し、より現実的な条件下でエンドツーエンドのAVSRフレームワークを提案します。具体的には、話者数感知型エキスパートミキシング（SA-MoE）機構を提案し、異なる話者数シナリオにおける特徴の違いを明確にモデル化し、非同期入力を頑健に処理するためにクロスモーダル再整列（CMR）モジュールを設計しました。さらに、固有の難易度差を活かして、課題に基づくカリキュラム学習（CBCL）という新しい訓練戦略を提案し、モデルが単純なデータではなく困難で挑戦的なデータに注目するよう促すことで効率を向上させました。

音声認識と合成;マルチモーダル認識;カリキュラム学習;多話者音声認識