Nos últimos anos, o reconhecimento audiovisual de fala (AVSR) tem recebido atenção crescente. No entanto, pesquisas existentes frequentemente simplificam os desafios complexos em aplicações reais, concentrando-se apenas em cenários com dois falantes e trechos de áudio e vídeo perfeitamente alinhados. Este trabalho investiga o impacto do número de falantes e do desalinhamento modal na tarefa AVSR, propondo um framework AVSR de ponta a ponta em condições mais realistas. Especificamente, propõe-se um mecanismo de mistura de especialistas sensível ao número de falantes (SA-MoE) para modelar explicitamente as diferenças de características em cenários com diferentes números de falantes, e projeta-se um módulo de realinhamento crossmodal (CMR) para lidar de maneira robusta com entradas assíncronas. Além disso, aproveitando as diferenças intrínsecas de dificuldade, propõe-se uma nova estratégia de treinamento chamada aprendizado curricular baseado em desafios (CBCL), que força o modelo a focar em dados difíceis e desafiadores em vez de dados simples, aumentando assim a eficiência.

reconhecimento e síntese de fala; reconhecimento multimodal; aprendizado curricular; reconhecimento de fala multisspeakers