Задача исправления китайского написания направлена на обнаружение и исправление возможных орфографических ошибок в китайском тексте. Однако китайский язык проявляет высокую сложность, поскольку существует несколько вариантов звуковых изменений, которые могут соответствовать разным символам. Учитывая эту сложность китайского языка, задача исправления китайского написания является ключевой для обеспечения точности и ясности письменного общения, и недавние исследования уже внедрили внешние знания через речевые и зрительные модальности в модель. Однако эти методы не смогли эффективно использовать модальную информацию направленным образом для решения различных типов орфографических ошибок. В данной статье мы предлагаем много-модальную предварительную обученную языковую модель под названием DRMSpell для исправления китайского написания, которая учитывает взаимодействие между модальностями. Мы вводим динамический модуль переопределения множественных модальностей для переопределения различных модальностей и получения более полезной модальной информации. Для полного использования полученной многомодальной информации и дальнейшего усиления модели мы предлагаем стратегию независимой маскировки модальности, которая маскирует три типа модальности для отдельного элемента слова на этапе предварительного обучения. Наш метод показывает передовую производительность на большинстве широко используемых базовых показателей тестирования, при этом результаты эксперимента показывают, что наш метод способен моделировать информацию взаимодействия между модальностями, даже для заблужденной информации модальности.

Исправление китайского написания; многомодальность; стратегия маскировки