Автоматическое исправление грамматических ошибок для русского языка

Исправление грамматических ошибок — одна из фундаментальных задач обработки естественного языка. В основном она решается для английского языка, поскольку для него имеется наибольшее число размеченных данных. Появившийся недавно русскоязычный корпус RULEC-GEC дал возможность апробировать методы, использовавшиеся на англоязычном материале. Наиболее передовым из них является подход на основе нейронного машинного перевода с использованием архитектуры Transformer. Подобная модель требует большого числа размеченных данных и вычислительных ресурсов для обучения. В связи с этим большую актуальность приобретает решение задачи в парадигме без учителя на основе доступных лингвистических инструментов. Целью работы является изучить возможность применения нейронной языковой модели RuBERT и правил для задачи исправления грамматических ошибок в русском языке. На тестовом наборе корпуса RULEC-GEC было достигнуто качество 40,31% по F05-мере, что сопоставимо с показателями передовых работ, в которых использовалась парадигма нейронного машинного перевода.