Модели и методы автоматической проверки и оценки качества машинного перевода

Широкое распространение различных онлайн-сервисов перевода текстов повлекло за собой необходимость оценивания качества работы таких сервисов. В связи с большим количеством текстов, оценка перевода человеком становится слишком долгой и затратной. Данная работа посвящена построению модели, способной быстро и ка-чественно оценивать точность перевода текстов с русского языка на английский без использования информации об эталонном переводе. Модель обучалась на информации о том, является ли перевод текста машинным или же текст переведён человеком. Человеческий перевод считался идеальным и точность перевода оценивалась на основании предсказаний о близости текста к человеческому переводу. В ходе работы были проанализированы различные способы построения эмбеддингов, а также различные архитектуры нейросетей. Для повышения качества модели к текстовым признакам были дополнительно добавлены лингвистические признаки, извлечённые из текстов. В итоге был сделан вывод, что лингвистические признаки значимо влияют на качество оценки. Наилучший результат показала архитектура нейросети GRU, на вход которой подавались текстовые эмбеддинги, а перед последним слоем отдельно добавлялись данные о лингвистических особенностях текста. Проверка качества модели проводилась на независимом датасете с оценками переводов асессорами. В результате удалось приблизиться к результатам методов, использующих данные об эталонном переводе. Таким образом, была получена стабильная модель, способная оценивать точность машинного перевода.