Сравнение n-граммной и нейронной языковых моделей на русскоязычных текстах

Одной из основных составляющих систем распознавания речи и автоматического перевода текста является языковая модель. Такая модель предоставляет вероятностное распределение появления нового слова в условии некоторой истории, контекста. Традиционно, в качестве языковой модели использовалась n-граммная модель в силу простоты ее реализации и большой скоростью обучения. Однако за последние 10 лет все больше работ посвящено нейронным языковым моделям, главный недостаток которых - время обучения. При этом нейронные языковые модели превосходят по эффективности n-граммные модели. Однако наилучших результатов можно добиться при комбинации этих моделей. В настоящей работе приводится сравнение четырех техник сглаживаний языковых моделей - Гуда-Тьюринга, Виттена-Белла, Кнезера-Нея и абсолютного дисконтирования, наилучшим среди которых, не зависимо от объема обучаемых данных, является сглаживание Кнезера-Нея. Приводятся результаты работы рекуррентной нейронной языковой модели в зависимости от количества нейронов в скрытом слое. В работе показано, что использование малого количества нейронов (от 0 до 25) не позволяют модели достаточно хорошо предсказывать вероятность появления нового слова. В то же время, использование слишком большого количества нейронов (больше 225) приводит к переобучению. Также в работе сравниваются n-граммная и рекуррентная нейронная языковые модели, а также их комбинации. Показано, что превосходство нейронной языковой модели над n-граммной растет с увеличением объема данных для обучения. Помимо того, n-граммная и нейронная языковые модели сравниваются в задаче классификации по авторам. Несмотря на то, что рекуррентные нейронные языковые модели превосходят по эффективности n-граммные языковые модели, они показывают плохой результат в задачах классификации. Главная проблема - плохая обучаемость на данных малого объема. В то же время n-граммная модель показывает 100% точность при классификации по четырем авторам.