• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
ФИО студента
Название работы
Руководитель
Факультет
Программа
Оценка
Год защиты
Рубцов Василий Николаевич
Сравнение n-граммной и нейронной языковых моделей на русскоязычных текстах
2015
Одной из основных составляющих систем распознавания речи и автоматического перевода текста является языковая модель. Такая модель предоставляет вероятностное распределение появления нового слова в условии некоторой истории, контекста. Традиционно, в качестве языковой модели использовалась n-граммная модель в силу простоты ее реализации и большой скоростью обучения. Однако за последние 10 лет все больше работ посвящено нейронным языковым моделям, главный недостаток которых - время обучения. При этом нейронные языковые модели превосходят по эффективности n-граммные модели. Однако наилучших результатов можно добиться при комбинации этих моделей. В настоящей работе приводится сравнение четырех техник сглаживаний языковых моделей - Гуда-Тьюринга, Виттена-Белла, Кнезера-Нея и абсолютного дисконтирования, наилучшим среди которых, не зависимо от объема обучаемых данных, является сглаживание Кнезера-Нея. Приводятся результаты работы рекуррентной нейронной языковой модели в зависимости от количества нейронов в скрытом слое. В работе показано, что использование малого количества нейронов (от 0 до 25) не позволяют модели достаточно хорошо предсказывать вероятность появления нового слова. В то же время, использование слишком большого количества нейронов (больше 225) приводит к переобучению. Также в работе сравниваются n-граммная и рекуррентная нейронная языковые модели, а также их комбинации. Показано, что превосходство нейронной языковой модели над n-граммной растет с увеличением объема данных для обучения. Помимо того, n-граммная и нейронная языковые модели сравниваются в задаче классификации по авторам. Несмотря на то, что рекуррентные нейронные языковые модели превосходят по эффективности n-граммные языковые модели, они показывают плохой результат в задачах классификации. Главная проблема - плохая обучаемость на данных малого объема. В то же время n-граммная модель показывает 100% точность при классификации по четырем авторам.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Расширенный поиск ВКР