• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Методы оценивания языковых моделей в задачах понимания естественного языкаLanguage model evaluation in natural language understanding

Руководители
Воронцов Константин Вячеславович (др. работы под рук-вом); Шаврина Татьяна Олеговна (др. работы под рук-вом)
Члены комитета:
Гращенков Павел Валерьевич (МГУ, д.фил.н., председатель комитета), Алимова Ильсеяр Салимовна (КФУ, к.т.н., член комитета), Гончарова Елизавета Фёдоровна (НИУ ВШЭ, к.комп.н., член комитета), Сметанин Сергей Игоревич (Snap Inc., к.комп.н., член комитета), Чиркова Надежда Александровна (Naver Labs Europe, к.комп.н., член комитета)
Диссертация принята к предварительному рассмотрению:
7/27/2023
Диссертация принята к защите:
9/18/2023
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
10/12/2023
В связи с бурным развитием языкового моделирования и языковых моделей на основе архитектуры «Трансформер», особую актуальность приобретают вопросы, связанные с оценкой языковых моделей и того, насколько хорошо они понимают естественный язык. Возникает необходимость в разработке методов количественного оценивания языковых моделей, а также в разработке систем тестов и инструментов, с помощью которой можно оценивать те или иные аспекты языкового моделирования и сравнивать модели между собой. В данном исследовании предложен метод оценивания устойчивости языковых моделей в задаче распознавания причинно-следственных связей. В работе разработана методология для мультиязычного оценивания моделей на пяти языках и проведено оригинальное исследование стабильности мультиязычной модели BERT в задаче распознавания причинно-следственных связей. Помимо этого, в рамках создания первого русскоязычного набора тестов на понимание естественного языка в работе представлен фреймворк для оценивания языковых моделей на данном наборе тестов, с помощью которого проведено оригинальное исследование по оцениванию ряда предобученных моделей архитектуры BERT для русского языка.
Диссертация [*.pdf, 20.69 Мб] (дата размещения 7/27/2023)
Резюме [*.pdf, 865.79 Кб] (дата размещения 7/27/2023)
Summary [*.pdf, 752.14 Кб] (дата размещения 7/27/2023)

Публикации, в которых излагаются основные результаты диссертации



Отзывы
Отзыв научного руководителя
Отзыв члена Комитета
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата наук (протокол №2 от 12.10.2023). Решением диссертационного совета (протокол №13 от 30.10.2023) присуждена ученая степень кандидата компьютерных наук.
См. на ту же тему

Эталонное тестирование языковых моделей на задачах понимания естественного языкаКандидатская диссертация

Соискатель: Михайлов Владислав Николаевич
Руководитель: Артемова Екатерина Леонидовна
Дата защиты: 8/25/2023