Методы квантизации для нейросетевых моделей, используемых в задачах NLP

ФИО студента: Сенин Артём Сергеевич

Руководитель: Ильвовский Дмитрий Алексеевич

Кампус/факультет: Факультет компьютерных наук

Программа: Финансовые технологии и анализ данных (Магистратура)

Год защиты: 2021

Данная работа изучает возможность уменьшения объемаи нейросетевыми моделями, используемыми в задачах обработки естественного языка с помощью квантизации. В частности, в рамках данной работы был проверен новый алгоритм квантизации QSin, а также было проведено сравнение QSin с алгоритмами post-training квантизации и квантизации с помощью straight-through estimator. Сравнение методов квантизации осуществлялось с помощью обучения текстовой модели GPT2 и формирования предсказаний на наборе данных DBpedia при разных степенях интенсивности квантизации. Было выяснено, что алгоритм QSin уменьшает объём модели GPT2 более эффективно, нежели алгоритмы post-training квантизации и алгоритм квантизации с использованием straight-through estimator.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ