Сжатие и ускорение глубоких нейронных сетей для классификации текстовых данных банка

ФИО студента: Уманец Екатерина Евгеньевна

Руководитель: Масютин Алексей Александрович

Кампус/факультет: Факультет компьютерных наук

Программа: Финансовые технологии и анализ данных (Магистратура)

Год защиты: 2020

В работе рассматривается применение двух методов по сжатию и ускорениюBiLSTM и сети-трансформера BERT для задачи многоклассовой классификациибанковских текстов. Первый метод - это групповая LASSO-регуляризация, основаннаяна обнулении целых компонент в матрицах весов BiLSTM. Алгоритм распадаетсяна два типа в зависимости от того, рассматривается прямой и обратный проход какодна BiLSTM или как две независимые LSTM. Второй метод основан на симуляцииповедения русскоязычной state-of-the-art модели BERT с помощью более простоймодели BiLSTM. Эксперименты на реальных текстовых данных показывают, чтооба подхода и их объединение обеспечивают значительное ускорение и сжатиеглубоких моделей без существенной потери в качестве.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ