• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Методы сжатия рекуррентных нейронных сетей для задач обработки естественного языка Methods of recurrent neural network compression for natural languages processing Кандидатская диссертация Ученая степень НИУ ВШЭ

Соискатель:Грачев Артем Михайлович
Руководитель:Игнатов Дмитрий Игоревич (др. работы под рук-вом)
Члены комитета:Миркин Борис Григорьевич (Национальный исследовательский университет "Высшая школа экономики", доктор технических наук, председатель комитета), Константинова Наталья Сергеевна (компания "Shell Energy Retail", PhD, член комитета), Оселедец Иван Валерьевич (Сколковский институт науки и технологий, доктор физико-математических наук, член комитета), Панченко Александр Иванович (Сколковский институт науки и технологий, PhD, член комитета), Сапунов Григорий Владимирович (Компания "Intento, Inc", кандидат технических наук, член комитета)
Диссертация принята к предварительному рассмотрению:05.07.2019
Диссертация принята к защите:23.08.2019 (протокол №8)
Дисс. совет:Совет по компьютерным наукам
Дата защиты:24.09.2019


Повсеместное распространение мобильных устройств и рост их числа делают задачу сжатия нейронных сетей довольно востребованной в контексте размещения нейронных сетей на этих устройствах. В данном исследовании предложенно несколько методов сжатия RNN в задаче моделирования языка. Изучены простейшие методы наподобие прунинга и квантизации, рассмотрены методы матричного сжатия и предложены свои адаптации для задачи сжатия рекуррентных нейронных сетей. Завершающая глава посвящена применению байесовских методов для этой задачи.

Диссертация [*.pdf, 1.55 Mb] (дата размещения 12.07.2019)
Резюме [*.pdf, 369.36 Kb] (дата размещения 12.07.2019)
Summary [*.pdf, 352.06 Kb] (дата размещения 12.07.2019)

Публикации, в которых излагаются основные результаты диссертации



Отзывы:
Отзыв научного руководителя
Отзыв члена Комитета
Сведения о результатах защиты:Комитет по диссертации рекомендовал присудить ученую степень кандидата наук НИУ ВШЭ (протокол № 2 от 24.09.2019). Решением диссертационного совета (протокол № 11 от 02.10.2019) присуждена ученая степень кандидата компьютерных наук НИУ ВШЭ.
Ключевые слова: байесовские методы, методы сжатия RNN, моделирование языка, нейронные сети