• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Версия для слабовидящихЛичный кабинет сотрудника ВШЭПоискМеню

Архитектуры глубинного обучения с ограниченным бюджетом по памятиDeep learning architectures on a limited memory budget

Члены комитета:
Деркач Денис Александрович (НИУ ВШЭ, PhD, председатель комитета), Алистарх Дэн (Австрийский институт науки и технологий, PhD, член комитета), Елсен Эрих (Persimmon AI Labs, PhD, член комитета), Луизос Христос (компания Qualcomm Technologies Netherlands B.V., PhD, член комитета), Риш Ирина (Монреальский университет,, PhD, член комитета)
Диссертация принята к предварительному рассмотрению:
7/5/2022
Диссертация принята к защите:
9/14/2022
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
9/30/2022
В данной работе рассматривается проблема получения нейронных сетей высокого качества при наличии ограничений на размеры модели на этапе ее применения. Подобного рода ограничения могут возникать, например, при использовании нейросетей в пользовательских приложениях, которые не должны занимать слишком много памяти на устройствах. В первой части работы развиваются методы разреживания нейросетей для рекуррентных архитектур и показывается, что аккуратный учет особенностей рекуррентности, большого входного словаря и гейтовой структуры позволяет добиться лучшего сжатия моделей и повышает их интерпретируемость. Во второй части работы исследуется зависимость качества ансамбля нейросетей от числа сетей в нем и их размеров и показывается, что при ограниченном бюджете по памяти ансамбль из нескольких сетей меньшего размера показывает более высокие результаты, чем одна большая нейросеть. В работе также выявляются степенные законы в поведении качества ансамбля, которые позволяют эффективно предсказывать оптимальное деление бюджета по памяти на несколько нейросетей.
Диссертация [*.pdf, 34.30 Мб] (дата размещения 7/5/2022)
Резюме [*.pdf, 2.87 Мб] (дата размещения 7/5/2022)
Summary [*.pdf, 2.55 Мб] (дата размещения 7/5/2022)

Отзывы
Отзыв научного руководителя
Отзыв члена Комитета
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата наук с отличием (протокол №2 от 30.09.2022). Решением диссертационного совета (протокол № 18 от 12.10.2022) присуждена ученая степень кандидата компьютерных наук с отличием.
См. на ту же тему

Модели связывания именованных сущностей в биомедицинском доменеКандидатская диссертация

Соискатель: Мифтахутдинов Зульфат Шайхинурович
Руководитель: Тутубалина Елена Викторовна

Глубокое генеративное обучение для моделирования последовательности изображенийКандидатская диссертация

Соискатель: Волхонский Денис Алексеевич
Руководитель: Бурнаев Евгений Владимирович

Нейронные сети для обработки исходного кода программКандидатская диссертация

Соискатель: Чиркова Надежда Александровна
Руководитель: Ветров Дмитрий Петрович
Дата защиты: 10/6/2022