• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Архитектуры глубинного обучения с ограниченным бюджетом по памятиDeep learning architectures on a limited memory budget

Соискатель:
Лобачева Екатерина Максимовна
Члены комитета:
Деркач Денис Александрович (НИУ ВШЭ, PhD, председатель комитета), Алистарх Дэн (Австрийский институт науки и технологий, PhD, член комитета), Елсен Эрих (Persimmon AI Labs, PhD, член комитета), Луизос Христос (компания Qualcomm Technologies Netherlands B.V., PhD, член комитета), Риш Ирина (Монреальский университет,, PhD, член комитета)
Диссертация принята к предварительному рассмотрению:
7/5/2022
Диссертация принята к защите:
9/14/2022
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
9/30/2022
В данной работе рассматривается проблема получения нейронных сетей высокого качества при наличии ограничений на размеры модели на этапе ее применения. Подобного рода ограничения могут возникать, например, при использовании нейросетей в пользовательских приложениях, которые не должны занимать слишком много памяти на устройствах. В первой части работы развиваются методы разреживания нейросетей для рекуррентных архитектур и показывается, что аккуратный учет особенностей рекуррентности, большого входного словаря и гейтовой структуры позволяет добиться лучшего сжатия моделей и повышает их интерпретируемость. Во второй части работы исследуется зависимость качества ансамбля нейросетей от числа сетей в нем и их размеров и показывается, что при ограниченном бюджете по памяти ансамбль из нескольких сетей меньшего размера показывает более высокие результаты, чем одна большая нейросеть. В работе также выявляются степенные законы в поведении качества ансамбля, которые позволяют эффективно предсказывать оптимальное деление бюджета по памяти на несколько нейросетей.
Диссертация [*.pdf, 34.30 Мб] (дата размещения 7/5/2022)
Резюме [*.pdf, 2.87 Мб] (дата размещения 7/5/2022)
Summary [*.pdf, 2.55 Мб] (дата размещения 7/5/2022)

Отзывы
Отзыв научного руководителя
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата наук с отличием (протокол №2 от 30.09.2022). Решением диссертационного совета (протокол № 18 от 12.10.2022) присуждена ученая степень кандидата компьютерных наук с отличием.
См. на ту же тему

Приложение машинного обучения к теоретико-игровым задачам: аукционы и марковские игрыКандидатская диссертация

Соискатель: Иванов Дмитрий Игоревич
Руководитель: Нестеров Александр Сергеевич
Дата защиты: 12/27/2024

Исследование универсальности моделей статистической механики методами машинного обученияКандидатская диссертация

Соискатель: Чертенков Владислав Игоревич
Руководитель: Щур Лев Николаевич
Дата защиты: 11/5/2024

Новые представления для изображений и 3D сценКандидатская диссертация

Соискатель: Хахулин Тарас Андреевич
Руководитель: Лемпицкий Виктор Сергеевич
Дата защиты: 10/28/2024