Построение представлений нейронных сетей для поиска эффективных архитектур

Большинство работ в области автоматического поиска архитектур нейронных сетей (NAS) базируются на обучении с подкреплением и градиентных методах, на настоящий момент другие подходы мало исследованы. Основные подходы ищут лучшую архитектуру в дискретном пространстве графов, но оптимизация в дискретном пространстве - сложная задача. Если бы мы могли перевести направленные графы в непрерывные представления, мы могли бы упростить задачу оптимизации. Сегодня существует очень мало работ на эту тему, но это направление видится очень актуальным. В работе, я предлагаю создавать графовые представления с помощью модели вариационного автоэнкодера (VAE). Для этого необходмо сначала проверить качество VAE представлений и затем оптимизировать для NAS. Чтобы не тратить много времени на тренировку архитектур при оптимизации, я буду использовать крупнейший датасет с бенчмарками Nasbench101: датасет состоит из описаний претренированных на CIFAR10 архитектур и их логов тренировки. Набор графов которые в нём рассматривают включает большинство популярных архитектур: MobileNet, Inception, or Resnet. В первой главе вы найдёте обзор последних достижений в решении NAS проблемы, описание VAE подходов и датасетов архитектур, которые будут рассмотрены. Для проверки возможности решать NAS проблему с помощью VAE, работа разделена на 2 части: во второй главе исследована возможность предсказания финальных результатов модели напрямую из представлений и число моделей, которые для этого надо обучить, в третьей главе я проведу оптимизацию в пространстве этих представлений для поиска наилучшей архитектуры. Будут рассмотрены разные модификации VAE и показано, что изменение лосса VAE, генерирующейго эмбеддинги, может значительно повлиять на качество решение NAS задачи. В конце я проведу сравнение с конкурентными методами.