• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

ФИО студента
Название работы
Руководитель
Факультет
Программа
Оценка
Год защиты
Стукен Юрий Сергеевич
Экспериментальное исследование влияния процедуры дропаут на обобщающую способность и скорость обучения глубинных нейронных сетей
2015
Всё чаще и чаще для решения сложных задач машинного обучения используются глубинные нейронные сети (deep neural networks), то есть нейронные сети с несколькими скрытыми слоями. Особенно хорошо себя такие сети проявили себя в решении задач распознавания образов (изображений, речи и пр.). Известной проблемой при обучении таких сетей является эффект переобучения – модель подстраивается под обучающую выборку, показывая значительно худшие результаты на независимой тестовой выборке. Для борьбы с эффектом переобучения существует ряд методов регуляризации. Работа посвящена исследованию влияния относительно новой процедуры регуляризации на время обучения и обобщающую способность глубинных нейронных сетей на примере задачи классификации рукописных цифр из набора данных MNIST. Суть процедуры дропаут заключается в случайном выбрасывании во время обучения части нейронов из сети (умножении выходных сигналов на бернуллиевскую случайную величину) для предотвращения подстраивания нейронов под выходные сигналы нейронов предыдущего слоя. Во время тестирования качества на независимой выборке в сети присутствуют все нейроны, но веса пропорционально изменяются. В рамках работы была самостоятельно реализована модель глубинной нейронной сети на языке Python, проведен ряд экспериментов, позволяющих сделать вывод о положительном влиянии дропаута на ошибку классификации на независимой тестовой выборке: введение дропаута позволило уменьшить ошибку классификации на независимой тестовой выборке на 30%. Кроме того, в работе рассмотрены два возможных обобщения процедуры дропаут, заключающиеся в измнении распределения случайной величины, на которую умножается выход нейронов. Помимо классической схемы с бернуллиевской величиной, были рассмотрены варианты с бета-распределением и дискретным распределением специального вида. Применение обобщений не позволило получить результаты, лучшие, чем у классического дропаута, но позволило судить о наличии у дропаута некоторой зоны устойчивости.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Расширенный поиск ВКР