• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Построение сетей решающих деревьев с помощью градиентного бустинга

ФИО студента: Мосиенко Константин Викторович

Руководитель: Бурнаев Евгений Владимирович

Кампус/факультет: Факультет компьютерных наук

Программа: Науки о данных (Магистратура)

Оценка: 8

Год защиты: 2018

В данной работе мы исследуем новый подход к построению нейросетей, основанный на использовании композиций решающих деревьев в качестве слоёв - строительных блоков. Поставленные задачи заключаются в исследовании и реализации алгоритмов, позволяющих как заменять некоторые слои в сети на композиции деревьев, так и полностью с нуля реализовывать сети чисто из деревьев. Реализуемые компоненты должны в составе сети обучаться методом обратного распространения ошибки, но, в свою очередь, внутри себя реализовывать построение композиции градиентным бустингом. В ходе работы была реализована библиотека boostnet, с помощью которой и были проведены все эксперименты и замеры. Библиотека позволяет создавать и обучать, как обыкновенные нейросети, так и использовать в них слои из деревьев. Перед обучением строится граф вычислений, на основании которого выполнение оптимизации по возможности выносится в разные потоки, что позволяет более полно утилизировать доступные вычислительные ресурсы. С помощью библиотеки boostnet была решена задача построения автоэнкодера, строящего сжатые представления для объектов многомерной природы. На этой задаче был опробован целый спектр оптимизаций, затрагивающих как существующие подходы, так и разработанные новые. Была решена задача быстрого дифференциирования деревьев, задача настройки уже существующих деревьев, прореживания композиций, в новом свете предстала технология dropout.

Текст работы (работа добавлена 28 мая 2018 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ