• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
  • Национальный исследовательский университет «Высшая школа экономики»
  • Исследовательские проекты
  • Автоматическое определение релевантности для разреживания и ускорения глубинных нейросетей. Ансамблирование алгоритмов машинного обучения. Оценка неопределенности и защита от состязательных атак. Этичное машинное обучение. Методы обучения моделей глубинного структурного предсказания, использующие функции потерь. Байесовская Батч-норматизация. Вариационный дропаут для разреживания и ускорения рекуррентных нейронных сетей. Рандомизированные методы оптимизации. Разработка эффективных методов оптимизации для нескольких важных постановок задач оптимизации. Рандомизированные методы оптимизации.Методы тензорного разложения для обучения и вывода в вероятностных моделях машинного обучения

Автоматическое определение релевантности для разреживания и ускорения глубинных нейросетей. Ансамблирование алгоритмов машинного обучения. Оценка неопределенности и защита от состязательных атак. Этичное машинное обучение. Методы обучения моделей глубинного структурного предсказания, использующие функции потерь. Байесовская Батч-норматизация. Вариационный дропаут для разреживания и ускорения рекуррентных нейронных сетей. Рандомизированные методы оптимизации. Разработка эффективных методов оптимизации для нескольких важных постановок задач оптимизации. Рандомизированные методы оптимизации.Методы тензорного разложения для обучения и вывода в вероятностных моделях машинного обучения

2018–2021

Ход реализации проекта:

Автоматическое определение релевантности для разреживания и ускорения глубинных нейросетей.

В ходе проекта будут разработаны масштабируемые инструменты для применения АОР в современных нейросетевых моделях для разреживания и ускорения.

Ансамблирование алгоритмов машинного обучения.

Целью данной темы является применение техники вариационного вывода с использованием гибкого семейства распределений для приближения истинного апостериорного распределения для представления ансамбля нейронных сетей.

  • Оценка неопределенности и защита от состязательных атак.

Планируется изучить новые масштабируемые методы Байесовского вывода, которые будут давать лучшую оценку неопределенности и будут более устойчивы к состязательным атакам, чем обычные модели глубинного обучения.

  • Этичное машинное обучение.

Разработка алгоритмов машинного обучения, решения которых не являются дискриминационными.

  • Методы обучения моделей глубинного структурного предсказания, использующие функции потерь.

Будут разработаны алгоритмы обучения, которые используют информацию о функции потерь непосредственно на этапе обучения.

  • Байесовская Батч-норматизация.

Разработка теоретически обоснованного аналога батч-нормализации для решения проблем, возникающих при использовании оригинальной техники.

  • Вариационный дропаут для разреживания и ускорения рекуррентных нейронных сетей.

Планируется рассмотреть несколько различных семейств априорных и приближенных апостериорных распределений для того, чтобы учесть специфику моделей и разреживать их без потери способности улавливать длинные по времени зависимости в данных.

  • Рандомизированные методы оптимизации.

Разработка эффективных методов оптимизации для нескольких важных постановок задач оптимизации.

  • Методы тензорного разложения для обучения и вывода в вероятностных моделях машинного обучения.

Применение тензорных разложений для создания новых ускоренных процедур обучения и вывода в различных вероятностных моделях, в особенности в моделях машинного обучения на основе гауссовских процессов.

Коды по классификатору Elibrary:
28.23.01 Общие вопросы искусственного интеллекта

См. также

Ключевые слова