• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Тензорные методы в задачах машинного обученияTensor methods for machine learning

Соискатель:
Новиков Александр Витальевич
Члены комитета:
Конушин Антон Сергеевич (ООО «Исследовательский центр Самсунг», кандидат физико-математических наук, председатель комитета), Бурнаев Евгений Владимирович (Сколковский институт науки и технологий, кандидат физико-математических наук, член комитета), Лемпицкий Виктор Сергеевич (Сколковский институт науки и технологий, кандидат физико-математических наук, член комитета), Литвиненко Александр (Рейнско-Вестфальский технический университет Ахена, PhD, член комитета), Усевич Константин (Национальный центр научных исследований (Франция), кандидат физико-математических наук, член комитета)
Диссертация принята к предварительному рассмотрению:
9/15/2021
Диссертация принята к защите:
11/17/2021 (Протокол №18)
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
12/16/2021
Машинное обучение позволяет решить все новые и новые задачи, но одновременно с этим растут требования к вычислительным ресурсам как для обучения моделей, так и для применения обученных моделей на практике. Данная диссертация посвящена использованию тензорных разложений (обобщения матричных низкоранговых разложений на многомерные массивы) для ускорения и сжатия нейронных сетей и марковских случайных полей. В работе показано, что при помощи параметризации линейных слоев сверточных нейронных сетей низкоранговыми тензорами можно достичь существенного сжатия моделей без потери качества; предложена модель машинного обучения, позволяющая эффективно учитывать полиномиальные взаимодействия признаков высоких порядков; и получен метод оценки нормировочной константы марковского случайного поля существенно опережающий аналоги по точности работы. Также в работе предложен метод автоматического риманова дифференцирования для многообразия тензоров и матриц низкого ранга и реализована библиотека для работы с разложением в тензорный поезд поддерживающая автоматическое риманово дифференцирование, которая позволит упростить дальнейшие разработки на стыке машинного обучения и тензорных методов.
Диссертация [*.pdf, 2.93 Мб] (дата размещения 9/21/2021)
Резюме [*.pdf, 289.29 Кб] (дата размещения 9/21/2021)
Summary [*.pdf, 238.82 Кб] (дата размещения 9/21/2021)

Отзывы
Отзыв научного руководителя
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата компьютерных наук (протокол № 2 от 16.12.2021). Решением диссертационного совета (протокол № 22 от 23.12.2021) присуждена ученая степень кандидата компьютерных наук.
См. на ту же тему

Ускорение, сжатие и усовершенствование нейросетевых алгоритмов классификации и распознавания объектов на изображении и в видеопотоке.Кандидатская диссертация

Соискатель: 
Руководитель: Оселедец Иван Валерьевич

Динамика обучения и ландшафт функции потерь нейронных сетей с масштабно-инвариантными параметрамиКандидатская диссертация

Соискатель: Кодрян Максим Станиславович
Руководитель: Ветров Дмитрий Петрович
Дата защиты: 1/23/2024

Тензорные методы для многомерных дифференциальных уравненийКандидатская диссертация

Соискатель: Чертков Андрей Владимирович
Руководитель: Оселедец Иван Валерьевич
Дата защиты: 11/27/2023