Численные методы оптимизации для задач большой размерности: неточный оракул и прямо-двойственный анализNumerical methods in large-scale optimization: inexact oracle and primal-dual analysis

Соискатель:

Двуреченский Павел Евгеньевич

Руководитель:

Гасников Александр Владимирович (др. работы под рук-вом)

Члены комитета:

Протасов Владимир Юрьевич (Московский государственный университет имени М.В. Ломоносова, доктор физико-математических наук, чл.-корр. РАН, председатель комитета), Жадан Виталий Григорьевич (Вычислительный центр им. А.А. Дородницына РАН, доктор физико-математических наук, член комитета), Назин Александр Викторович (Институт проблем управления им. В.А. Трапезникова РАН, доктор физико-математических наук, член комитета), Роланд Хильдебранд (Университет Гренобль Альпы, Doctor Habilitation, член комитета), Юдицкий Анатолий Борисович (Университет Гренобль Альпы, Doctor of Sciences (HDR), член комитета)

Диссертация принята к предварительному рассмотрению:

10/21/2020

Диссертация принята к защите:

11/26/2020 (протокол №16)

Дисс. совет:

Совет по компьютерным наукам

Дата защиты:

12/28/2020

Работа посвящена разработке численных методов оптимизации для задач большой размерности, мотивированных приложениями к машинному обучению, обработке изображений. Предложены новые методы первого и нулевого порядка для задач с неточностями в значениях функции и значениях градиента, причем неточности являются детерминированными или стохастическими. Получены оценки скорости сходимости этих методов, соответствующие известным нижним оценкам для рассматриваемых классов задач. В качестве приложения рассмотрена задача обучения модели ранжирования веб-страниц. Также предложены новые прямо-двойственные методы первого порядка, которые позволяют одновременно решать прямую и двойственную задачи с оптимальной скоростью сходимости. Особое внимание уделяется задачам с линейными ограничениями и применению предложенных методов к задачам вычисления оптимального транспортного расстояния и барицентра.

Диссертация [*.pdf, 9.22 Мб] (дата размещения 10/22/2020)

Резюме [*.pdf, 717.73 Кб] (дата размещения 10/22/2020)

Summary [*.pdf, 663.43 Кб] (дата размещения 10/22/2020)

Публикации, в которых излагаются основные результаты диссертации

Dvurechensky, P., Gasnikov, A. Stochastic Intermediate Gradient Method for Convex Problems with Stochastic Inexact Oracle

Gasnikov, A.V., Dvurechensky, P.E. Stochastic intermediate gradient method for convex optimization problems

Bogolubsky, L., Gusev, G., Raigorodskii, A., ...Gasnikov, A., Nesterov, Y. Learning supervised pagerank with gradient-based and gradient-free optimization methods

Dvurechensky, P., Gorbunov, E., Gasnikov, A. An accelerated directional derivative method for smooth stochastic convex optimization

Dvurechensky, P., Nesterov, Y., Spokoiny, V. Primal-dual methods for solving infinite-dimensional games

Dvurechensky, P., Gasnikov, A., Kroshnin, A. Computational Optimal Transport: Complexity by Accelerated Gradient Descent Is Better Than by Sinkhorn's Algorithm

Dvurechensky, P., Dvinskikh, D., Gasnikov, A., Uribe, C.A., Nedić, A. Decentralize and randomize: Faster algorithm for Wasserstein barycenters

Guminov, S.V., Nesterov, Y.E., Dvurechensky, P.E., Gasnikov, A.V. Accelerated Primal-Dual Gradient Descent with Linesearch for Convex, Nonconvex, and Nonsmooth Optimization Problems

Nesterov, Y., Gasnikov, A., Guminov, S., Dvurechensky, P. Primal–dual accelerated gradient methods with small-dimensional relaxation oracle

Chernov, A., Dvurechensky, P., Gasnikov, A. // Fast primal-dual gradient method for strongly convex minimization problems with linear constraints

Отзывы

Отзыв научного руководителя

Отзыв научного консультанта (дата размещения 10/22/2020)

Сведения о результатах защиты:

Комитет по диссертации рекомендовал присудить ученую степень доктора компьютерных наук (протокол № 2 от 28.12.2020). Решением диссертационного совета (протокол № 1 от 15.01.2021) присуждена ученая степень доктора компьютерных наук.

Ключевые слова:

машинное обучение, неточный оракул, обработка изображений, прямо-двойственный анализ, численные методы оптимизации

См. на ту же тему

Влияние структурных и функциональных связей на асимметрию языковых процессов и их нейрональную реорганизациюКандидатская диссертация

Соискатель: Карпычев Виктор Викторович
Руководитель: Драгой Ольга Викторовна

Модели и методы автоматической обработки неструктурированных данных в биомедицинской областиДокторская диссертация

Соискатель: Тутубалина Елена Викторовна
Дата защиты: 11/7/2023

Подходы машинного обучения для анализа разрывов раковых геномовКандидатская диссертация

Соискатель: Челошкина Ксения Сергеевна
Руководитель: Попцова Мария Сергеевна
Дата защиты: 6/28/2023