Методы оптимизации для негладких задач в пространствах больших размерностейOptimization methods for non-smooth problems in large dimensional spaces
Соискатель:
Титов Александр Александрович
Руководитель:
Гасников Александр Владимирович (др. работы под рук-вом)
Члены комитета:
Колесников Александр Викторович (НИУ ВШЭ, д.ф.-м.н., председатель комитета), Валентин Леплат (Сколковский институт науки и технологий, PhD, член комитета), Калягин Валерий Александрович (НИУ ВШЭ в Нижнем Новгороде, д.ф.-м.н., член комитета), Колногоров Александр Валерианович (НовГУ им. Ярослава Мудрого, д.ф.-м.н., член комитета), Назин Александр Викторович (ИПУ РАН, д.ф.-м.н., член комитета)
Диссертация принята к предварительному рассмотрению:
4/25/2023
Диссертация принята к защите:
5/29/2023
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
6/27/2023
Численные методы оптимизации играют важнейшую роль в решении многих прикладных задач различных областей науки, прежде всего, машинного обучения и анализа данных. Наибольшие трудности в использовании известных алгоритмов оптимизации возникают из-за негладкости целевой функции, невозможности точного вычисления ее значения и значения ее субградиентов в заданной точке, а также большой размерности задачи. В данной диссертации предлагаются различные модификации алгоритма зеркального спуска с переключениями для минимизации негладких выпуклых функций. При этом данные модификации применимы для разнообразных вариантов постановки задачи оптимизации с ограничениями типа неравенств, в том числе, для невыпуклых (квазивыпуклых) функций и ограничений, неточно заданных функций, допускающих представление в виде абстрактной модели, а также случаев онлайн и стохастической постановок задачи. Далее в диссертации предлагаются численные методы решения вариационных неравенств с монотонным оператором и обосновывается возможность применения техники рестартов адаптивного проксимального зеркального метода в случае, если оператор является сильно монотонным и удовлетворяет условию Гельдера. Также в работе впервые предлагается ускоренный метод решения седловой задачи с пониженным уровнем гладкости.
Диссертация [*.pdf, 1.39 Мб] (дата размещения 4/27/2023)
Резюме [*.pdf, 369.75 Кб] (дата размещения 4/27/2023)
Summary [*.pdf, 354.44 Кб] (дата размещения 4/27/2023)
Публикации, в которых излагаются основные результаты диссертации
F.S.Stonyakin, A.A.Titov One mirror descent algorithm for convex constrained optimization problems with non-standard growth properties (смотреть на сайте журнала)
F.S.Stonyakin, M.S.Alkousa, A.A.Titov, V.V.Piskunova On some methods for strongly convex optimization problems with one functional Constraint (смотреть на сайте журнала)
Ф.С,Стонякин, А.Н.Степанов, А.В.Гасников, А.А.Титов Метод зеркальеого спуска для условных задач оптимизации с большими значениями норм субградиентов функциональных ограничений (смотреть на сайте журнала)
A.Bayandina, P.Dvurechensky, A.Gasnikov, F.Stonyakin, A.Titov Mirror descent and convex optimization problems with non-smooth inequality constraints (смотреть на сайте журнала)
A.A.Titov, F.S.Stonyakin, A.V.Gasnikov, M.S.Alkousa Mirror descent and constrained online optimization problems (смотреть на сайте журнала)
S.S.Albaev, A.A.Titov, F.S.Stonyakin, M.S.Alkousa, A.V.Gasnikov Some adaptive first-order methods for variational inequalities with relatively strongly monotone operators and generalized smoothness (смотреть на сайте журнала)
F.Stonyakin, A.Gasnikov, P.Dvurechensky, A.Titov, M.S.Alkousa Generalized mirror prox algorithm for monotone variational inequalities: universality and inexact oracle (смотреть на сайте журнала)
A.A.Titov, F.S.Stonyakin, M.S.Alkousa, A.V.Gasnikov Algorithms for solving variational inequalities and saddle point problems with some generalizations of Lipschitz property for operators (смотреть на сайте журнала)
A.A.Titov, F.S.Stonyakin, M.S.Alkousa, S.A.Ablaev, A.V.Gasnikov Analogues of switching subgradient schemes for relatively Lipschitz-continuous convex programming problems (смотреть на сайте журнала)
А.В.Гасников, П.Е.Двуреченский, Ф.С.Стонякин, А.А.Титов Адаптивный проксимальный метод для вариационных неравенств (смотреть на сайте журнала)
F.S.Stonyakin, M.Alkousa, A.N.Stepanov, A.A.Titov Adaptive Mirror Descent Algorithms for Convex and Strongly Convex Optimization Problems with Functional Constraints (смотреть на сайте журнала)
О.С.Савчук, А.А.Титов, Ф.С.Стонякин, М.С.Алкуса Адаптивные методы первого порядка для относительносильновыпуклых задач оптимизации (смотреть на сайте журнала)
Отзывы
Отзыв научного руководителя
- Гасников Александр Владимирович (дата размещения 4/26/2023)
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата компьютерных наук (протокол №2 от 27.06.2023). Решением диссертационного совета (протокол №9 от 08.09.2023) присуждена ученая степень кандидата компьютерных наук.
См. на ту же тему
Численные методы оптимизации для задач большой размерности: неточный оракул и прямо-двойственный анализДокторская диссертация
Соискатель: Двуреченский Павел Евгеньевич
Руководитель: Гасников Александр Владимирович
Дата защиты: 12/28/2020