Дополнительные главы оптимизации

2026/2027

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс по выбору

Когда читается:

1-й курс, 1 модуль

Программа дисциплины

Аннотация

Дисциплина посвящена современным методам непрерывной оптимизации, используемым в задачах машинного обучения и анализа данных. В курсе рассматриваются основы выпуклого анализа и условной оптимизации, градиентные методы и методы второго порядка, негладкая и составная оптимизация, барьерные методы и методы внутренней точки, ускоренные и стохастические градиентные методы, а также основные подходы к анализу невыпуклых задач. Особое внимание уделяется условиям применимости методов, их сходимости, вычислительной стоимости и зависимости эффективности алгоритмов от свойств оптимизируемой задачи

Цель освоения дисциплины

• Формирование у студентов системного представления о современных методах непрерывной оптимизации, их теоретических основаниях, условиях применимости и сравнительных свойствах, а также умений выбирать и анализировать методы оптимизации для задач, возникающих в машинном обучении и анализе данных

Планируемые результаты обучения

• Знание основных понятий выпуклого анализа; условий оптимальности для безусловных и условных задач; принципов работы и теоретических свойств градиентных, ньютоновских, квазиньютоновских, субградиентных, проксимальных, барьерных, ускоренных и стохастических методов; основных критериев качества алгоритмов оптимизации; понятий стационарности и условий сходимости в невыпуклой оптимизации
• Умение исследовать задачи оптимизации на выпуклость, гладкость и сильную выпуклость; формулировать условия Каруша–Куна–Таккера; анализировать сходимость и вычислительную сложность методов; выбирать подходящий метод с учетом структуры задачи, наличия ограничений, обусловленности и доступной информации о целевой функции; применять изученные методы к модельным задачам
• Владение навыками математического анализа алгоритмов оптимизации, вывода условий оптимальности и оценок сходимости, сравнительного анализа методов первого и второго порядка, а также методов решения негладких, стохастических и невыпуклых задач

Содержание учебной дисциплины

• Выпуклость, гладкость и сильная выпуклость
• Условная оптимизация: лагранжиан, двойственность и условия Каруша–Куна–Таккера
• Гладкая безусловная оптимизация: градиентный метод, метод Ньютона и квазиньютоновские методы
• Негладкая и составная оптимизация: субградиентные и проксимальные методы
• Барьерные методы и методы внутренней точки
• Ускоренные и стохастические градиентные методы
• Невыпуклая оптимизация

Элементы контроля

• Домашние задания
  Регулярные индивидуальные задания по каждой теме курса, выполняемые и сдаваемые еженедельно. Задания направлены на закрепление теоретического материала, применение изученных методов и развитие навыков математического анализа задач и алгоритмов оптимизации
• Экзамен
  Устный экзамен по материалу дисциплины. Экзаменационный билет включает один теоретический вопрос и одну практическую задачу. В ходе ответа преподаватель может задавать дополнительные вопросы по программе дисциплины

Промежуточная аттестация

• 2026/2027 1st module
  0.4 * Экзамен + 0.6 * Домашние задания

Список литературы

Рекомендуемая основная литература

• Stephen Boyd, Lieven Vandenberghe, & Lieven V. (2015). Additional Exercises for Convex Optimization. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E7445CE1
• Yurii Nesterov. (2018). Lectures on Convex Optimization (Vol. 2nd ed. 2018). Springer.
• Нестеров, Ю. Е. Введение в выпуклую оптимизацию : монография / Ю. Е. Нестеров , под редакцией Б. Т. Поляка, С. А. Назина. — Москва : МЦНМО, 2014. — 279 с. — ISBN 978-5-4439-2031-3. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/267413 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Nocedal, J., & Wright, S. J. (1999). Numerical Optimization. New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=104566

Авторы

• Яковлева Илона Александровна