Методы оптимизации в машинном обучении

2021/2022

Учебный год

RUS

Обучение ведется на русском языке

5

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

3-й курс, 3, 4 модуль

Преподаватели

Гадецкий Артем Валерьевич

Кодрян Максим Станиславович

Кропотов Дмитрий Александрович

Программа дисциплины

Аннотация

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Цель освоения дисциплины

• Освоение классических и современных численных методов решения задач непрерывной оптимизации
• Освоение основных математических результатов из теории непрерывной оптимизации
• Выработка практических навыков реализации численных методов оптимизации

Планируемые результаты обучения

• Владеет основными математическими понятиями и результатами из теории непрерывной оптимизации
• Знает основные классы задач непрерывной оптимизации и умеет сводить поставленную задачу к одному из этих классов
• Умеет исследовать численные методы оптимизации и способен написать отчет о результатах исследования

Содержание учебной дисциплины

• Понятие о численных методах оптимизации
• Невыпуклая оптимизация
• Унимодальные функции одной переменной
• Слабая и сильная двойственность для задач выпуклой оптимизации
• Задачи оптимизации на множествах простой структуры
• Способы выбора шага в методах
• Концепция (неточной) модели функции
• Метод Ньютона
• Стохастическая оптимизация
• Общая схема метода штрафных функций
• Распределенная оптимизация

Элементы контроля

• Самостоятельные работы
  СР
• Домашние задания
  ДЗ
• Экзамен
  Письменный экзамен (Э) на 90 минут.
• Контрольная работа
  КР
• Проект
  ПР

Промежуточная аттестация

• 2021/2022 учебный год 4 модуль
  Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий: >=8 — Сданы все задания, кроме одного (на оценку >=4), экзамен сдан на оценку >= 6 >=6 — Сданы все задания, кроме двух (на оценку >=4), экзамен сдан на оценку >= 4 >=4 — Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4

Список литературы

Рекомендуемая основная литература

• Nocedal, J., & Wright, S. J. (1999). Numerical Optimization. New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=104566
• Optimization for Machine Learning Lecture 1: Introduction to Convexity. (2011). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.9CAA7B97

Рекомендуемая дополнительная литература

• Bubeck, S. (2014). Convex Optimization: Algorithms and Complexity. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E3D5E1AB
• Luethi, H.-J. (2005). Convex Optimization: Stephen Boyd and Lieven Vandenberghe. Journal of the American Statistical Association, 1097. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsrep&AN=edsrep.a.bes.jnlasa.v100y2005p1097.1097