Бакалавриат
2022/2023
Методы оптимизации в машинном обучении
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
3-й курс, 3, 4 модуль
Формат изучения:
с онлайн-курсом
Онлайн-часы:
20
Охват аудитории:
для всех кампусов НИУ ВШЭ
Преподаватели:
Кодрян Максим Станиславович,
Кропотов Дмитрий Александрович,
Никоров Кирилл Николаевич
Язык:
русский
Кредиты:
6
Контактные часы:
80
Программа дисциплины
Аннотация
Курс охватывает темы выпуклой, невыпуклой, непрерывной оптимизации, особенно мотивированные задачами и приложениями в Машинном Обучении. Рассматриваются разные темы - от фундаментальных материалов до недавних исследований.
Цель освоения дисциплины
- Понимание и применение линейной алгебры и матричных разложений в контексте оптимизации: Студенты смогут использовать основные концепции линейной алгебры и матричных разложений для решения задач оптимизации.
- Освоение градиентных методов и их применение: После изучения курса студенты будут уметь применять градиентный спуск и другие градиентные методы для решения задач машинного обучения.
- Понимание и использование концепций выпуклости и невыпуклости в оптимизации: Студенты освоят концепции выпуклых и невыпуклых функций и смогут применять их при решении соответствующих задач.
- Применение условий оптимальности и двойственности в задачах оптимизации: Освоение теоремы Каруша-Куна-Таккера и принципов двойственности для анализа и решения оптимизационных задач.
- Овладение методами первого и второго порядков: Студенты узнают о методах, основанных на первом и втором порядках производных, включая методы субградиентного спуска и метод Ньютона.
Содержание учебной дисциплины
- Понятие о численных методах оптимизации
- Невыпуклая оптимизация
- Унимодальные функции одной переменной
- Слабая и сильная двойственность для задач выпуклой оптимизации
- Задачи оптимизации на множествах простой структуры
- Способы выбора шага в методах
- Концепция (неточной) модели функции
- Метод Ньютона
- Стохастическая оптимизация
- Общая схема метода штрафных функций
- Распределенная оптимизация
Элементы контроля
- Самостоятельные работыСР
- Домашние заданияДЗ
- ЭкзаменПисьменный экзамен (Э) на 90 минут.
- Контрольная работаКР
- ПроектПР
- Домашние заданияДЗ
- ЭкзаменПисьменный экзамен (Э) на 90 минут.
- Контрольная работаКР
- ПроектПР
- Самостоятельные работыСР
Промежуточная аттестация
- 2022/2023 учебный год 4 модульОбщая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий: >=8 — Сданы все задания, кроме одного (на оценку >=4), экзамен сдан на оценку >= 6 >=6 — Сданы все задания, кроме двух (на оценку >=4), экзамен сдан на оценку >= 4 >=4 — Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4
