2019/2020
Машинное обучение
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Статус:
Дисциплина общефакультетского пула
Где читается:
Факультет математики
Когда читается:
3, 4 модуль
Преподаватели:
Дымченко Софья Алексеевна,
Хайдуров Руслан Александрович
Язык:
русский
Кредиты:
6
Контактные часы:
72
Программа дисциплины
Аннотация
В наше время найдётся мало людей, которые бы не слышали о машинном обучении, но тех, кто понимает, что это такое, гораздо меньше. Машинное обучение используется в тех случаях, когда вам нужно научиться решать какой-то класс задач, для которого трудно написать явный алгоритм решения, но при этом можно найти множество примеров с правильными ответами. Так, невозможно представить себе написанный вручную алгоритм, который был бы способен отличить фотографию кошки от фотографии собаки, но если у вас есть достаточное количество фотографий тех и других, вы можете использовать машинное обучение, чтобы построить такой алгоритм автоматически. В курсе мы будем обсуждать разные методы машинного обучения — начиная с линейных регрессий и деревьев решений и заканчивая современными нейросетевыми архитектурами. Мы начнём с теоретической основы каждого метода, посмотрим, как он работает на простых примерах, а затем перейдём к практической работе с реальными данными.
Цель освоения дисциплины
- Ознакомление студентов с теоретическими основами и основными принципами машинного обучения — а именно, с классами моделей (линейные, логические, нейросетевые), метриками качествами и подходами к подготовке данных.
- Формирование у студентов практических навыков работы с данными и решения прикладных задач анализа данных.
Планируемые результаты обучения
- Знание основных понятий статистического обучения
- Понимание линейной регрессии.
- Понимание общей постановки задачи классификации и методов её решения
- Умение выбирать и оценивать модели машинного обучения с помощью стандартных кросс-валидации.
- Понимание принципов построения решающих деревьев
- Понимание устройства работы случайных лесов
- Понимание устройства градиентного бустинга над решающими деревьями
- Понимание принципов работы нейронных сетей
- Понимание принципов работы свёрточных нейросетей
- Понимание принципов работы рекуррентных нейронных сетей
- Понимание методов кластеризации
- Понимание методов снижения размерности
- Понимание методов матричного разложения и способов их применения
- Знание основных методов предобработки данных
Содержание учебной дисциплины
- Введение в машинное обучение: обзор задачОбучение с учителем (supervised learning): регрессия и классификация; обучение без учителя (unsupervised learning): кластеризация, снижение размерности; semi-supervised learning, рекомендательные системы, обработка текстов: тематическое моделирование, построение аннотаций, извлечение ответов на вопросы, машинный перевод; обработка изображений: порождение, преобразование; обучение представлений; обучение с подкреплением.
- Статистическое обучениеМашинное обучение как математическое моделирование. Статистические модели. Теоретико-вероятностная постановка задачи обучения с учителем. Минимизация ожидаемой ошибки. Пример: задача регрессии, минимизация квадрата отклонения. Регрессионная функция: условное матожидание. Линейная регрессия и метод k ближайших соседей. Переобучение и недообучение. Разложение ошибки на шум, смещение и разброс. Проклятие размерности
- Линейная регрессияЛинейная регрессия, метод наименьших квадратов и максимизация правдоподобия. Теорема Гаусса—Маркова. Явный вид решения в методе наименьших квадратов. Ковариационная матрица для коэффициентов. Практические соображения: что делать с категориальными данными?Вычислительные соображения: точное решение vs градиентный спуск.
- Задачи классификации.Общая постановка задачи классификации. 0-1 ошибка. Байесовский классификатор. Линейные методы для классификации. Логистическая регрессия, максимизация правдоподобия, кросс-энтропия.
- Выбор и оценка моделей.Кросс-валидация: тонкости (отбор переменных, переобучение на валидационное множество). Оценки ожидаемой ошибки для линейной регрессии: AIC и другие. L1 и L2 регуляризация.
- Решающие деревья и случайные лесаОграничения линейных методов (пример: XOR). Решающие деревья. CART. Ансамбли. Бутстреп. Бэггинг. Случайный лес.
- Градиентный бустинг над деревьямиАддитивные модели. Градиентный бустинг. Популярные алгоритмы градиентного бустинга: XGBoost, lightgbm, catboost.
- Особенности практической работы с даннымиFeature engineering. Кодирование категориальных данных. Пропущенные значения. Обработка текстов: bag of words, tf-idf, векторные эмбеддинги
- Нейронные сетиНейронные сети: общая архитектура. Реализация XOR с помощью трёх персептронов. Теорема об универсальной аппроксимации. Многослойные сети. Обратное распространение ошибки. Стохастический градиентный спуск. Проблемы: затухающие и взрывающиеся градиенты, невыпуклость функции потерь.
- Современные нейросетевые архитектурыНейронные сети в обработке изображений. Фильтры. Сверточные слои. Нейронные сети и обучение представлений. Обработка последовательностей. Рекуррентные нейронные сети.
- Задачи кластеризацииКластеризация. K-means. EM-алгоритм. Другие методы кластеризации. Иерархическая кластеризация.
- Методы снижения размерностиСнижение размерности. SVD-разложение. Метод главных компонент. t-SNE, UMAP.
- Матричные разложенияМатричные разложения и их применение. Рекомендательные системы. Тематическое моделирование.
Элементы контроля
- Теоретическое ДЗ
- Практическое ДЗ
- Контрольная работа
- ЭкзаменЭкзамен проведен 27 мая (письменный, в Zoom)
Промежуточная аттестация
- Промежуточная аттестация (4 модуль)0.24 * Контрольная работа + 0.25 * Практическое ДЗ + 0.21 * Теоретическое ДЗ + 0.3 * Экзамен
Список литературы
Рекомендуемая основная литература
- Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705
- Hastie, T., Tibshirani, R., Friedman, J. The elements of statistical learning: Data Mining, Inference, and Prediction. – Springer, 2009. – 745 pp.
Рекомендуемая дополнительная литература
- Шарден Б., Массарон Л., Боскетти А. - Крупномасштабное машинное обучение вместе с Python - Издательство "ДМК Пресс" - 2018 - 358с. - ISBN: 978-5-97060-506-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/105836