• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
2019/2020

Машинное обучение

Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Статус: Дисциплина общефакультетского пула
Когда читается: 3, 4 модуль
Преподаватели: Дымченко Софья Алексеевна, Хайдуров Руслан Александрович
Язык: русский
Кредиты: 6
Контактные часы: 72

Программа дисциплины

Аннотация

В наше время найдётся мало людей, которые бы не слышали о машинном обучении, но тех, кто понимает, что это такое, гораздо меньше. Машинное обучение используется в тех случаях, когда вам нужно научиться решать какой-то класс задач, для которого трудно написать явный алгоритм решения, но при этом можно найти множество примеров с правильными ответами. Так, невозможно представить себе написанный вручную алгоритм, который был бы способен отличить фотографию кошки от фотографии собаки, но если у вас есть достаточное количество фотографий тех и других, вы можете использовать машинное обучение, чтобы построить такой алгоритм автоматически. В курсе мы будем обсуждать разные методы машинного обучения — начиная с линейных регрессий и деревьев решений и заканчивая современными нейросетевыми архитектурами. Мы начнём с теоретической основы каждого метода, посмотрим, как он работает на простых примерах, а затем перейдём к практической работе с реальными данными.
Цель освоения дисциплины

Цель освоения дисциплины

  • Ознакомление студентов с теоретическими основами и основными принципами машинного обучения — а именно, с классами моделей (линейные, логические, нейросетевые), метриками качествами и подходами к подготовке данных.
  • Формирование у студентов практических навыков работы с данными и решения прикладных задач анализа данных.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знание основных понятий статистического обучения
  • Понимание линейной регрессии.
  • Понимание общей постановки задачи классификации и методов её решения
  • Умение выбирать и оценивать модели машинного обучения с помощью стандартных кросс-валидации.
  • Понимание принципов построения решающих деревьев
  • Понимание устройства работы случайных лесов
  • Понимание устройства градиентного бустинга над решающими деревьями
  • Понимание принципов работы нейронных сетей
  • Понимание принципов работы свёрточных нейросетей
  • Понимание принципов работы рекуррентных нейронных сетей
  • Понимание методов кластеризации
  • Понимание методов снижения размерности
  • Понимание методов матричного разложения и способов их применения
  • Знание основных методов предобработки данных
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в машинное обучение: обзор задач
    Обучение с учителем (supervised learning): регрессия и классификация; обучение без учителя (unsupervised learning): кластеризация, снижение размерности; semi-supervised learning, рекомендательные системы, обработка текстов: тематическое моделирование, построение аннотаций, извлечение ответов на вопросы, машинный перевод; обработка изображений: порождение, преобразование; обучение представлений; обучение с подкреплением.
  • Статистическое обучение
    Машинное обучение как математическое моделирование. Статистические модели. Теоретико-вероятностная постановка задачи обучения с учителем. Минимизация ожидаемой ошибки. Пример: задача регрессии, минимизация квадрата отклонения. Регрессионная функция: условное матожидание. Линейная регрессия и метод k ближайших соседей. Переобучение и недообучение. Разложение ошибки на шум, смещение и разброс. Проклятие размерности
  • Линейная регрессия
    Линейная регрессия, метод наименьших квадратов и максимизация правдоподобия. Теорема Гаусса—Маркова. Явный вид решения в методе наименьших квадратов. Ковариационная матрица для коэффициентов. Практические соображения: что делать с категориальными данными?Вычислительные соображения: точное решение vs градиентный спуск.
  • Задачи классификации.
    Общая постановка задачи классификации. 0-1 ошибка. Байесовский классификатор. Линейные методы для классификации. Логистическая регрессия, максимизация правдоподобия, кросс-энтропия.
  • Выбор и оценка моделей.
    Кросс-валидация: тонкости (отбор переменных, переобучение на валидационное множество). Оценки ожидаемой ошибки для линейной регрессии: AIC и другие. L1 и L2 регуляризация.
  • Решающие деревья и случайные леса
    Ограничения линейных методов (пример: XOR). Решающие деревья. CART. Ансамбли. Бутстреп. Бэггинг. Случайный лес.
  • Градиентный бустинг над деревьями
    Аддитивные модели. Градиентный бустинг. Популярные алгоритмы градиентного бустинга: XGBoost, lightgbm, catboost.
  • Особенности практической работы с данными
    Feature engineering. Кодирование категориальных данных. Пропущенные значения. Обработка текстов: bag of words, tf-idf, векторные эмбеддинги
  • Нейронные сети
    Нейронные сети: общая архитектура. Реализация XOR с помощью трёх персептронов. Теорема об универсальной аппроксимации. Многослойные сети. Обратное распространение ошибки. Стохастический градиентный спуск. Проблемы: затухающие и взрывающиеся градиенты, невыпуклость функции потерь.
  • Современные нейросетевые архитектуры
    Нейронные сети в обработке изображений. Фильтры. Сверточные слои. Нейронные сети и обучение представлений. Обработка последовательностей. Рекуррентные нейронные сети.
  • Задачи кластеризации
    Кластеризация. K-means. EM-алгоритм. Другие методы кластеризации. Иерархическая кластеризация.
  • Методы снижения размерности
    Снижение размерности. SVD-разложение. Метод главных компонент. t-SNE, UMAP.
  • Матричные разложения
    Матричные разложения и их применение. Рекомендательные системы. Тематическое моделирование.
Элементы контроля

Элементы контроля

  • неблокирующий Теоретическое ДЗ
  • неблокирующий Практическое ДЗ
  • неблокирующий Контрольная работа
  • неблокирующий Экзамен
    Экзамен проведен 27 мая (письменный, в Zoom)
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.24 * Контрольная работа + 0.25 * Практическое ДЗ + 0.21 * Теоретическое ДЗ + 0.3 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705
  • Hastie, T., Tibshirani, R., Friedman, J. The elements of statistical learning: Data Mining, Inference, and Prediction. – Springer, 2009. – 745 pp.

Рекомендуемая дополнительная литература

  • Шарден Б., Массарон Л., Боскетти А. - Крупномасштабное машинное обучение вместе с Python - Издательство "ДМК Пресс" - 2018 - 358с. - ISBN: 978-5-97060-506-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/105836