Machine Learning

2019/2020

Academic Year

RUS

Instruction in Russian

3

ECTS credits

Delivered at:

School of Applied Mathematics

Course type:

Elective course

When:

3 year, 3 module

Instructor

Valba, Olga V.

Программа дисциплины

Аннотация

Цель освоения дисциплины «Методы машинного обучения» направлена на ознакомление студентов с основными методами машинного обучения для задач классификации, кластеризации и регрессии (прогнозирования). В данном курсе акцент делается на алгоритмические и вычислительные аспекты, так что студент дополнительно получает навыки программирования на высокоуровневом языке Python, с помощью которого иллюстрируются все построения.

Цель освоения дисциплины

• Ознакомление студентов с основными методами машинного обучения для задач классификации, кластеризации и регрессии

Планируемые результаты обучения

• Умеет cтроить линейные модели регрессии и классификации, используя библиотеку Scikit-learn
• Умеет строить нелинейные модели регрессии, классификации и кластеризации, используя библиотеку Scikit-learn
• Умеет пользоваться ансамблевыми методами, решает теоретические задачи

Содержание учебной дисциплины

• Линейные методы регрессии и классификации
  Постановка задач обучения. Объекты и признаки, вектора признаков, классы. Типы задач: классификация, регрессия, кластеризация, ранжирование. Основные понятия: методы обучения, функция потерь и функционал качества, переобучение, обобщающая способность. Примеры прикладных задач. Метод наименьших квадратов (МНК). Аналитическое и численное решение задачи МНК. Градиентный спуск, методы оценивания градиента. Функции потерь. Регуляризация. Методы оценивания обобщающей способности, кросс-валидация. Метрики качества регрес-сии. Линейнай классификация. Случай двух классов и случай произвольного числа классов. Обучение линейного классификатора. Метод опорных векторов. Логистическая регрессия. Кросс-валидация.
• Нелинейные методы
  Деревья решений. Общий алгоритм построения, критерии информативности. Конкретные критерии для классификации и регрессии. Тонкости решающих деревьев: обработка пропущенных значений, стрижка, регуляризация. Задача кластеризации. Эвристические графовые алгоритмы. Метод k-средних. Искуственные нейронные сети. Проблема полноты. Задача исключающего "или". Вычислительные возможности двух- и трехслойных сетей. Метод обратного распространения ошибки. Машина Больцмана, машина Гемгольца и алгоритмы их обучения. Нейронные сети Кохонена. Сеть радиально-базисных функций.
• Ансамбли
  Разложение ошибки на смещение и разброс. Бэггинг и бустинг. Случайные леса. Градиентный бустинг над решающими деревьями.

Элементы контроля

• Домашнее задание
• Контрольная работа
• Экзамен
  Экзамен проводится в письменной форме. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, Для участия в экзамене студент обязан: поставить на аватар свою фотографию, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещено: выключать камеру, пользоваться конспектами и подсказками. Кратковременным нарушением связи во время экзамена считается нарушение связи менее минуты. Долговременным нарушением связи во время экзамена считается нарушение минута и более. При долговременном нарушении связи студент не может продолжить участие в экзамене. Процедура пересдачи подразумевает использование усложненных заданий.

Промежуточная аттестация

• Промежуточная аттестация (3 модуль)
  0.4 * Домашнее задание + 0.3 * Контрольная работа + 0.3 * Экзамен

Список литературы

Рекомендуемая основная литература

• Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Рекомендуемая дополнительная литература

• Коэльо Л.П., Ричарт В. - Построение систем машинного обучения на языке Python - Издательство "ДМК Пресс" - 2016 - 302с. - ISBN: 978-5-97060-330-7 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/82818
• Рашка С. - Python и машинное обучение: крайне необходимое пособие по новейшей предсказательной аналитике, обязательное для более глубокого понимания методологии машинного обучения - Издательство "ДМК Пресс" - 2017 - 418с. - ISBN: 978-5-97060-409-0 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/100905
• Шарден Б., Массарон Л., Боскетти А. - Крупномасштабное машинное обучение вместе с Python - Издательство "ДМК Пресс" - 2018 - 358с. - ISBN: 978-5-97060-506-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/105836