Machine Learning

2019/2020

Academic Year

ENG

Instruction in English

3

ECTS credits

Delivered at:

School of Psychology

Course type:

Elective course

When:

4 year, 3 module

Course Syllabus

Abstract

Machine learning is the science of getting computers to act without being explicitly programmed. In the past decade, machine learning has given us self-driving cars, practical speech recognition, effective web search, and a vastly improved understanding of the human genome. Machine learning is so pervasive today that you probably use it dozens of times a day without knowing it. Many researchers also think it is the best way to make progress towards human-level AI. In this class, you will learn about the most effective machine learning techniques, and gain practice implementing them and getting them to work for yourself. More importantly, you'll learn about not only the theoretical underpinnings of learning, but also gain the practical know-how needed to quickly and powerfully apply these techniques to new problems. Finally, you'll learn about some of Silicon Valley's best practices in innovation as it pertains to machine learning and AI.

Learning Objectives

• This course provides a broad introduction to machine learning, datamining, and statistical pattern recognition. Topics include: (i) Supervised learning (parametric/non-parametric algorithms, support vector machines, kernels, neural networks). (ii) Unsupervised learning (clustering, dimensionality reduction, recommender systems, deep learning). (iii) Best practices in machine learning (bias/variance theory; innovation process in machine learning and AI). The course will also draw from numerous case studies and applications, so that you'll also learn how to apply learning algorithms to building smart robots (perception, control), text understanding (web search, anti-spam), computer vision, medical informatics, audio, database mining, and other areas.

Expected Learning Outcomes

• знать типологию задач машинного обучения
• уметь работать с различными типами данных
• владеть методами из библиотеки scikit-learn
• знать основные модели, используемые для решения задач классификации и регрессии
• владеть методами теоретического исследования моделей машинного обучения
• знать концепцию переобучения причины возникновения этого явления, методы его преодоления
• уметь применять методы машинного обучения к прикладным задачам
• уметь генерировать и отбирать признаки
• уметь подбирать гиперпараметры модели
• знать концепцию переобучения, причины возникновения этого явления, методы его преодоления
• Знает предмет и задачи машинного обучения и анализа данных; основные принципы, задачи и подходы, использование в различных областях науки и индустрии; основные этапы эволюции алгоритмов машинного обучения. Знает общий вид метрического классификатора, алгоритмы отбора эталонов, алгоритмы кластеризации с фиксированным количеством кластеров, Алгоритмы кластеризации по плотности, иерархическую кластеризацию.
• Знакомство с основными типами задач машинного обучения
• Знание основных понятий статистического обучения
• Понимание линейной регрессии.
• Понимание общей постановки задачи классификации и методов её решения
• Умение выбирать и оценивать модели машинного обучения с помощью стандартных кросс-валидации.
• Понимание принципов построения решающих деревьев
• Понимание устройства работы случайных лесов
• Понимание устройства градиентного бустинга над решающими деревьями
• Знание основных методов предобработки данных
• Понимание принципов работы нейронных сетей
• Понимание принципов работы свёрточных нейросетей
• Понимание принципов работы рекуррентных нейронных сетей
• Понимание методов кластеризации
• Понимание методов снижения размерности
• Понимание методов матричного разложения и способов их применения

Course Contents

• Введение.
  Постановка задач машинного обучения, примеры
• Градиентные линейные методы
  Линейный классификатор, непрерывные аппроксимации пороговой функции потерь. Связь с методом максимума правдоподобия. Метод стохастического градиента и частные случаи: адаптивный линейный элемент ADALINE, перcептрон Розенблатта, правило Хэбба. Теорема Новикова о сходимости. Доказательство теоремы Новикова. Эвристики: инициализация ве-сов, порядок предъявления объектов, выбор величины градиентного шага, «выбивание» из локальных минимумов. Метод стохастического среднего градиента SAG. Проблема мульти-коллинеарности и переобучения, редукция весов (weight decay). Байесовская регуляризация. Принцип максимума совместного правдоподобия данных и модели. Квадратичный (гауссов-ский) и лапласовский регуляризаторы. Настройка порога решающего правила по критерию числа ошибок I и II рода. Линейные методы классификации. Логистическая регрессия
• Соревнования по анализу данных
  Соревнования по анализу данных. Платформа Kaggle. Feature engineering. Подбор гиперпараметров модели.
• Решающие деревья и случайные леса
  Понятие логической закономерности. Эвристическое, статистическое, энтропийное определе-ние информативности. Асимптотическая эквивалентность статистического и энтропийного определения. Сравнение областей эвристических и статистических закономерностей. Разно-видности закономерностей: конъюнкции пороговых предикатов (гиперпараллелепипеды), синдромные правила, шары, гиперплоскости. Бинаризация признаков. Алгоритм разбиения области значений признака на информативные зоны. Решающие списки и деревья. Редукция решающих деревьев: предредукция и постредукция. Небрежные решающие деревья (oblivious decision tree). Случайные леса.
• Метрические алгоритмы
  Метод ближайших соседей (kNN) и его обобщения. Обобщённый метрический классификатор, понятие отступа. Метод потенциальных функций, градиентный алгоритм. Отбор эталонов и оптимизация метрики
• Метрики качества, отбор признаков, работа с пропущенными значениями
  Критерии качества классификации: чувствительность и специфичность, ROC-кривая и AUC, точность и полнота, AUC-PR. Внутренние и внешние критерии. Эмпирические и аналитиче-ские критерии. Скользящий контроль, разновидности эмпирических оценок скользящего кон-троля. Критерий непротиворечивости. Разновидности аналитических оценок. Регуляризация. Критерий Акаике (AIC). Байесовский информационный критерий (BIC). Оценка Вапника-Червоненкиса. Агрегированные и многоступенчатые критерии. Сложность задачи отбора при-знаков. Полный перебор. Метод добавления и удаления, шаговая регрессия. Поиск в глубину, метод ветвей и границ. Усечённый поиск в ширину, многорядный итерационный алгоритм МГУА. Генетический алгоритм, его сходство с МГУА. Случайный поиск и Случайный поиск с адаптацией (СПА).
• Метод опорных векторов
  Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin). Случаи линейной разделимости и отсутствия линейной разделимости. Связь с минимизацией регуля-ризованного эмпирического риска. Кусочно-линейная функция потерь. Задача квадратичного программирования и двойственная задача. Понятие опорных векторов. Рекомендации по вы-бору константы C. Функция ядра (kernel functions), спрямляющее пространство, теорема Мерсера. Способы конструктивного построения ядер. Примеры ядер. Метод релевантных векторов RVM. Регуляризации для отбора признаков: LASSO SVM, Elastic Net SVM, SFM, RFM. ё
• Линейная регрессия и метод главных компонент
  Задача регрессии, многомерная линейная регрессия. Метод наименьших квадратов, его веро-ятностный смысл и геометрический смысл. Сингулярное разложение. Проблемы мультикол-линеарности и переобучения. Регуляризация. Гребневая регрессия. Лассо Тибширани, сравне-ние с гребневой регрессией. Метод главных компонент и декоррелирующее преобразование Карунена-Лоэва, его связь с сингулярным разложением.
• Нелинейная регрессия и нестандартные функции потерь
  Нелинейная параметрическая регрессия. Метод Ньютона-Рафсона, метод Ньютона-Гаусса. Одномерные нелинейные преобразования признаков: метод настройки с возвращениями (backfitting) Хасти-Тибширани. Непараметрическая регрессия. Сглаживание. Локально взве-шенный метод наименьших квадратов и оценка Надарая- Ватсона. Выбор функции ядра. Вы-бор ширины окна сглаживания. Сглаживание с переменной шириной окна. Проблема выбро-сов и робастная непараметрическая регрессия. Алгоритм LOWESS. Неквадратичные функции потерь. Метод наименьших модулей. Квантильная регрессия. Пример прикладной задачи: прогнозирование потребительского спроса. Робастная регрессия, функция Мешалкина. SVM-регрессия.
• Многоклассовая классификация. Разреженные признаки. Библиотека VW
  Многоклассовая классификация. Стратегии многоклассовой классификации. Классификация с пересекающимися классами. Работа с разреженными признаками. Библиотека Vowpal Wabbit.
• Байесовские методы классификации
  Принцип максимума апостериорной вероятности. Теорема об оптимальности байесовского классификатора. Оценивание плотности распределения: три основных подхода. Наивный бай-есовский классификатор. Непараметрическое оценивание плотности. Ядерная оценка плотно-сти Парзена-Розенблатта. Одномерный и многомерный случаи. Метод парзеновского окна. Выбор функции ядра. Выбор ширины окна, переменная ширина окна. Параметрическое оце-нивание плотности. Нормальный дискриминантный анализ. Многомерное нормальное рас-пределение, геометрическая интерпретация. Выборочные оценки параметров многомерного нормального распределения. Квадратичный дискриминант. Вид разделяющей поверхности. Подстановочный алгоритм, его недостатки и способы их устранения. Линейный дискрими-нант Фишера. Проблемы мультиколлинеарности и переобучения. Регуляризация ковариаци-онной матрицы. Параметрический наивный байесовский классификатор. Смесь распределе-ний. EM-алгоритм как метод простых итераций для решения системы нелинейных уравнений. Выбор числа компонентов смеси. Пошаговая стратегия. Априорное распределение Дирихле. Смесь многомерных нормальных распределений. Сеть радиальных базисных функций (RBF) и применение EM-алгоритма для её настройки. Сравнение RBF-сети и SVM с гауссовским яд-ром.
• Прогнозирование временных рядов
  Задача прогнозирования временных рядов. Примеры приложений. Экспоненциальное скользящее среднее. Модель Хольта. Модель Тейла-Вейджа. Модель Хольта-Уинтерса. Адаптив-ная авторегрессионная модель. Следящий контрольный сигнал. Модель Тригга-Лича. Адаптивная селективная модель. Адаптивная композиция моделей. Адаптация весов с регуляризацией.
• Несбалансированные выборки. Счетчики
  Работа с несбалансированными выборками. Модификация функций потерь. Работа с категориальными признаками.
• Типы задач. Метрические классификаторы. Алгоритмы кластеризации
  Типы задач машинного обучения. Метрические классификаторы. Алгоритмы кластеризации
• Деревья решений, линейные классификаторы. Нейронные сети
  Деревья решений. Линейные классификаторы. Нейронные сети и глубокое обучение
• Введение в машинное обучение: обзор задач
  Обучение с учителем (supervised learning): регрессия и классификация; обучение без учителя (unsupervised learning): кластеризация, снижение размерности; semi-supervised learning, рекомендательные системы, обработка текстов: тематическое моделирование, построение аннотаций, извлечение ответов на вопросы, машинный перевод; обработка изображений: порождение, преобразование; обучение представлений; обучение с подкреплением.
• Статистическое обучение
  Машинное обучение как математическое моделирование. Статистические модели. Теоретико-вероятностная постановка задачи обучения с учителем. Минимизация ожидаемой ошибки. Пример: задача регрессии, минимизация квадрата отклонения. Регрессионная функция: условное матожидание. Линейная регрессия и метод k ближайших соседей. Переобучение и недообучение. Разложение ошибки на шум, смещение и разброс. Проклятие размерности
• Линейная регрессия
  Линейная регрессия, метод наименьших квадратов и максимизация правдоподобия. Теорема Гаусса—Маркова. Явный вид решения в методе наименьших квадратов. Ковариационная матрица для коэффициентов. Практические соображения: что делать с категориальными данными?Вычислительные соображения: точное решение vs градиентный спуск.
• Задачи классификации.
  Общая постановка задачи классификации. 0-1 ошибка. Байесовский классификатор. Линейные методы для классификации. Логистическая регрессия, максимизация правдоподобия, кросс-энтропия.
• Выбор и оценка моделей.
  Кросс-валидация: тонкости (отбор переменных, переобучение на валидационное множество). Оценки ожидаемой ошибки для линейной регрессии: AIC и другие. L1 и L2 регуляризация.
• Решающие деревья и случайные леса
  Ограничения линейных методов (пример: XOR). Решающие деревья. CART. Ансамбли. Бутстреп. Бэггинг. Случайный лес.
• Градиентный бустинг над деревьями
  Аддитивные модели. Градиентный бустинг. Популярные алгоритмы градиентного бустинга: XGBoost, lightgbm, catboost.
• Особенности практической работы с данными
  Feature engineering. Кодирование категориальных данных. Пропущенные значения. Обработка текстов: bag of words, tf-idf, векторные эмбеддинги
• Нейронные сети
  Нейронные сети: общая архитектура. Реализация XOR с помощью трёх персептронов. Теорема об универсальной аппроксимации. Многослойные сети. Обратное распространение ошибки. Стохастический градиентный спуск. Проблемы: затухающие и взрывающиеся градиенты, невыпуклость функции потерь.
• Современные нейросетевые архитектуры
  Нейронные сети в обработке изображений. Фильтры. Сверточные слои. Нейронные сети и обучение представлений. Обработка последовательностей. Рекуррентные нейронные сети.
• Задачи кластеризации
  Кластеризация. K-means. EM-алгоритм. Другие методы кластеризации. Иерархическая кластеризация.
• Методы снижения размерности
  Снижение размерности. SVD-разложение. Метод главных компонент. t-SNE, UMAP.
• Матричные разложения
  Матричные разложения и их применение. Рекомендательные системы. Тематическое моделирование.

Assessment Elements

• Quizzes
• quizzes

Interim Assessment

• Interim assessment (3 module)
  0.5 * Quizzes + 0.5 * quizzes

Bibliography

Recommended Core Bibliography

• An introduction to statistical learning : with applications in R, , 2013
• Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705
• Hastie, T., Tibshirani, R., Friedman, J. The elements of statistical learning: Data Mining, Inference, and Prediction. – Springer, 2009. – 745 pp.
• Inge, R., & Leif, J. (2017). Machine Learning : Advances in Research and Applications. Hauppauge, New York: Nova Science Publishers, Inc. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1652565

Recommended Additional Bibliography

• Mohammed, M., Khan, M. B., & Bashier, E. B. M. (2017). Machine Learning : Algorithms and Applications. Boca Raton: CRC Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1293656
• Mojrian, S., Pinter, G., Joloudari, J. H., Felde, I., Nabipour, N., Nadai, L., & Mosavi, A. (2019). Hybrid Machine Learning Model of Extreme Learning Machine Radial basis function for Breast Cancer Detection and Diagnosis; a Multilayer Fuzzy Expert System. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1910.13574
• Шарден Б., Массарон Л., Боскетти А. - Крупномасштабное машинное обучение вместе с Python - Издательство "ДМК Пресс" - 2018 - 358с. - ISBN: 978-5-97060-506-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/105836