2022/2023
Основы глубинного обучения
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Майнор
Где читается:
Факультет компьютерных наук
Когда читается:
1, 2 модуль
Онлайн-часы:
20
Охват аудитории:
для всех кампусов НИУ ВШЭ
Преподаватели:
Бредихин Александр Иванович,
Гельван Кирилл Павлович,
Гущин Михаил Иванович,
Кантонистова Елена Олеговна,
Карпов Максим Евгеньевич,
Ковалёв Алексей Константинович,
Масликов Егор Денисович,
Семенкин Антон Александрович,
Соколов Евгений Андреевич
Язык:
русский
Кредиты:
5
Контактные часы:
60
Программа дисциплины
Аннотация
Курс посвящён изучению современных методов машинного обучения, широко используемых в практических задачах. В первой части изучаются методы глубинного обучения: основы оптимизации, принципы обучения нейронных сетей, сети прямого распространения, архитектуры для работы с изображениями и текстовыми данными. Во второй части изучаются практические вопросы машинного обучения: подготовка данных, подбор гипепараметров, оптимизация модели под конкретную метрику, разработка признаков.
Цель освоения дисциплины
- Знать принципы обучения и применения нейронных сетей
- Знать основные архитектуры нейронных сетей
- Уметь обучать нейронные сети с помощью средств языка Python
- Уметь выполнять полный цикл решения задачи анализа данных
Планируемые результаты обучения
- Знать основные архитектуры нейронных сетей
- Знать принципы обучения и применения нейронных сетей
- Уметь выполнять полный цикл решения задачи анализа данных
Содержание учебной дисциплины
- Введение в глубинное обучение. Полносвязные слои.
- Метод обратного распространения ошибки. Свёртки и свёрточные слои.
- Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding.
- Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout.
- BatchNorm. Инициализации весов. Аугментация данных.
- Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet.
- Transfer learning. Интерпретация свёрточных сетей. Сегментация.
- Детекция объектов. Идентификация, metric learning.
- Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов.
- Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder.
- Механизм внимания и трансформеры
Промежуточная аттестация
- 2022/2023 учебный год 2 модуль0.4 * Домашнее задание + 0.1 * Проверочные работы + 0.3 * Экзамен + 0.2 * Контрольная работа
Список литературы
Рекомендуемая основная литература
- Trevor Hastie, Robert Tibshirani , et al., The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd edition, 2017. Free from the publisher: https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf
Рекомендуемая дополнительная литература
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.