Нейронные сети в машинном обучении

Магистратура 2023/2024

Статус: Курс обязательный (Прикладные модели искусственного интеллекта)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент прикладной математики

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 1-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Асланов Андрей Борисович, Рогачев Александр Игоревич, Спасёнов Алексей Юрьевич, Храбров Кузьма Андреевич

Прогр. обучения: Прикладные модели искусственного интеллекта

Язык: русский

Кредиты: 6

Контактные часы: 60

Полная версия программы учебной дисциплины

Аннотация

Курс посвящен изучению архитектур нейросетей, среди которых полносвязные, сверточные, рекуррентные, глубинные, генеративные и дискриминативные. Практическая часть курса предполагает обучение работы с библиотекой pytorch.

Цель освоения дисциплины

Глубокое понимание нейронных сетей. Овладение теоретическими основами для критического взгляда на внутреннюю механику нейронных сетей.
Применение в задачах машинного обучения. Навыки применения нейронных сетей в различных областях, от распознавания образов до обработки текста.
Освоение глубокого обучения. Обучение использованию и оптимизации глубоких нейронных сетей.
Работа с реальными данными. Навыки обработки и анализа реальных данных для эффективного обучения моделей.
Разработка и исследование новых моделей. Развитие творческого мышления в создании и исследовании инновационных архитектур нейронных сетей.

Планируемые результаты обучения

Знает, какие существуют области применения нейронных сетей
Может реализовать Back propagation для MLP
Знает, что такое Back propagation
Понимает принципы реализации ветвящихся структур
Знает, какие существуют практические проблемы методов в оптимизации
Понимает, как реализовать метод Stochastic Gradient Descent (SGD)
Может сравнить графики обучения для полносвязной нейросети на методах Adam, Adagrad, AdaDelta и SGD (на MNIST)
Знает, какие существуют проблемы полносвязных нейронных сетей
Понимает принципы работы Transfer learning
Знает, как устроены архитектуры CNN
Знает основные метрики детекции объектов на изображении
Понимает, в каких ситуациях используется тот или иной подход
Понимает, в каких ситуациях оптимально использовать Semantic Segmentation
Может обучить U-Net модель отделения предметов от фона на корпусе Pascal VOC
Понимает принцип работы LIME и какие проблемы он помогает решать
Знает, что такое Grad-CAM и как он расширяет идеи CAM с использованием градиентов
Понимает, как вычислительный граф RNN позволяет модели обрабатывать последовательные данные и какие вычисления выполняются на каждом этапе
Может обучить модель классификации букв для задачи расстановки ударения с помощью методов из библиотеки transformers
Знает, что такое генеративные модели и как они отличаются от других типов нейронных сетей
Может реализовать Wasserstein GAN, используя weight clipping.
Знает, что такое метод диффузии Денсона-Дохлера-Папано (DDPM) и как он применяется в генерации изображений
Понимает принцип работы автокодировщиков и как происходит кодирование и декодирование данных в этой архитектуре
Понимает основные алгоритмы для решения задачи многоруких бандитов и их применение в принятии решений в условиях неопределенности
Понимает, как работает процесс передачи сообщений (message passing) в графовых структурах и как это может быть использовано для извлечения информации из графов
Понимает, как графовое внимание (graph attention) улучшает обработку графов