• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2023/2024

Глубинное обучение 1

Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Направление: 01.03.02. Прикладная математика и информатика
Когда читается: 3-й курс, 2, 3 модуль
Формат изучения: с онлайн-курсом
Онлайн-часы: 20
Охват аудитории: для своего кампуса
Язык: английский
Кредиты: 4
Контактные часы: 48

Course Syllabus

Abstract

The course is dedicated to studying deep learning, which is the most rapidly developing field of machine learning. The course attendees will learn what konds of machine learning tasks can be solved using neural networks and what types of neural networks are currently in use. The course has a clear practical focus, students will have to train neural networks on the PyTorch framework using the Python programming language. The course also covers tasks related to images and texts.
Learning Objectives

Learning Objectives

  • Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
  • Владение фреймворком PyTorch для обучения нейронных сетей.
  • Понимать различные задачи, которые решаются с применением глубинного обучения.
Expected Learning Outcomes

Expected Learning Outcomes

  • Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
Course Contents

Course Contents

  • Графы вычислений, полносвязные нейронные сети.
  • Оптимизация нейронных сетей.
  • Сверточные нейронные сети
  • Современные сверточные архитектуры
  • Задачи компьютерного зрения
  • Обработка текстов (энкодинги, эмбеддинги)
  • Рекуррентные нейронные сети, обработка текстов
  • Архитектура трансформера
  • Применения трансформеров в компьютерном зрении
  • Self-supervision, BERT
  • Дистилляция, квантизация, прунинг
  • Состязательные атаки
  • Генеративные модели.
Assessment Elements

Assessment Elements

  • non-blocking БДЗ 1 (Большое домашнее задание)
    Классификация изображений, формат соревнования
  • non-blocking БДЗ 2 (Большое домашнее задание)
    Машинный перевод, формат соревнования
  • non-blocking МДЗ 1 (Маленькое домашнее задание)
    Обучение нейронных сетей на numpy, полносвязные нейронные сети
  • non-blocking МДЗ 2 (Маленькое домашнее задание)
    Сверточные нейронные сети
  • non-blocking МДЗ 3 (Маленькое домашнее задание)
    Рекуррентные нейронные сети
  • non-blocking МДЗ 4 (Маленькое домашнее задание)
  • non-blocking МДЗ 5 (Маленькое домашнее задание)
  • non-blocking МДЗ 6 (Маленькое домашнее задание)
  • non-blocking ПР 1 (Проверочная работа)
    Полносвязные нейронные сети, оптимизация нейронных сетей
  • non-blocking ПР 2 (Проверочная работа)
    Обработка изображений, сверточные нейронные сети
  • non-blocking ПР 3 (Проверочная работа)
    Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
  • non-blocking ПР 4 (Проверочная работа)
    elf-supervision, дистилляция, квантизация, прунинг, соревновательные атаки, генеративно-состязательные сети
  • non-blocking Экзамен
    Письменный, в аудитории, материалами пользоваться не разрешается, 2 часа
Interim Assessment

Interim Assessment

  • 2023/2024 3rd module
    Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э), где БДЗ — средняя оценка за все большие домашние задания, МДЗ — средняя оценка за все маленькие домашние задания, ПР — оценка за проверочные работы, Э — оценка за экзамен.
Bibliography

Bibliography

Recommended Core Bibliography

  • Глубокое обучение, Гудфеллоу, Я., 2018

Recommended Additional Bibliography

  • Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Authors

  • Sadrtdinov Ildus Rustemovich
  • Рословцева Кристина Олеговна
  • Кононова Елизавета Дмитриевна