• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site
For visually-impairedFor visually-impairedUser profile (HSE staff only)Search
Advanced search
Menu
HSE University
User profile (HSE staff only)Search
Advanced search

Course Syllabus

Bachelor 2022/2023

Deep Learning 1

Category 'Best Course for Career Development'
Category 'Best Course for Broadening Horizons and Diversity of Knowledge and Skills'
Category 'Best Course for New Knowledge and Skills'
Type: Elective course (Applied Mathematics and Information Science)
Area of studies: Applied Mathematics and Information Science
Delivered by: Big Data and Information Retrieval School
Where: Faculty of Computer Science
When: 3 year, 1-3 module
Mode of studies: distance learning
Online hours: 20
Open to: students of one campus
Instructors: Alexey Birshert, Ildus Sadrtdinov, Барановская Дарья Геннадьевна
Language: English
ECTS credits: 4
Contact hours: 52

Course Syllabus

Full SyllabusAsk Question

Abstract

The course serves as an in-depth introduction to deep learning -- one of the most rapidly developing fields of machine learning. The studentswill learn the basic working principles of neural network architectures that are in widespread use today. he course has a clear practical focus; students are expected to implement and train neural networks in Python programming language using PyTorch framework. The course covers basic computer vision and natural language processing tasks, introduction to generative models, self-supervised learning, and model optimization and deployment.
Learning Objectives

Learning Objectives

  • Understand the operating principle and be able to train the following types of neural networks: fully connected, convolutional, recurrent, and transformers.
  • Proficiency in using the PyTorch framework for training neural networks.
  • To understand the various tasks that can be solved using deep learning.
Expected Learning Outcomes

Expected Learning Outcomes

  • Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
Course Contents

Course Contents

  • Графы вычислений, полносвязные нейронные сети.
  • Оптимизация нейронных сетей.
  • Сверточные нейронные сети
  • Современные сверточные архитектуры
  • Рекуррентные нейронные сети, обработка текстов
  • Архитектура трансформера
  • Задачи компьютерного зрения
  • Обработка текстов (энкодинги, эмбеддинги)
  • Применения трансформеров в компьютерном зрении
  • Self-supervision, BERT
  • Дистилляция, квантизация, прунинг
  • Состязательные атаки
  • Генеративные модели
Assessment Elements

Assessment Elements

  • non-blocking МДЗ 1 (Маленькое домашнее задание)
    Обучение нейронных сетей на numpy, полносвязные нейронные сети
  • non-blocking МДЗ 4 (Маленькое домашнее задание)
    Архитектура трансформера
  • non-blocking МДЗ 2 (Маленькое домашнее задание)
    Сверточные нейронные сети
  • non-blocking МДЗ 3 (Маленькое домашнее задание)
    Генерация музыки рекуррентными нейронными сетями
  • non-blocking ПР 3 (Проверочная работа)
    Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
  • non-blocking ПР 1 (Проверочная работа)
    Полносвязные нейронные сети, оптимизация нейронных сетей
  • non-blocking ПР 2 (Проверочная работа)
    Обработка изображений, сверточные нейронные сети
  • non-blocking МДЗ 5 (Маленькое домашнее задание)
    Self-supervision
  • non-blocking МДЗ 6 (Маленькое домашнее задание)
    Соревновательные атаки, генеративно-состязательные сети
  • non-blocking ПР 4 (Проверочная работа)
    Self-supervision, дистилляция, квантизация, прунинг, соревновательные атаки, генеративно-состязательные сети
  • non-blocking Экзамен
    Письменный, в аудитории, материалами пользоваться не разрешается, 2 часа
  • non-blocking БДЗ 1 (Большое домашнее задание)
    Классификация изображений, формат соревнования
  • non-blocking БДЗ 2 (Большое домашнее задание)
    Машинный перевод, формат соревнования
Interim Assessment

Interim Assessment

  • 2022/2023 3rd module
    0.15 * БДЗ 1 (Большое домашнее задание) + 0.042 * МДЗ 3 (Маленькое домашнее задание) + 0.042 * МДЗ 2 (Маленькое домашнее задание) + 0.037 * ПР 2 (Проверочная работа) + 0.042 * МДЗ 5 (Маленькое домашнее задание) + 0.15 * БДЗ 2 (Большое домашнее задание) + 0.037 * ПР 3 (Проверочная работа) + 0.037 * ПР 1 (Проверочная работа) + 0.042 * МДЗ 1 (Маленькое домашнее задание) + 0.3 * Экзамен + 0.037 * ПР 4 (Проверочная работа) + 0.042 * МДЗ 4 (Маленькое домашнее задание) + 0.042 * МДЗ 6 (Маленькое домашнее задание)
Bibliography

Bibliography

Recommended Core Bibliography

  • Глубокое обучение, Гудфеллоу, Я., 2018

Recommended Additional Bibliography

  • Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Authors

  • Roslovtseva Kristina Olegovna
  • Sadrtdinov Ildus Rustemovich