Бакалавриат 2024/2025

Глубинное обучение 1

ID 836370

Статус: Курс по выбору (Компьютерные науки и анализ данных)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 2, 3 модуль

Формат изучения: с онлайн-курсом

Онлайн-часы: 60

Охват аудитории: для своего кампуса

Преподаватели: Лазарев Михаил Владимирович

Язык: английский

Кредиты: 4

Course Syllabus

Abstract

The course serves as an in-depth introduction to deep learning -- one of the most rapidly developing fields of machine learning. The studentswill learn the basic working principles of neural network architectures that are in widespread use today. he course has a clear practical focus; students are expected to implement and train neural networks in Python programming language using PyTorch framework. The course covers basic computer vision and natural language processing tasks, introduction to generative models, self-supervised learning, and model optimization and deployment.

Learning Objectives

• Understand the operating principle and be able to train the following types of neural networks: fully connected, convolutional, recurrent, and transformers.
• Proficiency in using the PyTorch framework for training neural networks.
• To understand the various tasks that can be solved using deep learning.

Expected Learning Outcomes

• Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
• The ability to process data and create pipelines for training neural networks.

Course Contents

• Графы вычислений, полносвязные нейронные сети.
• Оптимизация нейронных сетей.
• Сверточные нейронные сети
• Современные сверточные архитектуры
• Задачи компьютерного зрения
• Обработка текстов (энкодинги, эмбеддинги)
• Рекуррентные нейронные сети, обработка текстов
• Архитектура трансформера
• Применения трансформеров в компьютерном зрении
• Self-supervision, BERT
• Дистилляция, квантизация, прунинг
• Состязательные атаки
• Generative models

Assessment Elements

• ДЗ 4 (бонусная)
  Self-supervision (10 баллов)
• Индивидуальный проект (ИП)
  Классификация изображений, формат соревнования (10 баллов)
• ПР 3
  Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
• ДЗ 3
  Архитектура трансформера (10 баллов)
• ГП, часть 2
  Часть 2 - защита проекта (5 баллов)
• ПР 2
  Обработка изображений, сверточные нейронные сети
• ДЗ 1 (Домашнее задание)
  Обучение нейронных сетей на numpy, полносвязные нейронные сети (10 баллов)
• ДЗ 2
  Сверточные нейронные сети (10 баллов)
• ПР 1 (Проверочная работа)
  Полносвязные нейронные сети, оптимизация нейронных сетей
• Групповой проект (ГП), часть 1
  Учебный проект на одного-двух человек. Часть 1 - подготовка инфраструктуры обучения (5 баллов)

Interim Assessment

• 2024/2025 3rd module
  Итог = Округление(0.3 * ГП + 0.25 * ИП + 0.25 * ДЗ + 0.2 * ПР), где ГП - суммарная оценка за групповой проект, ИП — оценка за индивидуальный проект, ДЗ — средняя оценка за домашние задания, ПР — средняя оценка за проверочные работы

Bibliography

Recommended Core Bibliography

• Глубокое обучение, Гудфеллоу, Я., 2018

Recommended Additional Bibliography

• Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Authors

• Akhmedova Giunai Intigam kyzy