• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2019/2020

Введение в глубинное обучение

Статус: Курс по выбору (Экономика и статистика)
Направление: 38.03.01. Экономика
Когда читается: 3-й курс, 3 модуль
Формат изучения: Full time
Язык: русский
Кредиты: 2

Программа дисциплины

Аннотация

The course starts with a recap of linear models and discussion of stochastic optimization methods that are crucial for training deep neural networks. Learners will study all popular building blocks of neural networks including fully connected layers, convolutional and recurrent layers. Learners will use these building blocks to define complex modern architectures in TensorFlow and Keras frameworks. In the course project learner will implement deep neural network for the task of image captioning which solves the problem of giving a text description for an input image.
Цель освоения дисциплины

Цель освоения дисциплины

  • The goal of this course is to give learners basic understanding of modern neural networks and their applications in computer vision and natural language understanding.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Introduction to optimization
    Course intro. Linear regression. Linear classification. Gradient descent. Overfitting problem and model validation. Model regularization. Stochastic gradient descent. Gradient descent extensions.
  • Deep Learning for images
    Motivation for convolutional layers. Our first CNN architecture. Training tips and tricks for deep CNNs. Overview of modern CNN architectures. Learning new tasks with pre-trained CNNs. A glimpse of other Computer Vision tasks.
  • Unsupervised representation learning
    Unsupervised learning: what it is and why bother. Autoencoders. Autoencoder applications: image generation, data visualization & more. Natural language processing primer. Word embeddings. Generative models. Generative Adversarial Networks. Applications of adversarial approach.
  • Introduction to neural networks
    Multilayer perceptron (MLP). Chain rule. Backpropagation. Efficient MLP implementation. Other matrix derivatives. What is TensorFlow. Our first model in TensorFlow. What Deep Learning is and is not. Deep learning as a language.
Элементы контроля

Элементы контроля

  • неблокирующий Выполнение заданий по теме 1
  • неблокирующий Выполнение заданий по теме 2
  • неблокирующий Выполнение заданий по теме 3
  • неблокирующий Выполнение заданий по теме 4
  • неблокирующий Контрольная работа
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (3 модуль)
    0.2 * Выполнение заданий по теме 1 + 0.2 * Выполнение заданий по теме 2 + 0.2 * Выполнение заданий по теме 3 + 0.2 * Выполнение заданий по теме 4 + 0.2 * Контрольная работа
Список литературы

Список литературы

Рекомендуемая основная литература

  • Kelleher, J. D. (2019). Deep Learning. Cambridge: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2234376