Глубинное обучение

2026/2027

Статус: Маго-лего

Кто читает: Департамент филологии

Где читается: Санкт-Петербургская школа гуманитарных наук и искусств

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Фирсанова Виктория Игоревна

Язык: русский

Кредиты: 6

Контактные часы: 36

Дополнительные материалы в LMS Задать вопрос

Аннотация

Deep learning is one of the most recent and powerful approaches in machine learning. This course is designed to provide an overview of the field and introduce students to approaches, models, and architectures related to deep learning in natural language processing. During the course, students will gain skills in creating and using ready-made deep neural networks to solve various problems, such as sentiment analysis, topic modeling, creating conversational bots, machine translation, and much more. They will also master the relevant conceptual framework for understanding and applying it in research and practice.

Цель освоения дисциплины

знание основных принципов глубокого обучения для АОТ
умение использовать эти принципы при создании собственных систем АОТ
владение существующими методами с применением глубокого обучения для АОТ

Планируемые результаты обучения

Знает подходы и пайплайн решения NLP задач с использованием методов машинного обучения и искусственного интеллекта. Владеет информацией об источниках информации и основных веб-ресурсах для работы с нейронными сетями.
Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью
Понимает устройство сверточных сетей для обработки текста, операций агрегации, структуру ванильных рекуррентных нейронных сетей. Умеет решать nlp-задачи с использованием CNN и RNN, LSTM. Может оценить качество на основе используемых метрик
Владеет пониманием механизмов: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding
Понимает архитектуру transformer. Знает основные базовые модели на основе transformer. Ориентируется на ресурсе hugging face. Умеет пользоваться предобученными моделями
Умеет использовать обученную модель для генерации изображений по описанию. Использовать Prompt-подход и его вариации. Понимает архитектуру и процесс обучения и дообучения диффузионных моделе
Умеет использовать модели: GPT, BERT, T5 “из коробки”. Ориентируется в них. Может реализовывать перенос обучения в различных задачах, fine-tuning моделей
Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть. Владеет методами визуализации результатов и оценкой качества обучения нейронной сети
Понимает устройство и основные принципы использования и работы с dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, Владеет подборкой гиперпараметров для повышения качества выхода нейронной сети