2024/2025
Мультимодальные нейронные сети
ID 941119
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Маго-лего
Кто читает:
Базовая кафедра Сбер
Когда читается:
2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
3
Контактные часы:
14
Программа дисциплины
Аннотация
Дисциплина посвящена современным архитектурам мультимодальных нейросетей и генеративных моделей. Курс охватывает модели, работающие с изображениями, аудио, видео и текстом, исследует методы контрастивного обучения, архитектуры типа CLIP, BLIP, VQGAN, DALL-E, а также механизмы генерации и токенизации мультимодальных данных. Лекции сопровождаются разбором практических задач и исследований, а также домашними заданиями по обучению адаптеров и генерации описаний по мультимодальному входу.
Цель освоения дисциплины
- Познакомить студентов с архитектурами современных мультимодальных генеративных моделей.
- Научить использовать предобученные энкодеры и обучать адаптеры для мультимодальных задач.
- Развить понимание особенностей работы с изображениями, аудио и видео в генеративных моделях.
- Дать практические навыки оценки качества генерации с использованием автоматических метр
Планируемые результаты обучения
- Научатся понимать принципы построения и функционирования мультимодальных нейронных сетей
- Понимать принципы построения и функционирования мультимодальных нейронных сетей
- Применять предобученные мультимодальные модели для решения задач поиска, сопоставления и анализа данных разных модальностей
- Уметь выбирать способы представления видео, отбора кадров и учёта временных связей при обработке видеоданных
- Уметь сравнивать сверточные и трансформерные архитектуры визуальных энкодеров и использовать их для извлечения признаков из изображений
- Уметь подготавливать аудиоданные для обработки нейронными сетями и получать их векторные представления с помощью аудиоэнкодеров
- Уметь сравнивать архитектуры мультимодальных энкодеров и выбирать способы объединения представлений в зависимости от решаемой задачи
- Уметь объяснять принципы генерации изображений по текстовому описанию и оценивать соответствие сгенерированных изображений заданному запросу
- Уметь объяснять принципы контрастивного обучения и использовать модели CLIP и CLAP для сопоставления текста с изображениями и аудио
- Уметь объяснять принципы построения и функционирования мультимодальных нейронных сетей, а также способы совместной обработки данных разных модальностей
Содержание учебной дисциплины
- Введение в мультимодальные нейросети
- Контрастивное обучение и CLIP/CLAP
- Генерация изображений по тексту
- Мультимодальные энкодеры
- Аудиомодальность и её представление
- Визуальная модальность и архитектуры визуальных энкодеров
- Видео как модальность и работа с видеопотоками
Промежуточная аттестация
- 2024/2025 2nd module0.5 × ДЗ1 + 0.5 × ДЗ2 + 0.2 × ДЗ3; максимум = 10 баллов
