Магистратура
2026/2027
Большие языковые и мультимодальные модели
ID 1126537
Статус:
Курс по выбору (Машинное обучение в цифровом продукте)
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 1, 2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
6
Контактные часы:
56
Программа дисциплины
Аннотация
Курс посвящён архитектуре, обучению и оптимизации больших языковых и мультимодальных моделей и их интеграции в продукты Data Science. Студенты изучают подготовку данных, предобучение, дообучение, обучение на предпочтениях, ускорение инференса и сжатие моделей. В прикладной части рассматриваются RAG, агенты и модели совместной обработки изображений и текста, включая CLIP, BLIP и задачи image–text retrieval. По завершении курса студенты обучают и адаптируют модели, оценивают их качество и безопасность и представляют результаты экспериментов в технических отчётах.
Цель освоения дисциплины
- Сформировать системное понимание архитектур и методов обучения больших языковых и мультимодальных моделей и развить практические навыки их адаптации, оптимизации, оценивания и интеграции в прикладные задачи Data Science.
Планируемые результаты обучения
- Выполнять полный цикл обучения языковых моделей: от подготовки данных и претрейна до supervised fine-tuning, RLHF и LoRA-адаптаций, используя многогпу-инфраструктуру (DeepSpeed/FSDP).
- Применять современные архитектуры и механизмы внимания (трансформеры, MoE, оптимизации инференса).
- Использовать методы ускорения и сжатия моделей для повышения производительности и снижения требований к ресурсам.
- Применять Retrieval-Augmented Generation (RAG), агентов и мультимодальные модели (VLM) для решения прикладных задач: CLIP и BLIP – для анализа изображений, генерации описаний и ответов на визуальные вопросы.
- Оценивать качество и безопасность моделей, анализировать результаты экспериментов и принимать решения по их улучшению.
- Уметь токенизировать датасет, инициализировать модель с нуля, запускать претрейн, анализировать результаты первичных генераций.
Содержание учебной дисциплины
- Введение в большие языковые модели (LLM)
- Pretraining языковой модели
- Параллелизм в Pretraining
- Supervised Fine-Tuning (SFT)
- Fine-Tuning и Low-Rank Adaptation (LoRA)
- RLHF
- Ускорение инференса
- Сжатие моделей
- Агенты и RAG
- Vision-Language Models (VLM)
- Альтернативы LLM
Элементы контроля
- Домашние работыДомашняя работа 1 «Предобучение языковой модели». Подготовить и токенизировать корпус, инициализировать языковую модель, провести предобучение с логированием и оценить качество на валидационной выборке. Представить анализ экспериментальных настроек, кривых функции потерь и генераций модели.
- Вовлечённость
