Большие языковые и мультимодальные модели

Магистратура 2026/2027

ID 1126538

Статус: Курс по выбору (Машинное обучение в цифровом продукте)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Контактные часы: 56

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящён архитектуре, обучению и оптимизации больших языковых моделей (LLM) в контексте их практической интеграции в продукты Data Science. По результатам курса студенты понимают архитектуру и принципы работы LLM, умеют обучать и адаптировать модели, оптимизировать инференс, интегрировать RAG и агенты, оценивать качество и готовить технические отчёты.

Цель освоения дисциплины

Сформировать системное понимание архитектуры, методов обучения и оптимизации больших языковых моделей, а также развить практические навыки их адаптации и интеграции в прикладные задачи Data Science.

Планируемые результаты обучения

Выполнять полный цикл обучения языковых моделей: от подготовки данных и претрейна до supervised fine-tuning, RLHF и LoRA-адаптаций, используя многогпу-инфраструктуру (DeepSpeed/FSDP).
Применять современные архитектуры и механизмы внимания (трансформеры, MoE, оптимизации инференса).
Использовать методы ускорения и сжатия моделей для повышения производительности и снижения требований к ресурсам.
Применять Retrieval-Augmented Generation (RAG), агентов и мультимодальные модели (VLM) для решения прикладных задач: CLIP и BLIP – для анализа изображений, генерации описаний и ответов на визуальные вопросы.
Оценивать качество и безопасность моделей, анализировать результаты экспериментов и принимать решения по их улучшению.
Уметь токенизировать датасет, инициализировать модель с нуля, запускать претрейн, анализировать результаты первичных генераций.