Жизненный цикл моделей ML

2026/2027

ID 1149295

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Доронькин Максим Вячеславович

Язык: русский

Кредиты: 3

Контактные часы: 24

Дополнительные материалы в LMS Задать вопрос

Аннотация

Практико-ориентированный курс о полном жизненном цикле ML- и LLM-систем: от постановки задачи, данных и воспроизводимого эксперимента до регистрации версии, публикации сервиса, мониторинга, обратной связи и управляемого обновления. Сквозной вопрос курса: «Как превратить удачный эксперимент с LLM в контролируемую production-систему, для которой можно восстановить происхождение результата, проверить качество, безопасно выпустить новую версию и откатиться?». Центральным инструментом учёта экспериментов, артефактов, моделей, промптов и трассировок является MLflow; оркестрация изучается на одном инструменте — Apache Airflow. Курс не сводится к набору DevOps-инструментов: каждый компонент вводится как ответ на конкретный риск жизненного цикла.

Цель освоения дисциплины

Cформировать целостную модель жизненного цикла ML- и LLM-системы от задачи до эксплуатации и улучшения;
Научить фиксировать связь между кодом, данными, eval-набором, конфигурацией, промптом, моделью, метриками и выпуском;
Дать практику MLflow для tracking, registry, артефактов и LLM-трассировок;
Научить представлять обучение, оценивание и публикацию как воспроизводимый pipeline и оркестрировать его в Airflow;
Показать путь модели в batch- или online-сервис, контейнеризацию, CI/CD/CT и стратегию отката;
Научить проектировать мониторинг технических, продуктовых и LLM-метрик, включая качество, latency, токены и стоимость;
Сформировать базовое понимание угроз LLM-приложений, безопасной работы с данными и границ автоматического оценивания.

Планируемые результаты обучения

Студент объясняет этапы жизненного цикла и зоны ответственности MLOps/LLMOps;
Студент воспроизводит эксперимент по зафиксированным версиям кода, данных, окружения, промпта и параметров генерации;
Студент регистрирует параметры, метрики, артефакты, модель/промпт и трассировки в MLflow и объясняет lineage результата;
Студент разбивает ML/LLM-процесс на шаги с явными входами, выходами и зависимостями;
Студент создаёт и запускает Airflow DAG с зависимостями, параметрами, расписанием и обработкой повторных запусков;
Студент публикует модель как FastAPI-сервис, контейнеризует её и разделяет конфигурацию, код и секреты;
Студент формулирует CI/CD/CT quality gates для кода и качества модели/промпта;
Студент выбирает технические, продуктовые и LLM-метрики, диагностирует деградацию и предлагает rollback или обновление;
Студент проводит базовую оценку рисков prompt injection, утечки чувствительных данных, небезопасного вывода и неконтролируемой стоимости.

Содержание учебной дисциплины

Жизненный цикл ML/LLM-системы и MLOps
Эксперименты и воспроизводимость
Версионирование данных, моделей и артефактов
Tracking экспериментов и Model Registry
ML/LLM Pipeline: воспроизводимый процесс
Оркестрация ML-пайплайнов в Airflow
От модели к сервису
Контейнеризация и deployment ML-модели
CI/CD/CT для ML и LLM
Мониторинг ML/LLM-систем
LLMOps: качество, версии и безопасность
Production ML/LLM-система целиком и защита проекта

Элементы контроля

Сквозной учебный проект
Единственная оцениваемая форма контроля — индивидуальный сквозной проект (выдаётся на занятии 1 и развивается по контрольным точкам курса.). Промежуточные контрольные точки на занятиях нужны для обратной связи и не образуют отдельных оценок. Проект должен демонстрировать управляемый жизненный цикл небольшой LLM-системы; обучение или fine-tuning большой модели не требуется. Студент превращает небольшой LLM-прототип в воспроизводимую и наблюдаемую систему. Итог включает: постановку задачи и критерии качества; Git-репозиторий; зафиксированные версии кода, окружения, модели/provider, промпта и eval-набора; MLflow runs и зарегистрированную версию; воспроизводимый pipeline и Airflow DAG; FastAPI-сервис в Docker; минимальный CI quality gate; метрики/traces, сценарий rollback и краткий анализ стоимости и рисков. Используется предоставленная учебная задача или собственная задача сопоставимого масштаба.
Защита сквозного проекта
Финальная сдача проекта: репозиторий, рабочая демонстрация, паспорт проекта и индивидуальная защита после занятия 12. Для уважительной причины предоставляется альтернативный срок.

Промежуточная аттестация

2026/2027 2nd module
Итог = Округление(П), где П — оценка за сквозной проект по 10-балльной шкале. Итоговая оценка непосредственно равна оценке проекта.

Список литературы

Авторы

Комарова Ксения Степановна

Программа дисциплины