Прикладное компьютерное зрение

2026/2027

ID 1270103

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Челпанов Василий Андреевич

Язык: русский

Кредиты: 3

Контактные часы: 22

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящен практическому применению компьютерного зрения: от постановки задачи и выбора методов до оценки качества, оптимизации и развёртывания системы. Все задания будут связаны с анализом спортивных видео. Студенты по ходу курса проработают следующие темы: обработка изображений и видео, геометрия камеры, детекция объектов, сегментация объектов, трекинг, реидентификация и генеративные модели. Каждое занятие курса будет начинаться с краткого блока теории, а заканчиваться примером решения конкретной задачи из домена.

Цель освоения дисциплины

Освоить проектирование CV-систем с учётом качества и вычислительных ограничений.
Научиться адаптировать геометрические методы и нейросетевые модели к прикладным задачам.
Освоить применение детекции, трекинга и реидентификации.
Научиться объединять информацию из последовательности кадров для повышения устойчивости распознавания и трекинга объектов.
Научиться проводить воспроизводимые эксперименты и выявлять причины ошибок системы.
Освоить разработку и оптимизацию видеопайплайнов.

Планируемые результаты обучения

Студент обрабатывает и визуализирует изображения и видео.
Студент применяет сегментацию и гомографию для анализа сцены.
Студент применяет модели классификации, детекции и распознавания текста.
Студент реализует сопоставление наблюдений и сопровождение объектов.
Студент использует эмбеддинги для повторной идентификации объектов.
Студент проектирует воспроизводимые эксперименты и интерпретирует метрики.
Студент профилирует и объединяет компоненты системы видеоаналитики.

Содержание учебной дисциплины

Постановка экспериментов и воспроизводимость: baseline, разбиение данных, метрики, логирование и анализ результатов.
OpenCV: изображения, видео, цветовые пространства, обработка и визуализация результатов.
Локальные признаки, Matching, RANSAC и Optical Flow. Компенсация движения камеры и стабилизация видео.
Геометрия камеры, сегментация и гомография. Проекция объектов на плоскость.
ONNX, TensorRT, Batching и профилирование. Оптимизация inference-пайплайна.
Детекция объектов: подходы, метрики и особенности работы с объектами разного размера.
Multi Object Tracking: движение, ассоциация и метрики. Доработка базового многообъектного трекера.
Metric Learning, ReID, поиск по эмбеддингам. Сопоставление объектов и агрегация признаков по треку.
Triton, видеопотоки, очереди и архитектура системы. Сборка end-to-end-пайплайна видеоаналитики.
OCR: локализация и распознавание текстовых и числовых обозначений, уверенность и отказ.
Генеративные модели, управляемая генерация и создание синтетических изображений.

Элементы контроля

Исследовательский проект
Индивидуальное исследование по одному вопросу из предложенного списка. Список будет сформирован после 3, 6 и 9 Студент формулирует гипотезу, сравнивает базовое решение и два варианта улучшения, анализирует метрики и ошибки. Результат: воспроизводимый код и отчёт до трёх страниц с постановкой задачи, протоколом, результатами и выводами. Использование генеративного ИИ раскрывается; студент отвечает за корректность и понимание представленного решения.
Экзамен
Дистанционно по видеосвязи с демонстрацией экрана.

Промежуточная аттестация

2026/2027 3rd module
Итог = округление(0,4 × П + 0,6 × Э), где П — оценка проекта, Э — оценка экзамена; обе оценки выставляются по шкале от 0 до 10. Экзамен включает ответы на вопросы по курсу и обсуждение проекта с равными весами. За проект оцениваются качество экспериментов и отчёта, на экзамене — понимание методов и результатов.

Список литературы

Авторы

Комарова Ксения Степановна

Программа дисциплины