Анализ изображений

Бакалавриат 2019/2020

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент информатики

Где читается: Санкт-Петербургская школа физико-математических и компьютерных наук

Когда читается: 4-й курс, 2, 3 модуль

Формат изучения: без онлайн-курса

Преподаватели: Шпильман Алексей Александрович

Язык: русский

Кредиты: 4

Контактные часы: 88

Полная версия программы учебной дисциплины

Аннотация

Является дисциплиной по выбору. Данная дисциплина направлена на овладение навыками анализа изображений, сегментации изображений. Студенты получат представление об основных алгоритмах из области анализа изображений. Научатся проводить сегментацию и детектировать объекты на изображении используя методы компьютерного зрения и глубинного обучения. В результате освоения дисциплины студент должен знать: алгоритмы сегментации и детекции объектов на изображении; уметь проектировать генеративные нейронные сети для классификации изображений и владеть математическим аппаратом и инструментальными средствами, используемым при анализе изображений и видео.

Цель освоения дисциплины

1. Формирование у студентов теоретических знаний и практических навыков по основам анализа изображений и сегментации изображений.

Планируемые результаты обучения

Владеет навыками работы с моделями. Оценка параметров модели. Метод наименьших квадратов, M-оценки, RANSAC, преобразование Хафа.
Владеет понятиями: пространственная область; частотная область, преобразование Фурье, спектральный анализ; выделение компонент связности; выделение краев. Математическая морфология.
Знает: свойства признаков изображений; текстовые и визуальные признаки; пространства признаков. Владеет понятиями: ключевые точки; детектор угловых точек; детектор Моравица.
Знает классификацию объектов: бинарная и многоклассовая классификация. Знает категории объектов. Имеет навык извлечения фрагментов, вычисление признаков фрагментов, обучение словаря.
владеет понятиями: многослойные нейронные сети, стохастический градиентный спуск, сверточные нейронные сети.
Владеет навыком поиска по визуальному подобию, поиска нечетких дубликатов, объектов на фотографии, сцен.
Владеет понятиями: метрика качества IoU; HUG; задача многоклассовой детекции. Знает классификацию окон. Знает алгоритмы сегментации и детекции объектов на изображении.
Владеет навыками сегментация объектов. Владеет понятиями: семантическая сегментация; Суперпикселизация.
Владеет навыками реконструкции изображения, стилей, текстур. Владеет понятиями: матрица Грама, Генеративно-состязательные нейронные сети.
Владеет навыками трекинга объектов.

Содержание учебной дисциплины

Обработка изображений
Пространственная область. Частотная область, преобразование Фурье, спектральный анализ. Выделение компонент связности. Выделение краев. Математическая морфология.
Глобальные и локальные признаки изображений
Свойства признаков изображений. Текстовые и визуальные признаки. Пространства признаков. Ключевые точки. Детектор угловых точек. Детектор Моравица.
Параметрические модели.
Выбор модели. Оценка параметров модели. Метод наименьших квадратов, M-оценки, RANSAC, преобразование Хафа.
Классификация объектов на изображении.
Бинарная и многоклассовая классификация. Категории объектов. Извлечение фрагментов. Вычисление признаков фрагментов. Обучение словаря.
Глубокие нейронные сети.
Многослойные нейронные сети. Стохастический градиентный спуск. Функции активации. Сверточные нейронные сети.
Поиск изображений по содержанию.
Поиск по визуальному подобию. Поиск нечетких дубликатов. Поиск объектов на фотографии. Поиск сцен.
Детектирование объектов.
Метрика качества IoU. Задача многоклассовой детекции. Классификация окон. HUG.
Сегментация изображений.
Cегментация объектов. Семантическая сегментация. Суперпикселизация.
Генеративные сети.
Реконструкция изображения. Реконструкция стилей. Матрица Грама. Реконструкция текстур. Генеративно-состязательные нейронные сети.
Трекинг объектов.
Видеопоток и видеопоследовательность. Разметка объектов. Определение поз и жестов. Распознавание событий.

Элементы контроля

Домашнее задание 1
Домашнее задание 2
Домашнее задание 3
Устный экзамен
Экзамен проводится на платформе Zoom. Экзамен проводится в устной форме (опрос по материалам курса). По просьбе преподавателя студент должен быть готов выполнить некоторые задания в письменном виде, после чего сфотографировать и выслать на почту преподавателю. К экзамену необходимо подключиться согласно расписанию, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка платформы Zoom. Для участия в экзамене студент обязан: выбрать себе имя в Zoom совпадающее с его именем и фамилией, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещается выключать камеру. Ипользование конспектов или других справочных материалов допускается только с разрешения преподавателя. Кратковременным нарушением связи во время экзамена считается нарушение связи менее 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи возможность продолжения студентом участие в экзамене определяется преподавателем. Процедура пересдачи подразумевает использование усложненных заданий

Промежуточная аттестация

Промежуточная аттестация (3 модуль)
0.18 * Домашнее задание 1 + 0.16 * Домашнее задание 2 + 0.16 * Домашнее задание 3 + 0.5 * Устный экзамен

Программа дисциплины