Image and Video Analysis

2021/2022

Academic Year

RUS

Instruction in Russian

8

ECTS credits

Delivered at:

Joint Department with Yandex (Big Data and Information Retrieval School)

Course type:

Elective course

When:

2 year, 1, 2 module

Программа дисциплины

Аннотация

"Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Рассмотрим основы обработки изображений (шумоподавление, тональную коррекцию, выделение краёв), классификации изображений (основные признаки), поиску изображений по содержанию (сжатие дескрипторов, приближенные методы сравнения дескрипторов), распознавание лиц, сегментацию изображений. Затем поговорим про алгоритмы обработки и анализа видео. Последняя часть курса посвящена трёхмерной реконструкции. Для большинства задач будем обсуждать сущестующие нейросетевые модели. В курсе мы стараемся уделять внимание только наиболее современным методам, которые используются в настоящее время при решении практических и исследовательских задач. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек."

Цель освоения дисциплины

• Знакомство с задачами и методами современного компьютерного зрения

Планируемые результаты обучения

• "уметь очищать изображение от шума, масштабировать, сглаживать, готовить его к дальнейшему анализу;"
• владеть навыками использования стандартных (в том числе предобученных) архитектур и применения их для решения практических задач.
• владеть навыками обработки и интерпретации результатов эксперимента
• владеть навыками обработки и интерпретации результатов эксперимента;
• владеть нейросетевыми фреймворками keras и tensorflow;
• Знать основные методы выделения объектов на изображении;
• знать основные методы классификации изображений;
• знать основные методы трёхмерной реконструкции.
• знать основные нейросетевые модели для работы изображения, в том числе свёрточные архитектуры;
• знать основные свойства изображения
• знать основы обработки изображений;
• уметь обучать нейронные сети, оценивать качество нейросетевых моделей, определять наличие переобучения и бороться с ним;
• уметь определять ситуации, в которых эвристические методы предпочтительнее нейросетевых и наоборот;

Содержание учебной дисциплины

• Цифровое изображение и тональная коррекция
• Основы обработки изображений
• Совмещение изображений
• Классификация изображений и поиск похожих
• Сверточные нейросети для классификации и поиска похожих изображений
• Детектирование объектов
• Семантическая сегментация
• Перенос стиля и синтез изображений
• Распознавание видео
• Трехмерная реконструкция

Элементы контроля

• Домашняя работа 1
• Домашняя работа 2
• Экзамен
• Домашняя работа 1
• Домашняя работа 2
• Экзамен

Промежуточная аттестация

• 2021/2022 учебный год 2 модуль
  0.3 * Домашняя работа 2 + 0.4 * Экзамен + 0.3 * Домашняя работа 1

Список литературы

Рекомендуемая основная литература

• Гущин, И. В., Споров, А. Е., & Тапузов, А. С. (2018). Application of convolutional neural networks for problems of fruits classification in the image ; Применение свёрточных нейронных сетей для задач классификации фруктов на изображении ; Застосування згорткових нейронних мереж для задач класифікації фруктів на зображенні. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.120A2E25
• О.С. Смирнова, & В.В. Шишков. (2016). Выбор топологии нейронных сетей и их применение для классификации коротких текстов. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.31EAB319
• Попов C.Б. (2014). Моделирование информационной структуры параллельной обработки изображений ; Modeling the task information structure in parallel image processing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.60374DFD

Рекомендуемая дополнительная литература

• Попов, С. (2010). Моделирование Информационной Структуры Параллельной Обработки Изображений. Компьютерная Оптика, (2). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.15194332
• Цифровая обработка изображений, Гонсалес, Р., 2012