Анализ изображений и видео

2019/2020

Учебный год

RUS

Обучение ведется на русском языке

8

Кредиты

Кто читает:

Базовая кафедра Яндекс (Департамент больших данных и информационного поиска)

Статус:

Курс по выбору

Когда читается:

2-й курс, 1, 2 модуль

Преподаватель

Федотов Станислав Николаевич

Программа дисциплины

Аннотация

"Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Рассмотрим основы обработки изображений (шумоподавление, тональную коррекцию, выделение краёв), классификации изображений (основные признаки), поиску изображений по содержанию (сжатие дескрипторов, приближенные методы сравнения дескрипторов), распознавание лиц, сегментацию изображений. Затем поговорим про алгоритмы обработки и анализа видео. Последняя часть курса посвящена трёхмерной реконструкции. Для большинства задач будем обсуждать сущестующие нейросетевые модели. В курсе мы стараемся уделять внимание только наиболее современным методам, которые используются в настоящее время при решении практических и исследовательских задач. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек."

Цель освоения дисциплины

• Знакомство с задачами и методами современного компьютерного зрения

Планируемые результаты обучения

• знать основные свойства изображения
• знать основы обработки изображений;
• "уметь очищать изображение от шума, масштабировать, сглаживать, готовить его к дальнейшему анализу;"
• владеть навыками обработки и интерпретации результатов эксперимента
• знать основные методы классификации изображений;
• знать основные нейросетевые модели для работы изображения, в том числе свёрточные архитектуры;
• уметь обучать нейронные сети, оценивать качество нейросетевых моделей, определять наличие переобучения и бороться с ним;
• владеть нейросетевыми фреймворками keras и tensorflow;
• владеть навыками использования стандартных (в том числе предобученных) архитектур и применения их для решения практических задач.
• Знать основные методы выделения объектов на изображении;
• уметь определять ситуации, в которых эвристические методы предпочтительнее нейросетевых и наоборот;
• владеть навыками обработки и интерпретации результатов эксперимента;
• знать основные методы трёхмерной реконструкции.

Содержание учебной дисциплины

• Цифровое изображение и тональная коррекция
  Разрешение,Пиксели, Аналоговое изображение,Демозаикинг.
• Основы обработки изображений
  JPEG, преобразование Фурье, лапласовская пирамида.
• Совмещение изображений
  Склейка панорам. Метод опорнызх точек на изображдении.
• Классификация изображений и поиск похожих
  Классические методы. Генерация фичей для классификации.
• Сверточные нейросети для классификации и поиска похожих изображений
  "Сверточные нейросети. Нейросетевые архитектуры для классификации и поиска похожих изображений."
• Детектирование объектов
  Подсчет метрик детектора.RCNN,MASK RCNN, Faster RCNN
• Семантическая сегментация
  Dense CRF. Нейросетевые модели сегментации.
• Перенос стиля и синтез изображений
  Семантический морфинг лиц. Style Loss.Neural Style Transfer
• Распознавание видео
  Нейросетевые модели расспознавания видео. Расспознавание видео с помощью рекуррентных нейронных сетей - LSTM,GRU , Attention is all you need
• Трехмерная реконструкция
  "Разреженная трехмерная реконструкция. Плотная трехмерная реконструкция, Реконструкция по одному кадру и облакам точек. Pointnet, Pointnet++ ,Pu-net, трехмерная семантическая сегментация. "

Элементы контроля

• Домашняя работа 1
• Домашняя работа 2
• Экзамен

Промежуточная аттестация

• Промежуточная аттестация (2 модуль)
  0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Гущин, И. В., Споров, А. Е., & Тапузов, А. С. (2018). Application of convolutional neural networks for problems of fruits classification in the image ; Применение свёрточных нейронных сетей для задач классификации фруктов на изображении ; Застосування згорткових нейронних мереж для задач класифікації фруктів на зображенні. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.120A2E25
• О.С. Смирнова, & В.В. Шишков. (2016). Выбор топологии нейронных сетей и их применение для классификации коротких текстов. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.31EAB319
• Попов C.Б. (2014). Моделирование информационной структуры параллельной обработки изображений ; Modeling the task information structure in parallel image processing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.60374DFD

Рекомендуемая дополнительная литература

• Попов, С. (2010). Моделирование Информационной Структуры Параллельной Обработки Изображений. Компьютерная Оптика, (2). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.15194332
• Цифровая обработка изображений, Гонсалес, Р., 2012