• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2019/2020

Анализ изображений и видео

Статус: Курс по выбору (Науки о данных)
Направление: 01.04.02. Прикладная математика и информатика
Когда читается: 2-й курс, 1, 2 модуль
Формат изучения: Full time
Прогр. обучения: Науки о данных
Язык: русский
Кредиты: 8

Программа дисциплины

Аннотация

"Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Рассмотрим основы обработки изображений (шумоподавление, тональную коррекцию, выделение краёв), классификации изображений (основные признаки), поиску изображений по содержанию (сжатие дескрипторов, приближенные методы сравнения дескрипторов), распознавание лиц, сегментацию изображений. Затем поговорим про алгоритмы обработки и анализа видео. Последняя часть курса посвящена трёхмерной реконструкции. Для большинства задач будем обсуждать сущестующие нейросетевые модели. В курсе мы стараемся уделять внимание только наиболее современным методам, которые используются в настоящее время при решении практических и исследовательских задач. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек."
Цель освоения дисциплины

Цель освоения дисциплины

  • Знакомство с задачами и методами современного компьютерного зрения
Результаты освоения дисциплины

Результаты освоения дисциплины

  • знать основные свойства изображения
  • знать основы обработки изображений;
  • "уметь очищать изображение от шума, масштабировать, сглаживать, готовить его к дальнейшему анализу;"
  • владеть навыками обработки и интерпретации результатов эксперимента
  • знать основные методы классификации изображений;
  • знать основные нейросетевые модели для работы изображения, в том числе свёрточные архитектуры;
  • уметь обучать нейронные сети, оценивать качество нейросетевых моделей, определять наличие переобучения и бороться с ним;
  • владеть нейросетевыми фреймворками keras и tensorflow;
  • владеть навыками использования стандартных (в том числе предобученных) архитектур и применения их для решения практических задач.
  • Знать основные методы выделения объектов на изображении;
  • уметь определять ситуации, в которых эвристические методы предпочтительнее нейросетевых и наоборот;
  • владеть навыками обработки и интерпретации результатов эксперимента;
  • знать основные методы трёхмерной реконструкции.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Цифровое изображение и тональная коррекция
    Разрешение,Пиксели, Аналоговое изображение,Демозаикинг.
  • Основы обработки изображений
    JPEG, преобразование Фурье, лапласовская пирамида.
  • Совмещение изображений
    Склейка панорам. Метод опорнызх точек на изображдении.
  • Классификация изображений и поиск похожих
    Классические методы. Генерация фичей для классификации.
  • Сверточные нейросети для классификации и поиска похожих изображений
    "Сверточные нейросети. Нейросетевые архитектуры для классификации и поиска похожих изображений."
  • Детектирование объектов
    Подсчет метрик детектора.RCNN,MASK RCNN, Faster RCNN
  • Семантическая сегментация
    Dense CRF. Нейросетевые модели сегментации.
  • Перенос стиля и синтез изображений
    Семантический морфинг лиц. Style Loss.Neural Style Transfer
  • Распознавание видео
    Нейросетевые модели расспознавания видео. Расспознавание видео с помощью рекуррентных нейронных сетей - LSTM,GRU , Attention is all you need
  • Трехмерная реконструкция
    "Разреженная трехмерная реконструкция. Плотная трехмерная реконструкция, Реконструкция по одному кадру и облакам точек. Pointnet, Pointnet++ ,Pu-net, трехмерная семантическая сегментация. "
Элементы контроля

Элементы контроля

  • Домашняя работа 1 (неблокирующий)
  • Домашняя работа 2 (неблокирующий)
  • Экзамен (неблокирующий)
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (2 модуль)
    0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Быстрое преобразование Фурье и алгоритмы вычисления сверток, Нуссбаумер Г., Касимова Ю. Ф., 1985
  • Гущин, И. В., Споров, А. Е., & Тапузов, А. С. (2018). Application of convolutional neural networks for problems of fruits classification in the image ; Применение свёрточных нейронных сетей для задач классификации фруктов на изображении ; Застосування згорткових нейронних мереж для задач класифікації фруктів на зображенні. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.120A2E25
  • О.С. Смирнова, & В.В. Шишков. (2016). Выбор топологии нейронных сетей и их применение для классификации коротких текстов. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.31EAB319
  • Попов C.Б. (2014). Моделирование информационной структуры параллельной обработки изображений ; Modeling the task information structure in parallel image processing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.60374DFD
  • Преобразование Фурье в комплексной области, Винер Н., Пэли Р., 1964

Рекомендуемая дополнительная литература

  • Попов, С. (2010). Моделирование Информационной Структуры Параллельной Обработки Изображений. Компьютерная Оптика, (2). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.15194332
  • Цифровая обработка изображений, Гонсалес Р., Вудс Р., 2012