Повторная идентификация и классификация атрибутов человека по изображению фигуры

Цель работы – классификация атрибутов человека по снимкам с камер наружного наблюдения, где в качестве атрибутов использованы пол, возраст, стиль одежды и др. Эта работа основана на лучшем на текущий момент методе, называющемся совместным рекуррентным обучением, или Joint Recurrent Learning, JRL. Модель JRL состоит из сверточной нейросети для извлечения признаков из изображений и рекуррентного модуля типа кодировщик-декодировщик. Признаки изображений нарезаются на регионы и формируют последовательность, атрибуты также определенным образом упорядочиваются. Таким образом, задача сводится к переводу из последовательности в последовательность. Кроме этого, декодировщик использует механизм внимания для того, чтобы фокусироваться на конкретном регионе изображения для предсказания конкретного атрибута. Задачи этой работы – воспроизведение оригинальной модели JRL и исследование возможностей ее улучшения путем внесения модификаций: *замены сверточной нейросети для извлечения признаков; *выбора рекуррентной ячейки другого типа в кодировщике-декодировщике; *изменения способа извлечения признаков изображения; *изменения способа агрегирования предсказаний в ансамбле (обучается несколько моделей); *добавления аугментации при обучении сверточной нейросети. Сравнительная оценка качества классификации атрибутов производится на датасете PETA. В результате работы выявлено, что любая из модификаций дает прирост в качестве относительно оригинальной модели. Наиболее эффективно оказалось изменение способа агрегирования предсказаний в ансамбле. Использование модифицированной модели JRL позволяет повысить качество классификации атрибутов в условиях низкого разрешения, плохого качества и погрешностей в цветопередаче снимков, а также вариативности внешнего вида и расположения атрибутов на снимке. Ключевые слова: рекуррентные нейронные сети, сверточные нейронные сети, многоклассовая классификация с пересекающимися классами, классификация атрибутов человека.