Алгоритмы классификации изображений на основе нейросетевых детекторов объектов и структурного распознавания образов

Данная работа посвящена использованию признаков, основанных на детектировании объектов, для улучшения традиционных методов классификации изображений. Рассмотрены технологии обработки изображений в историческом контексте. Выбраны наиболее эффективные методы классификации и детектирования объектов, такие, как Alexnet, VGG, Resnet, Densenet. Для проведения вычислительных экспериментов был выбран набор данных Yelp Academic, содержащий разномодальную информацию о бизнесах и ресторанах, представленных на платформе, и сформировано две задачи классификации: бинарная Business / Restaurant и многоклассовая multilabel Ambience классификация по атмосфере (romantic, intimate, touristy, hipster, divey, upscale). Сравнение проводилось по метрикам ROC-AUC и F-мера (обе задачи), Balanced Accuracy (Business / Restaurant), коэффициент Жаккара и Hamming Loss (Ambience). Наилучшие результаты были достигнуты с использованием векторов, извлечённых с помощью DenseNet. В задаче Business / Restaurant - путём классификации машиной опорных векторов, в задаче Ambience - путём классификации алгоритмом логистической регрессии. Использование векторов максимальной уверенности и количества обнаруженных R-CNN объектов на изображении позволяет повысить точность на ~0.8% (Business / Restaurant), коэффициент Жаккара на ~2.3% (Ambience) и F1-меру на ~0.85-1.5% (обе задачи) по сравнению с традиционной классификацией нейросетевых признаков.