Использование нейросетевых кодов и выделения регионов для поиска изображений

В данной работе описывается и исследуется новый алгоритм поиска по изображениям, основанный на использовании дескрипторов, извлечённых с последних слоёв глубокой свёрточной нейросети, обученной для задачи классификации. Предложена схема извлечения множества нейросетевых дескрипторов для одного изображения и агрегации результатов поиска по этим нейродескрипторам через схемы простого и взешенного голосования. Множественность дескрипторов для одного изображения обеспечивает использование более полной визуальной информации, содержащейся в исходном изображении-запросе при информационном поиске, чем использование одного дескриптора для сжатого изображения. Её удаётся обеспечить за счёт различных стратегий выделения регионов изображения, содержащих области интересов: Selective Search и Grid. Обе стратегии подробно представлены в работе. Тестирование качества поиска проводилось на тестовой коллекции The INRIA Holidays. В ходе проведения экспериментальной части был освоен фрэймворк Caffe, используемый для задач глубокого обучения. В частности, с помощью обученной для задачи классификации модели BVLC Reference CaffeNet, для регионов изображений тестовой коллекции Holidays были извлечены нейродескрипторы различных типов. Весь алгоритм поиска был полностью реализован в python-прототипе с использованием собственной CUDA-реализации поиска ближайшего соседа: от обработки изображений коллекции до этапа измерения качества поиска по изображениям-запросам коллекции. Сравнение различных вариантов алгоритма позволило не только установить существенное повышение качества относительно использования традиционных методов поиска, но и описать несколько оптимальных вариантов алгоритма, пригодных для использования в практических приложениях, предъявляющих высокие требования к качеству поиска. Ключевые слова: информационный поиск, поиск по изображениям, глубокие свёрточные нейронные сети, нейросетевые коды, нейродескрипторы, caffe, Holidays.