Разработка мобильной рекомендательной системы на основе нейросетевого анализа изображений

В настоящей работе рассмотрены методы классификации набора изображений для задач рекомендации товаров пользователям по изображениям, взятым из галереи их мобильного устройства. Проведен теоретический анализ литературы по теме рекомендательных систем и классификации наборов изображений. Описанные алгоритмы имплементированы на практике. Рассмотрено множество моделей СНС, в том числе специально оптимизированных для мобильных устройств. Реализован прототип рекомендательной системы для товаров одежды на платформе Android. Экспериментально показано, что агрегация с помощью одного слоя внимания с линейным оператором сжатия пространства признаков достигается F1 мера равная 0.58, в два раза превышающая F1 меру традиционной классификации среднего вектора признаков. При этом размер получившейся нейросетевой модели составляет всего 3 Мб (16 Мб вместе с предобученной СНС MobileNet v1), что позволяет использовать предложенный подход для запуска даже на слабых мобильных устройствах.