Масштабируемый алгоритм глубокого обучения для задачи обнаружения логотипов брендов на изображениях

Детекция логотипов брендов - это задача идентификации и классификации логотипа. У неё много приложений, таких как защита бренда и исследование рынка. Поскольку количество брендов не является фиксированным и меняется со временем, мы предлагаем двухэтапный фреймворк zero-shot детектироования. Сначала мы обучили single-stage universal logo detector Scaled-YoloV4 для обнаружения областей, в которых расположены объекты, похожие на логотипы. Мы показали, что он обеспечивает такую ​​же способность обобщать, как и double-stage Faster-RCNN. Затем для классификации найденных областей мы использовали улучшенную модель CLIP в качестве zero-shot classifier. Мы показали, что CLIP дает более высокое качество, чем современные few-shot classifier, улучшили устойчивость к ложным срабатываниям за счет TTA и показать proof of concept дообучения, которое улучшает косинусное сходство векторного пространства CLIP. Мы предложили решение, масштабируемое по количеству брендов, которое требует только имени брендов для работы. Детектор логотипов превзошел SOTA решения в датасете FlickrLogos-32 без дополнительного дообучения на данных FlickrLogos-32.