Рекомендация подборки одежды с учетом визуального восприятия

Компьютерное зрение играет важную роль в развитии индустрии моды. Было проведено множество исследований на тему модных рекомендаций, и задача прогнозирования многих из них. Решение этой проблемы может помочь пользователям покупать вещи, которые хорошо вписываются в их текущий гардероб, а также помочь магазинам продавать сразу несколько предметов одежды единовременно. Предыдущие исследования в основном были сосредоточены на изучении попарной совместимости элементов одежды. Есть несколько подходов, которые учитывают наряд целиком, но у них есть требование на наличие текстовых данных. В этой работе мы используем только изображения одежды из датасета Polyvore для извлечения визуальных характеристик. Мы представляем аутфиты в виде графа и обучаем векторные представления вершин на основе структуры графа и визуальных характеристик вершин. Затем мы обучаем многослойный персептрон классифицировать наборы таких векторов, соответствующие нарядам. Мы сравниваем наш метод с релевантными работами по двум задачам: прогнозирование совместимости наряда и выбор наиболее подходящего элемента из предложенных для дополнения аутфита. Наш подход показывает наилучший результат среди работ, которые используют только изображения, по первой задаче, и показывает наилучший результат по второй задаче.