Текстово-визуальный кросс-модальный поиск без использования параллельных данных

Одной из важных задач в обработке мультимедийной информации является текстово-визуальный кросс-модальный поиск. Множество работ, посвященных этой проблеме, уже достигают хороших результатов. Однако для работы существующих решений требуется большой объем парных данных, состоящих из изображений с их текстовым описанием. Они необходимы для восстановления связи между текстовой и визуальной информацией. Сегодня парные данные генерирует человек, поэтому они дороги. В этой работе я предлагаю модель текстово-визуального кросс-модального поиска, использующую непарные данные для восстановления связи между текстовой и визуальной информацией. Проведенные эксперименты показали, что предлагаемая мною модель имеет более высокую чем другие работы обобщающую способность и менее чувствительна к уменьшению объема парных данных. Моя модель достигает state-of-the-art результатов на полностью парных данных и значительно превосходит существующие аналоги на частично парных данных.