Моделирование ассоциативности при помощи нейронных сетей

В задачах глубинного обучения и компьютерного зрения часто требуются большие наборы размеченных данных. При этом в открытых источниках содержатся изображения, которые могут быть использованы для обучения моделей извлечения признаков и последующем переносе знаний на определенный домен. В этой работе мы предлагаем новый подход для обучения такой модели, основанный на визуальном контексте объектов. Наш метод использует данные с разметкой местоположений и масок и обобщается на данные без разметки. Мы демонстрируем, что признаки, извлеченные таким образом являются семантически значимыми и могут быть использованы в дальнейшем для решения задачи классификации. Более того, наша модель естественным образом обладает способностью предсказывать наиболее подходящее окружение для объекта и наоборот. Также мы предлагаем метод сопоставления полученных представлений словам естественного языка, не используя явных размеченных меток в обучении. Это, в свою очередь, может быть использовано, например, для упрощения ручной разметки или автоматического предложения подходящих изображений по запросу. Таким образом мы моделируем "ассоциативность", позволяя моделям предсказывать наиболее подходящие друг к другу сцены и объекты, а также слова и изображения. Ключевые слова: извлечение признаков, латентные представления, глубинное обучение, компьютерное зрение, word2vec.