Прогнозирование хэштегов по фотографии для социальной сети Инстаграм с использованием глубоких нейронных сетей

Instagram - один из самых популярных платформ, в которой люди делятся фотографиями со своими подписчиками. Для более удобного поиска фотографий пользователи используют хештеги (#nature, #love и другие). Цель данной работы - построить модель для прогнозирования хештегов по фотографии и предоставить пользователям удобный доступ к ней. В ходе работы читателю представлен обзор литературы по теме Multi-Label Image Classification, Knowledge Distillation (способ обучения более простой модели с помощью передачи знания от более сложной и глубокой модели) и краткие сведения по архитектуре ResNet. Автор предлагает изменения для архитектуры ResNet, направленные на получение модели лучшего качества и способствующие более быстрой сходимости. Далее автор представляет свои модели SIMR. Модели используют дополнительный bottleneck блок, с помощью которого осуществляется Self Knowledge Distillation (представленный в 2019 году метод включающий Knowledge Distillation и Self Training). Автор подробно описывает данные, собранные для анализа с сайта Instagram. com. Люди сами выбирают, какие теги добавить к фотографиям. Теги отписывают не только то, что происходит на фото, но и отношение пользователей к фото. Из-за этого появляется много неисчерпывающих тегов, абстрактные теги не относятся к фото на прямую, что добавляет сложностей прогнозированию. Для тестирования моделей автор создаёт чатбота в популярном мессенджера Telegram, который прогнозирует хештеги по отправленному пользователем фото.