Сопоставление текстов и изображений с использованием только трансформер-подобной архитектуры

ФИО студента: Плешкова Алина Артуровна

Руководитель: Новиков Борис Асенович

Кампус/факультет: Санкт-Петербургская школа физико-математических и компьютерных наук

Программа: Промышленное программирование (Магистратура)

Оценка: 9

Год защиты: 2021

С развитием технологий людям все чаще приходится работать с мультимедийным контентом. С появлением мультимедийных данных появляется проблема связи информации разных типов. Одной из таких проблем является сопоставление текста и изображения. Решение данной проблемы очень важно в текстово-визуальном поиске. Недавно появилась модель ViLT, которая является SOTA среди моделей для задачи сопоставления текста и изображения. Работа посвящена адаптации данной модели для обучения на небольшом датасете и с небольшим размером батча.

Текст работы (работа добавлена 21 мая 2021 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ