Адверсариальные атаки на мультимодальные языковые модели

В последнее время всё большую популярность получают мультимодальные задачи. Они заключаются в том, что модель на вход принимает два разных типа входных данных. Такими задачами являются, например, задачи Image captioning и VQA. До недавнего времени, с такими задачами справлялись модели вида CNN+RNN. Тем не менее, лучшие результаты показали мультимодальные системы, использующие архитектуру трансформера. Не смотря на их популярность, до сих пор не было проведено значимых исследований по адверсариальным атакам на эти модели. Именно эти атаки отражают уязвимость моделей к незначительным преобразованиям входных данных. Целью данного исследования является применение адверсариальных атак к мультимодальным моделям-транформерам. В качестве модели для атаки выбрана LXMERT, которая решает задачу VQA. Результаты работы показывают, что даже у простого вида адверсариальной атаки получилось успешно запутать модель.В последнее время всё большую популярность получают мультимодальные задачи. Они заключаются в том, что модель на вход принимает два разных типа входных данных. Такими задачами являются, например, задачи Image captioning и VQA. До недавнего времени, с такими задачами справлялись модели вида CNN+RNN. Тем не менее, лучшие результаты показали мультимодальные системы, использующие архитектуру трансформера. Не смотря на их популярность, до сих пор не было проведено значимых исследований по адверсариальным атакам на эти модели. Именно эти атаки отражают уязвимость моделей к незначительным преобразованиям входных данных. Целью данного исследования является применение адверсариальных атак к мультимодальным моделям-транформерам. В качестве модели для атаки выбрана LXMERT, которая решает задачу VQA. Результаты работы показывают, что даже у простого вида адверсариальной атаки получилось успешно запутать модель.