Адверсариальные атаки на мультимодальные языковые модели

В наши дни искусственный интеллект и машинное обучение в частности вовлечены во многие сферы нашей жизни и набирают все больше и больше популярности с каждым днем. Поэтому крайне важно обеспечить безопасность и стойкость моделей глубинного обучения, потому что даже незначительные проблемы могут привести к ужасным последствиям. Относительно недавно мултимодальные языковые модели стали объектом интереса для многих исследователей, потому что такие модели дают нам возможность решать большое количество задач глубинного обучения. Адверсариальные атаки - одна из самый опасных угроз для таких задач. Если брать задачи, где частью входа является картинка, то такой атакой является добавление к картинке шума, который человек не замечает, но в то же время наша модель будет сломана и выдаст неправильный результат. Исследование уязвимости моделей может в будущем помочь в улучшении их устойчивости и безопасности.