Атаки на мультиязычные модели

В мультиязычных сообществах по всему миру распространён феномен смешения кодов, когда человек использует в речи более одного языка внутри одного предложения. Мультиязычные языковые модели показывают впечатляющее качество для разных задач обработки естественного языка. Однако реальные данные со смешением кодов очень дороги в сборе и разметке. Мы представляем две адверсариальные атаки по методу серого ящика, чтобы оценить возможное качество мультиязычных моделей на входных данных со смешением языков внутри одного предложения. Дополнительно мы предлагаем метод адверсариального предобучения для защиты от атак такого рода. В своей работе мы решаем задачу одновременного заполнения слотов и распознавания интентов с качеством 98\% accuracy по интентам и 95\% F1 меры по слотам; понижаем качество моделей с 78\% до 16\% по метрике semantic accuracy с помощью адверсариальной атаки; повышаем качество моделей с 8.8\% до 20\% по метрике semantic accuracy с помощью предложенного метода защиты.