Семинар HDI Lab: How benign is benign overfitting?

31 января в 16:20

Докладчик: Лишуди Дмитрий, Стажер-исследователь: Международная лаборатория стохастичсеких алгоритмов и анализа многомерных данных факультета компьютерных наук.

Тема: "How benign is benign overfitting?"

Аннотация: На многих наборах данных нейросети при обучении с SGD достигают практически нулевой ошибки на тренировочных данных и хорошей обобщающей способности на тестовых, даже когда тренировочная разметка зашумлена. Такой эффект называется доброкачественное переобучение (benign overfitting). Тем не менее такие модели уязвимы к состязательным атакам. Первой причиной такой уязвимости являются плохая выборка. Так, с помощью теоретического и эмпирического анализа показывается, что шум в разметке данных — одна из причин состязательной уязвимости и устойчивым моделям не удается достичь нулевой тренировочной ошибки. Однако удаление неправильных меток не позволяет достичь устойчивости к состязательным атакам. В статье предполагается, что дело также и в субоптимальном обучении представлениям. С помощью несложной теоретической постановки показывается, что выбор представлений может значительно повлиять на состязательную устойчивость.

Ссылка на статью: https://arxiv.org/pdf/2007.04028.pdf