Ансамбли глубоких нейронных сетей: анализ и подходы к повышению уровня внутреннего разнообразия

Модели машинного обучения, работающие с данными высокой размерности, все чаще используются в приложениях, где высоки требования к надежности предсказаний. Вследствие этого, оценки неопределенности в предсказаниях играют большую роль в практических контекстах. В этой работе мы анализируем и создаем техники оценки неопределенности в предсказаниях для глубоких нейронных сетей. Мы делаем это в контексте задачи распознавания изображений, но методы оценки неопределенности могут легко быть адаптированы на другие задачи и типы данных. В основном мы фокусируемся на неопределенности на данных из того же распределения, что и обучающая выборка, и подходим к проблеме с нескольких ракурсов. Во-первых, мы изучаем стандарты измерения предиктивной неопределенности. Мы обращаем внимание на недостатки метрик и обсуждаем роль калибрации моделей в оценке неопределенности. Мы также вводим метрику Deep Ensemble Equivalent (DEE), которая измеряет качество неопределенности моделей относительно базового ансамбля в единой форме для облегчения интерпретации наших дальнейших результатов. Во-вторых, мы проводим крупномасштабное эмпирическое исследование современных методов оценки неопределенности, сравнивая между собой большие ансамбли глубоких нейронных сетей. Мы интерпретируем результаты в свете свойств методов ансамблирования и показываем, что многие сложные техники ансамблирования эквивалентны небольшому ансамблю из независимо обученных сетей по качеству предсказаний на тестовых данных. В-третьих, мы продвигаем понимание и эффективность аугментации данных. В последние годы были предложены методы обучения политик аугментации для глубоких сетей. Но несмотря на то, что аугментация обычно используется и при обучении моделей, и при предсказании на тестовых данных, эти методы рассматривали только аугментацию при обучении. Мы показываем, что существующие методы обучения аугментации не приводят к хорошим результатам, если без модификаций применять их для предсказания с обученной моделью. Тем не менее, мы показываем, что аугментация для предсказаний тоже может быть обучена. Мы вводим Greedy Policy Search (GPS) - простой и эффективный метод обучения политики аугментации для предсказаний обученной моделью. Политики, найденные GPS, обеспечивают лучшее качество предсказаний, оценки неопределенности и устойчивость к сдвигу распределения данных по сравнению с альтернативами. Анализируя GPS, мы показываем, что калибрация модели является критическим элементом поиска политик.