Несбалансированная классификация с помощью ансамблей на основе классификационных деревьев

В задаче классификации на два класса часто возникает проблема несбалансированности выборки: количество объектов одного из классов существенно превосходит количество объектов другого класса. В таких выборках классификаторы настраиваются на объекты мажоритарного класса (когда высокую точность классификатора можно получить, не выделяя объекты миноритарного класса), в то время как во многих задачах, таких как задача медицинской диагностики, интерес представляют объекты миноритарного класса (наличие болезни). Цель работы состоит в разработке модификаций алгоритмов бустинга, подходящих для решения задачи несбалансированной классификации. В работе рассмотрена задача несбалансированной классификации. Проведены эксперименты c различными методами сэмплирования на каждой итерации Deep Boosting. Предложен алгоритм Margin-Based DeepSmoteBoosting, сочетающий преимущества DeepBoosting и SMOTE (метода сэмплирования, который заключается в генерации синтетических объектов миноритарного класса), который работает лучше SmoteBoosting-a и DeepSmoteBoosting-а на несбалансированных датасетах по F-мере, использует существенно меньше деревьев в итоговой композиции (нежели использовалось в SmoteBoosting), работает лучше XGBOOST-a на несбалансированных датасетах по F-мере. В основе предложенного алгоритма лежит Deep Boosting, который позволяет строить деревья большой глубины без риска переобучения, т.е. более сложные разделяющие поверхности, назначая маленький вес деревьям большой глубины. Это возможно за счет введения регуляризации на основе Радемахеровской сложности.