Внедрение автоматизированного машинного обучения для поддержки процессов качества данных

В каждом конкретном случае проблемы с качеством данных часто легко идентифицируются, отслеживаются и решаются. Тем не менее, когда рассматривается окружение с постоянно растущими объемами данных, необходимы методы управления проблемами качества с целью сделать большие объемы данных управляемыми и пригодными для использования. Для решения этой проблемы было рассмотрено и обсуждено современное состояние дел в области управления качеством данных и автоматизированного машинного обучения. На основе среднего массива данных с 5000 строк был внедрен, оценен и валидирован конвейер бинарной классификации автоматизированного машинного обучения с использованием прототипирования и k-кратной валидации. Первая обученная модель имела начальный балл MCC 0.697 в наборе данных обучения по сравнению со значением 0.949 для лучшей модели обучения на станке ансамбля. Кроме того, модель ансамбля достигла 98,8% точности по набору данных удержания. Наконец, было рассмотрено и смоделировано внедрение модели Ensemble в различные процессы качества данных.