Стандартизированный подход к автоматизации проверки качества данных

Данные – неисчерпаемый ресурс, потенциал которого значительно превосходит потенциал полезных ископаемых. Они применяются для принятия эффективных управленческих решений, создания новых продуктов или улучшения уже существующих. Обратный эффект происходит при использовании некачественных данных: они вводят в заблуждение, организации терпят репутационные и финансовые потери. Его можно избежать, если вовремя проверить данные и выявить их низкое качество. При этом стабильную скорость и качество проверки может обеспечить только ее автоматизация. К настоящему времени не существует стандартизированного подхода к автоматизации проверки качества данных, который удовлетворял бы современным бизнес-условиям – критериям скорости, качества и универсальности. Организации, отслеживающие качество данных, применяют уникальные автоматизирующие решения на основе проприетарных технологий, которые не могут быть тиражированы. При этом их разработка и внедрение требуют больших финансовых затрат. В данной работе был предложен такой стандартизированный подход, включающий 7 показателей для проверки качества данных, методологию их расчета и рекомендации по используемым для этого инструментам автоматизации. В его основе лежит анализ уже существующих подходов на предмет их соответствия критериям скорости, качества и универсальности. Соответствие предложенного стандартизированного подхода современным бизнес-условиям было доказано экспериментом – успешным тестированием MVP (minimum viable product – минимально жизнеспособного продукта), в ограниченном функционале автоматизирующего расчет предложенных показателей.