Разметка данных и контроль качества с использованием краудсорсинга

Современные алгоритмы машинного обучения требуют обучения на больших наборах данных. Краудсорсинг стал популярным подходом к сбору и маркировке больших наборов данных в более короткие сроки и с меньшими затратами по сравнению со сбором данных и аннотацией ограниченным числом экспертов. Однако из-за того, что исполнители краудсорсинга непрофессиональны и имеют разный уровень знаний, такие ярлыки гораздо шумнее, чем те, которые получают эксперты. По этой причине для сбора высококачественных данных в рамках ограниченного бюджета необходимо использовать специальные методы, такие как агрегирование, инкрементная повторная маркировка и ценообразование. В рамках этой работы была предоставлена часть уникального отраслевого опыта в области эффективной маркировки данных с использованием краудсорсинга, использование которого разработано в таких промышленных компаниях, как Яндекс, Amazon и Microsoft. Обсуждались основные концепции разметки данных с помощью популярных краудсорсинговых сайтов, а также анализ и разработка популярных компонентов для эффективного сбора данных. Будут рассмотрены основные теоретические результаты в области эффективного агрегирования, инкрементного перераспределения и динамического ценообразования, их сильные и слабые стороны, а также их применимость в реальных задачах.