Агрегация зашумлённых текстовых ответов

Во многих практических областях, таких как автоматическое распознавание речи или текста в изображении, построение современных, основанных на машинном обучении систем требует большого количества данных для обучения и тестирования. Часто разработчики системы имеют в распоряжении достаточное количество примеров объектов, которые будут подаваться на вход системы, но не знают правильных ответов на эти примеры. Если объекты легко интерпретируются человеком, такие наборы данных могут быть эффективно размечены с помощью краудсорсинга, однако в сложных задачах индивидуальные ответы, собранные краудсорсингом, могут быть неточными и поэтому неприменимыми для практического использования. Для разметки таких данных требуется агрегация нескольких ответов для каждого объекта в один с лучшим качеством. В данной работе описывается новый подход к агрегации зашумленных текстовых ответов. Подход основан на системе агрегации ``recognizer output voting error reduction'' (ROVER) и позволяет достичь качества, близкого к традиционным подходам, с меньшими затратами на оплату труд в краудсорсинге на рассмотренных в работе данных. Разработанная система также дает возможность повысить или понизить качество разметки за счет соответствующего изменения доли размеченных объектов.