Система для распределенной обработки данных с помощью корутин

Распределённая обработка данных находит широкое применение в раз-личных сферах: бизнес-аналитике, машинном обучении, научных вычисле-ниях и др. Современные решения по распределённой обработке данных, та-кие как Hadoop MapReduce, основываются на синхронной модели вычислений внутри рабочих узлов, обрабатывающих данные. В такой модели вычисления проходят поэтапно: пока целиком не завершается один этап обработки,не может начаться другой. К сожалению, данная модель не поддерживает выполнение неблокирующих операций в преобразованиях набора данных. Кпримеру, отправка HTTP-запроса для каждого URL из набора данных будетзатрачивать время на блокирующее ожидание. В данной работе мы используем корутины языка Kotlin - модель структурированной многозадачности для распределённого асинхронного выполнения неблокирующих операций, предоставляя пользователю удобный способ использовать неблокирующие операции в рамках парадигмы MapReduce.