Планирование workflow с большим объемом рабочих данных

На сегодняшний день вычисления, проходящие в больших научных экспериментах или бизнес-процессах, используют десятки и сотни машин, принимают и генерируют терабайты и петабайты данных. Для автоматизации распределённых вычислений они разделяются на множество зависимых друг от друга задач, которые затем исполняются на отдельных машинах и в совокупности называются композитным приложением (workflow). Эффективное использование вычислительных ресурсов для уменьшения времени выполнения композитных приложений требует алгоритмов планирования, которые учитывают распределённую природу приложений и эффективно распределяют индивидуальные задачи на определённые машины в зависимости не только от их производительности, но и от времени передачи данных между узлами, учитывая сетевую топологию и состояние сетевых каналов. Эта работа, используя существующую широко известную формальную модель композитного приложения, предлагает новые техники, которые были специально спроектированы для приложений, оперирующих большими объёмами данных, и применяет эти техники к существующим алгоритмам планирования. В работе производится обзор существующих алгоритмов планирования композитных приложений, рассматриваются проблемы, которые возникают, когда объёмы передаваемых данных растут, и которые не решаются в существующих алгоритмах, а затем предлагаются новые техники, которые учитывают проблемы передачи данных в композитных приложениях. Предложенные техники затем реализуются в рамках существующих алгоритмов планирования. Тестирование предложенных модификаций на нескольких реальных научных композитных приложениях и наборе синтетических конфигураций показывает высокую эффективность по сравнению с базовыми алгоритмами и готовность к своему применению в реальных системах. Ключевые слова: распределённые вычисления, алгоритмы планирования, композитное приложение, workflow, имитационное моделирование, большие данные.