Программный комплекс для обрабротки больших радиоастрономических данных

Астрономия – это одна из фундаментальных наук, изучающая отдаленные объекты, начиная с общеизвестных как планеты и звезды, и заканчивая слабоизученными феноменами, такими как быстрые радиовсплески (FRB) и пульсары. В Пущинской обсерватории расположен радиотелескоп BSA, который регистрирует радиоизлучение неба и производит каждую секунду 1 Мб данных, что дает в год около 30 Тб. Обсерватория не располагает высокопроизводительными ресурсами по типу суперкомпьютеров или кластеров для обработки такого объема данных и на 2019 год было накоплено уже более 130 Тб необработанных данных. Данная работа включает в себя разработку ПО для предобработки этих данных с целью подсчета некоторых метрик на коротких отрезках данных (например, подсчитать минимум, максимум, среднее, дисперсию и другие метрики на каждом отрезке данных по 10 секунд), что даст на 1-2 порядка меньше данных с которыми можно легко работать на обычных ПК/ноутбуках. Данное ПО разрабатывалось для работы на обычных ПК/ноутбуках и для повышения производительности были использована технология OpenCL, что позволило обрабатывать данные как на CPU, так и на GPU. Результат работы программы – это файлы с подсчитанными метриками, которые будут анализироваться работниками обсерватории с целью найти в них интересные объекты, например, новые пульсары. Для визуализации выходных файлов была также разработана программа, выполняющая построения графиков по ним.