Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
«На рынке data science всегда было мало людей, и потребность в них с каждым годом увеличивается»
Сегодня хорошие программисты требуются везде. Но особенно сильно в них нуждается промышленный сектор. О том, что такое промышленное программирование и для чего IT-специалисты нужны на производствах, рассказал Алексей Шпильман, заведующий центром анализа данных и машинного обучения НИУ ВШЭ в Санкт-Петербурге и руководитель программ искусственного интеллекта в «Газпром нефти».
Подведены итоги первого года работы ИМШ Вышки и VK
В московском офисе VK состоялась защита студенческих проектов Инженерно-математической школы (ИМШ) — совместной образовательной программы НИУ ВШЭ и VK. Учащиеся представили технологию для генерации анимированных 3D-персонажей, фреймворк для языка PHP, открытый сервис по созданию нейросетей и еще несколько инновационных IT-решений.
Команда студентов ВШЭ и ННГУ выиграла в хакатоне по созданию IT-центра
Объединенная команда студентов из НИУ ВШЭ — Нижний Новгород и ННГУ им. Лобачевского получила Гран-при в студенческом хакатоне «Умный кампус» и сертификат на сумму 25 млн рублей на создание лаборатории — межвузовского IT-центра. Награду победителям вручил заместитель председателя правительства РФ Дмитрий Чернышенко.
Дмитрий Бондарь: «Переходим к следующему этапу цифровой трансформации»
С января 2021 года Дмитрий Бондарь занимает должность старшего директора по цифровой трансформации НИУ ВШЭ. За это время в университете были внедрены и получили развитие множество новых, современных информационных систем. Что уже было сделано и каковы планы по развитию, Дмитрий Бондарь рассказал в интервью.
Студенты Вышки разработали проект для развития сервисов ФНС России
Учащиеся МИЭМ НИУ ВШЭ создали «Систему поддержки проведения научно-технических экспертиз» для автоматизации и оптимизации бюрократических процедур в налоговой службе. Разработка позволяет осуществить проверку отчетов налогоплательщиков, ускорить их классификацию, систематизировать акты о результатах. В январе этого года разработанная система была представлена на конференции российских молодых исследователей в области электротехники и электроники 2023 ElConRus.
Студенты и выпускники Вышки вошли в число победителей IT-чемпионата VK Cup ‘22/23
5 февраля состоялся финал и церемония награждения IT-чемпионата VK Cup ’22/23. Соревнование проводилось в три этапа — два отборочных и заключительный. Отборочная часть собрала более 5000 заявок, в финал прошло 80 участников.
Студенты Инженерно-математической школы ВШЭ и VK представили первые результаты проектов
Студенты Инженерно-математической школы (ИМШ), открытой НИУ ВШЭ и VK в октябре прошлого года, организовали Демодень, на котором продемонстрировали первые результаты продуктовых и исследовательских IT-проектов. Работа над ними велась под руководством экспертов университета и кураторов от VK.
«Наш выпускник выходит с тремя языками: русским, английским и Python»
Цифровая трансформация вузов означает не только увеличение числа выпускников по IT-специальностям, но и освоение новых компетенций студентами всех направлений подготовки, в том числе естественно-научных и гуманитарных. Не менее важно освоение новых технологий преподавателями. Об этом, а также о новых онлайн-программах магистратуры говорили представители НИУ ВШЭ на конференции «Новые информационные технологии в образовании», организованной фирмой «1С».
«ИМШ Вышки и VK дает возможность получить серьезный опыт работы без отрыва от учебы в ВШЭ»
Больше двух месяцев прошло с открытия на базе МИЭМ ВШЭ Инженерно-математической школы Вышки и VK. Чтобы попасть в ИМШ, студентам НИУ ВШЭ в Москве требовалось пройти отбор. Сейчас они работают в мастерских школы над реальными бизнес-задачами от VK по самым актуальным и востребованным направлениям IT, а также проходят обучение по авторским курсам от экспертов Вышки и VK. Впечатлениями от старта обучения студенты первого потока ИМШ поделились с новостной службой «Вышка.Главное».
В МИЭМ открылась совместная с VK Инженерно-математическая школа
11 октября в корпусе МИЭМ НИУ ВШЭ в Строгино состоялось торжественное открытие Инженерно-математической школы (ИМШ) Вышки и VK. Набор студентов московского кампуса будет осуществляться в три разные мастерские, где каждый сможет работать над исследованиями и разработками новых продуктов и технологий VK.