Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
Кружковое движение НТИ подвело итоги Всероссийского конкурса проектов с открытым кодом
Объявлены победители и призеры третьего Всероссийского конкурса проектов с открытым кодом для школьников и студентов, организованного Кружковым движением Национальной технологической инициативы (НТИ). Результаты по трекам «Создатели» и «Контрибьюторы» опубликованы на официальном сайте и учитываются в конкурсе цифровых портфолио «Талант НТО», победители и призеры которого смогут получить до 10 дополнительных баллов к ЕГЭ при поступлении в вузы в 2024 году.
НИУ ВШЭ и Банк России подготовят магистров по информационной безопасности
Московский институт электроники и математики им. А.Н. Тихонова НИУ ВШЭ и Банк России открывают новую магистерскую программу «Информационная безопасность в кредитно-финансовой сфере». Набор на программу уже стартовал — с 1 сентября 2024 года начнется обучение специалистов по информационной безопасности для банков и других организаций финансового сектора.
ФКН ВШЭ и Яндекс расширят сотрудничество в сфере подготовки специалистов по ИИ
В следующие 10 лет партнерство Яндекса и факультета компьютерных наук НИУ ВШЭ расширится по трем направлениям: создание новых образовательных программ, развитие исследований в области ИИ и применение генеративных нейросетей в учебном процессе. ФКН был основан Вышкой и Яндексом 10 лет назад и стал одним из лидеров в подготовке разработчиков и специалистов по ИИ и машинному обучению. За это время выпускниками факультета стали 3385 человек.
МИЭМ НИУ ВШЭ и YADRO провели День телекома
Телекоммуникации — одно из ведущих образовательных направлений в МИЭМ ВШЭ. В марте в институте состоялся уже второй День телекома, и мероприятие планируется сделать традиционным. Участие в нем приняли специалисты компании YADRO, преподаватели, возглавляющие образовательные треки МИЭМ в области телекоммуникаций, и их студенты.
ВШЭ и ИТ-кампус «Неймарк» подписали договор о сетевой программе по ИИ
Высшая школа экономики совместно с ИТ-кампусом мирового уровня «Неймарк» готовят уникальную профессиональную среду для будущих ИТ-специалистов. В Нижегородском регионе будет создана ИТ-школа, а с 1 сентября в НИУ ВШЭ — Нижний Новгород стартует первая сетевая программа высшего образования «Технологии искусственного и дополненного интеллекта».
НИУ ВШЭ — в лидерах рейтинга вузов цифровой экономики
Высшая школа экономики заняла 2-е место в новом рейтинге вузов цифровой экономики по Москве и Санкт-Петербургу за 2023 год, уступив лишь МГТУ им. Баумана. НИУ ВШЭ обошел профильные ИТ-университеты — МФТИ (3-е место) и ИТМО (5-е место), — а также МГУ (4-е место).
«Студенты Вышки толковые, жадные до развития»
В сентябре 2023 года на факультете компьютерных наук НИУ ВШЭ была открыта базовая кафедра МТС, которая работает по актуальным направлениям развития цифровых технологий. В интервью новостной службе «Вышка.Главное» заведующий кафедрой, первый вице-президент по технологиям МТС Павел Воронин рассказал, зачем и как компания сотрудничает с университетами, чему обучает студентов, какие требования предъявляет к молодым специалистам.
«Рутинную работу должен взять на себя робот»
Сможет ли Вышка создавать свои коммерческие программные продукты, чем занимается созданный недавно Центр программных разработок и цифровых сервисов и зачем проводится хакатон по технологиям роботизации бизнеса — обо всем этом рассказал старший директор по финансовым технологиям Леонид Новиков.
«Наш любимый университет продолжает уверенно идти вперед»
Ректор НИУ ВШЭ Никита Анисимов поздравил студентов, преподавателей и других сотрудников университета с наступающим Новым годом. «Я желаю вам, чтобы у каждого эти праздничные дни прошли как можно теплее и сердечнее, чтобы вы набрались сил, пообщались с близкими, и пусть наступающий 2024 год наполнится для каждого из вас позитивными событиями в жизни, учебе и карьере», — сказал он.
Высшая школа бизнеса НИУ ВШЭ провела хакатон GSB VK AI Hack
Хакатон по решению задач на основе искусственного интеллекта прошел на площадке ВШБ при поддержке Центра искусственного интеллекта НИУ ВШЭ и VK Education. В соревнованиях приняли участие студенты 18 российских университетов.