Итоги почти трехлетней работы суперкомпьютера Вышки подвели на конференции пользователей
Загрузку вычислительного кластера «cHARISMa», его расширение и выполняемые на нем исследования обсудили участники встречи, прошедшей в смешанном формате. Кроме ученых Вышки, использующих суперкомпьютер в своей работе, на конференцию собрались коллеги из Института системного программирования им. В.П. Иванникова РАН, Института прикладной математики им. М.В. Келдыша РАН, Южно-Уральского государственного университета и Сколтеха.
Скоро суперкомпьютерный комплекс НИУ ВШЭ отметит три года с момента запуска. Высокопроизводительный вычислительный кластер «cHARISMa» (Computer of HSE for Artificial Intelligence and Supercomputer Modelling) появился в Вышке в начале 2019 года. За это время его модернизировали дважды: в декабре 2020-го и в сентябре 2021 года. Нынешней осенью добавили шесть вычислительных узлов, в каждом из которых установлено восемь мощнейших графических ускорителей. Сейчас пиковая производительность «cHARISMa» достигает 2 петафлопс: суперкомпьютер Вышки может за секунду выполнять 2 квадриллиона операций с плавающей запятой, причем над числами двойной точности (с 20 знаками).
«Сегодня мы подводим итоги трехлетней работы по развитию аппаратной и программной части суперкомпьютерного комплекса НИУ ВШЭ», — отметил один из организаторов конференции, руководитель семинара по высокопроизводительным вычислениям и председатель научно-технического совета суперкомпьютерного комплекса профессор МИЭМ Лев Щур.
Вице-президент НИУ ВШЭ Игорь Агамирзян обратил внимание собравшихся, что в недавно вышедшем топ-50 мощнейших суперкомпьютеров СНГ «cHARISMa» удалось сохранить шестую позицию рейтинга. Решение о запуске высокопроизводительного кластера несколько лет назад было правильным для развития исследовательской деятельности университета, сказал он.
Игорь Агамирзян, вице-президент НИУ ВШЭ
Когда несколько лет назад мы провели опрос всех подразделений ВШЭ о том, какое им нужно научное оборудование, абсолютное большинство опрошенных ответили, что в университете существует большая потребность в вычислительных ресурсах и что мы не сможем развиваться дальше, если у нас не будет доступа к такому оборудованию. Прошло четыре года, и принятое тогда решение, как мне кажется, продемонстрировало себя как абсолютно правильное. Благодаря работам [сделанным с помощью суперкомпьютера] мы попадаем в престижные рейтинги, имеем публикации в журналах Q1 и подтверждаем, что ВШЭ — один из лидеров не только в экономическом и социальном образовании, но и в научно-техническом, инженерном и компьютерном. И я считаю, что благодаря наличию в НИУ ВШЭ суперкомпьютера, ориентированного на решение задач машинного обучения, и благодаря заявке, подготовленной ФКН совместно с другими подразделениями университета, мы выиграли грант на создание центра искусственного интеллекта (Вышка и еще шесть исследовательских организаций выиграли конкурс на получение грантов до 1 млрд рублей в рамках федерального проекта «Искусственный интеллект». — Ред.).
В целом выбор цифровой платформы как перспективной междисциплинарной платформы развития сделан Высшей школой экономики давно, около 20 лет назад, рассказал Игорь Агамирзян. «Тогда руководство университета увидело в этом перспективу: кто окажется лидером в этом направлении — сможет стать лидером следующего поколения, — подчеркнул вице-президент Вышки. — В начале 2000-х годов ВШЭ не имела ни одной технической специальности, но прошло 20 лет, и за эти годы университет превратился в очень широкопрофильный вуз с компьютерными, инженерными и естественными науками. При этом весь научно-технический блок университета сконцентрирован вокруг цифры и применения цифровых технологий. Это было очень правильное стратегическое решение, принятое тогда, на рубеже веков».
Кроме вышкинцев, на встрече присутствовали приглашенные эксперты: директор Института системного программирования им. В.П. Иванникова РАН академик Арутюн Аветисян; проректор по информатизации Южно-Уральского государственного университета профессор Леонид Соколинский; заместитель директора Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных Сколтеха PhD Сергей Рыкованов; научный руководитель ИПМ им. М.В. Келдыша РАН академик Борис Четверушкин; заместитель директора по научной работе ИПМ им. М.В. Келдыша РАН член-корреспондент РАН Михаил Якобовский.
Начальник отдела суперкомпьютерного моделирования НИУ ВШЭ Павел Костенецкий рассказал о главных характеристиках «cHARISMa», его вычислительных кластерах и пользователях. Всего, по словам Павла Костенецкого, суперкомпьютерным комплексом пользуются 684 пользователя из 48 подразделений университета. На настоящий момент «cHARISMa» используют для проведения 75 научных проектов. При этом основными пользователями являются два подразделения университета: МИЭМ и ФКН. Они создают 70% загрузки вычислительного кластера.
«Наш суперкомпьютер отличается от многих суперкомпьютеров тем, что у нас на одном вычислительном узле может запускаться до 48 задач разных пользователей, — отметил спикер. — На многих суперкомпьютерах делают один узел — одна задача, а все остальные ресурсы простаивают. Наш подход более эффективный и позволяет сильно экономить бюджет на расширение. То есть “cHARISMa” работает больше чем на 100% сейчас».
При этом отдел суперкомпьютерного регулирования постоянно работает над улучшением обслуживания комплекса. «Первое, что мы разработали, — собственная система мониторинга суперкомпьютера. Она позволяет на одном экране, с помощью собственно разработанной круговой диаграммы, увидеть все, что сейчас происходит с суперкомпьютером. Вторая разработка — система аварийного отключения, которая есть не у каждого суперкомпьютерного комплекса, — перечислил Павел Костенецкий. — На портале Вышки работает Единый личный кабинет для преподавателей, студентов и сотрудников университета. Мы встроили в него модуль для регистрации. Теперь, когда новый сотрудник хочет создать проект на суперкомпьютере, он просто заполняет форму в ЕЛК: никаких бумажных служебных записок и электронных писем».
Докладчик также рассказал о других разработках отдела и отметил, что в подразделении работают всего три штатных сотрудника. Однако к работе привлекаются и студенты: три цифровых ассистента помогают в разработке подсистемы безопасности суперкомпьютера, развитии системы для поиска неэффективных и некорректно запущенных пользователями вычислительных задач, а также упрощают и переводят на английский язык инструкции для пользователей суперкомпьютера и разрабатывают адаптивную верстку сайта системы мониторинга.
Лев Щур, заведующий базовой кафедрой «Прикладные информационно-коммуникационные средства и системы» ВЦ РАН, председатель научно-технического совета СКК НИУ ВШЭ, профессор МИЭМ
Мы находимся на начальном этапе формирования новой парадигмы проведения научных исследований — это извлечение нового знания из данных большого объема. Новая парадигма дополняет эксперимент, теорию и моделирование. Вышка за последнее десятилетие вышла на лидирующие позиции в России по всем этим направлениям. На сегодня ВШЭ занимает третье место по мощности суперкомпьютера среди научно-образовательных учреждений, что позволяет проводить научные исследования по трем традиционным парадигмам на мировом конкурентном уровне. В то же время Вышка занимает абсолютное третье место в России по возможности проведения исследований в области искусственного интеллекта, как иногда трактуется четвертая парадигма в практическом смысле. Поэтому закономерно, что Вышка выиграла грант в этой области: есть и научный задел, и аппаратная платформа для выполнения новых исследований. Замечу, что научные сотрудники Вышки имеют существенные успехи в разработке новых алгоритмов и реализации открытого программного обеспечения для проведения исследований в различных областях естественных наук — это разработка новых материалов, исследование квантовых вычислений, водородная энергетика, физика высоких энергий, геномные исследования, микрофлюидика и многое другое. Высокая конкуренция в этой области требует постоянного наращивания компьютерных мощностей — это сегодня основной инструмент проведения научных исследований.
Вам также может быть интересно:
200 тысяч лет человеческой работы за одну секунду: как суперкомпьютер Вышки помогает ученым
Исследовать работу человеческого мозга, вычислить источник COVID-19, провести комплексные расчеты и проверить научную гипотезу — в решении самых сложных задач людям помогают суперкомпьютеры. Один из лучших в СНГ — cHARISMa — третий год работает «плечом к плечу» с исследователями Вышки. Как он устроен и какие проекты выполняет, рассказал Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ.
Суперкомпьютер НИУ ВШЭ удвоил свою производительность
Пиковую производительность суперкомпьютера НИУ ВШЭ «cHARISMa» удалось увеличить в два раза — до 2 петафлопс (2 квадриллиона операций над числами двойной точности с плавающей запятой в секунду). Таким образом Вышка обогнала по вычислительной производительности НИЦ «Курчатовский институт». Среди университетских суперкомпьютеров впереди остались только «Ломоносов-2» МГУ и «Политехник» СПбГПУ. Благодаря своевременному расширению суперкомпьютерный комплекс «cHARISMa» третий год сохраняет достойную 6-ю позицию в рейтинге топ-50 мощнейших суперкомпьютеров СНГ.
Суперкомпьютер Вышки достиг пиковой производительности в 1 Петафлопс
15 декабря суперкомпьютер НИУ ВШЭ вышел на пиковую мощность в 1 Петафлопс: к кластеру добавились 11 вычислительных узлов на базе центральных процессоров Intel Xeon Gold 6248R, а также три вычислительных узла с процессорами Xeon Gold 6240R и четырьмя графическими ускорителями NVIDIA Tesla V100-32GB в каждом. Петафлопс = квадриллион операций над числами двойной точности с плавающей запятой в секунду.
Суперкомпьютер Вышки будет называться HARISMa
В течение июля каждый мог отдать свой голос за имя для суперкомпьютера. Основная борьба развернулась между Corvus (ворона по-латыни; ворона – персонаж-талисман Вышки) и HARISMa (HSE Artificial Intelligence and Supercomputer Modelling). Последняя победила с минимальным перевесом. Ее предпочли всем прочим 441 человек (каждый третий из числа принявших участие).