«Объект наших исследований — суперкомпьютер»

Феликс Смирнов

Окончил бакалавриат МТУСИ по специальности «Фундаментальная информатика и информационные технологии» и магистратуру НИУ ВШЭ по специальности «Прикладная математика и информатика». Стажер-исследователь и аспирант Международной лаборатории суперкомпьютерного атомистического моделирования и многомасштабного анализа МИЭМ им. А.Н. Тихонова.

Феликс Смирнов занимается суперкомпьютерными технологиями, чтобы помогать другим ученым в их работе. В интервью проекту «Молодые ученые Вышки» он рассказал о настройке коммуникаций между узлами, своем увлечении кинематографом и о старых вывесках на Хитровке.

Когда я начал заниматься наукой

На первом курсе магистратуры, когда необходимо было выбрать учебный проект. Моя магистратура была непосредственно связана с суперкомпьютерами, конкретный ее трек — «Суперкомпьютерное моделирование в науке и инженерии». На одном из профильных предметов по высокопроизводительным вычислениям я изъявил желание сделать проект — и так нашел своего нынешнего научного руководителя. Он предложил мне исследовательскую тему, посвященную эффективности межузловых коммуникаций в суперкомпьютерах.

Суперкомпьютер состоит из множества узлов, в которых находятся вычислительные устройства и ускорители. Сейчас, когда мы приближаемся к определенным пределам роста вычислительной мощности процессоров и ускорителей, все большую роль начинает играть эффективность коммуникаций между узлами. Во многих приложениях именно обмен данными становится узким местом, ограничивающим производительность всей системы.

Почему я выбрал МИЭМ ВШЭ

Бакалавриат я окончил по компьютерным наукам со специализацией в области системного программирования. И когда стал думать о дальнейшем обучении, то решил поступать в МИЭМ.

Дело в том, что в старших классах я обучался в физико-математической школе при МИЭМ. Сейчас она тоже существует, но уже как обособленный проект. Там мы решали нестандартные задачи по физике, изучали университетскую математику и занимались логическим программированием на языке Prolog. У меня остались исключительно положительные впечатления от МИЭМ, и я задумал продолжить там обучение. Выбрал направление, связанное с прикладной математикой и суперкомпьютерами. Мне захотелось разобраться, как устроены эти сложные машины, как они работают изнутри, а также какие задачи на них решаются.

Что такое суперкомпьютер

Есть обычный персональный компьютер, а есть центры обработки данных — серверные стойки, состоящие из множества узлов, в каждом из которых установлено несколько процессоров. Такие центры обрабатывают запросы к серверам, как правило, выполняя множество независимых задач.

Суперкомпьютер устроен иначе. Его ключевая особенность — высокоскоростная сеть, которая объединяет вычислительные узлы и позволяет организовать единое вычислительное поле. То есть заставить все эти компьютеры в рамках суперкомпьютера работать как один большой компьютер и справляться с гораздо более сложными вычислениями.

Фото: Высшая школа экономики

Суперкомпьютеры востребованы в математическом моделировании, химии, физике и других естественных науках, а также в машинном обучении. В Высшей школе экономики есть суперкомпьютер cHARISMa, который активно используется для решения научных и прикладных задач.

Мы помогаем другим ученым делать свою работу. В частности, они используют разные пакеты для математического моделирования и получают определенные результаты в рамках своих моделей. А мы пытаемся сделать так, чтобы эти пакеты работали эффективно и сам суперкомпьютер тоже работал как можно лучше. То есть объект наших исследований — сам суперкомпьютер, а не результат, который получают с его помощью в той или иной научной области.

О чем будет моя диссертация

Она будет посвящена тому, как организовать эффективное взаимодействие графических ускорителей (GPU) в суперкомпьютере. Одна из актуальных задач в машинном обучении сегодня — запуск больших языковых моделей, которые, например, генерируют ответы на запросы пользователей. Этот процесс называется инференсом.

Для работы с такими моделями часто требуется множество GPU, которые должны взаимодействовать и обмениваться данными. От того, насколько хорошо организована их совместная работа, зависит скорость обработки запросов и эффективность использования вычислительных ресурсов. В исследовании я хочу разобраться, как сделать это взаимодействие максимально эффективным.

Данная тема является продолжением того, что было намечено еще в начале магистратуры. Тогда мы сделали первые попытки разобраться, как устроена межузловая связь, а сейчас углубляемся в эту область и расширяем исследования конкретно в рамках машинного обучения.

Какими результатами я горжусь

Мне удалось поработать с несколькими высокоскоростными сетями, в том числе отечественной «Ангарой», настроить коммуникации и подобрать для них оптимальные алгоритмы передачи данных таким образом, чтобы получить более высокую производительность в прикладном тестовом сценарии.

У суперкомпьютеров есть рейтинги, которые формируются на основе тестов — бенчмарков. Самый известный в мире — Top500, который ранжирует 500 самых мощных вычислительных систем по результатам теста LINPACK. В России до 2023 года выходил аналогичный рейтинг Top50.

Фото: Высшая школа экономики

На суперкомпьютере запускается тест LINPACK, измеряется количество операций в секунду, после чего этот результат используется для составления рейтинга.

Мне удалось с сетевой точки зрения исследовать повсеместно используемый LINPACK, выявить коммуникации, занимающие наибольшую долю времени при выполнении его алгоритма, и оптимизировать их. В результате мы получили большее число операций в секунду на нашей машине. Если бы рейтинг Top50 продолжал обновляться, используемый нами суперкомпьютер поднялся бы в нем выше на одну позицию.

Для меня здесь важно даже не столько то, что удалось поработать с конкретной сетью, сколько сам процесс поиска и исследования. Нужно было разобраться, как правильно собрать статистику сетевых обменов по этому алгоритму, как грамотно ее обработать, понять, что именно можно оптимизировать и как, а затем проверить, действительно ли это дало результат.

Мы увидели, что результат стал лучше просто за счет программно-конфигурационной настройки коммуникаций, а не обновления и закупки нового оборудования.

Наука для меня — поиск решений, которых пока не существует, и удовлетворение собственного любопытства.

Мне бы хотелось найти задачу, в которой другие исследователи пока не добились результатов, и благодаря своим компетенциям увидеть, как ее можно решить. В рамках моей специализации это было бы связано с разработкой и обоснованием более эффективного алгоритма коммуникации. Я бы хотел создать модель, которой другие исследователи могли бы пользоваться и на которую могли бы ориентироваться в своих работах.

Если бы я не стал ученым

Я бы мог стать юристом. Мне хотелось бы лучше понять, как устроено общество, как на практике работают механизмы сдержек и противовесов в социуме, как люди могут договариваться, приходить к соглашениям и сосуществовать на основе определенных законов, формируя правовую культуру.

В каком-то смысле это тоже вопрос эффективной коммуникации.

С кем из ученых я бы хотел встретиться

С Джеком Донгаррой. Это один из самых известных экспертов в области суперкомпьютеров и высокопроизводительных вычислений, лауреат премии Тьюринга. Он создал основные бенчмарки для суперкомпьютеров, в том числе LINPACK, и во многом сформировал ту область высокопроизводительных вычислений, которую мы знаем сегодня.

В бакалавриате он обучался в Чикагском государственном университете и планировал стать учителем математики в средней школе. Но в магистратуре сменил направление деятельности, и в итоге это привело к таким выдающимся результатам. Я бы спросил его, как проходить через трудности, которые возникают по мере движения по академическому карьерному пути, что помогает ему сохранять мотивацию в трудные моменты и дает силы продолжать заниматься своим делом на протяжении всей жизни.

Фото: Высшая школа экономики

Как строится мой обычный день

В исследовательской работе у меня нет фиксированного расписания, когда обязательно нужно вставать и куда-то ехать. Мы ставим задачи на неделю или две вперед, определяем, какого результата хотим достичь, а затем каждый сам распределяет нагрузку и решает, когда ему удобнее заниматься той или иной задачей. Так что каждый день я сажусь за компьютер, открываю терминал и продолжаю работать над тем, на чем остановился вчера.

Есть еще преподавательская нагрузка: нужно готовить материалы и проводить семинары.

Сидячая работа без физической активности дается тяжело, поэтому важно проводить время на свежем воздухе. Рядом с моим домом есть парк, я часто там гуляю. Это определенно помогает справляться со стрессом.

Бывает ли у меня выгорание

Конечно, бывает. Если я сильно переутомляюсь, на следующий день бывает сложно снова включиться в рабочий процесс. В такие моменты мне нужно дать себе время на восстановление: полностью отключиться от дел и не думать о работе. Обычно помогают довольно простые вещи — сон, прогулки и встречи с друзьями.

Чем я увлекаюсь, кроме науки

Кинематографом. Это мое главное хобби за пределами лаборатории. Мне интересно не просто смотреть фильмы, а изучать кино как искусство: наблюдать за эволюцией киноязыка и тем, как режиссеры реагировали на технические вызовы своего времени.

Меня завораживают операторская работа, визуальное повествование и то, как оптика, монтажные склейки, работа со звуком и светом помогали авторам доносить глубокие смыслы и как под влиянием этих технологий трансформировалась мировая киноиндустрия. Отдельная любовь — смотреть на фильмы через призму культурного контекста. Любопытно анализировать, как исторические сдвиги порождали новые эстетические течения — от европейского авангарда и итальянского неореализма до американского независимого кино 1970-х годов.

Фото: Высшая школа экономики

Что последнее я смотрел и читал

Фильм «Странники» 1979 года Филипа Кауфмана. Это своего рода юношеская драма о закате старой Америки 1950-х годов. Действие происходит в 1963 году, в центре сюжета — подростковые группировки из Бронкса. Герои взрослеют, и вместе с ними меняется окружающий их мир. Происходит слом исторической эпохи, начинается новый период.

Из книг, пожалуй, роман «Голод» норвежского писателя Кнута Гамсуна. Его главный герой — молодой писатель, который в конце XIX века живет в столице Норвегии, пытается заработать литературным трудом и постепенно погружается в физическое и душевное истощение.

Хотя тема довольно невеселая, мне запомнилось то, как автор сумел ее раскрыть — как ему удалось выстроить внутренний монолог героя, передать его глубокие переживания, трудности с поиском пропитания, попытки найти работу и преодолеть обстоятельства. Герой много общается с незнакомцами, и эти диалоги поданы крайне увлекательно с точки зрения художественных средств.

Совет молодым ученым

Не бояться пробовать что-то новое и отпускать уже полученный опыт. Не стоит думать: раз я столько-то лет занимался определенной деятельностью, то буду и дальше заниматься только ею, потому что больше ничего не умею. Всегда можно научиться чему-то новому, перейти в другую сферу и сменить профессиональный вектор. По жизни все равно постоянно придется переучиваться, поэтому не стоит загонять себя в рамки парадигмы, в которой есть только одна профессия или одно призвание на всю жизнь.

Если бы я не занимался суперкомпьютерами и прикладной математикой, мне было бы интересно обратиться к более абстрактным задачам — например, в области теоретической информатики.

Фото: Высшая школа экономики

Любимое место в Москве

Хитровка. До революции этот район считался опасным. Очень фактурно Хитровку и ее быт описал Гиляровский в книге «Москва и москвичи». Мне нравится, что району удалось сохранить свою идентичность после всех потрясений XX века. Здесь уцелела историческая топология улиц и сохранились старые здания, в которых когда-то располагались трактиры и ночлежные дома для обездоленных.

Хитровка интересна ощущением старой Москвы. Это место, немного скрытое от чужих глаз, не парадное, но более искреннее и живое. Здорово, что на фасадах зданий там восстанавливают рукописные старинные торговые вывески. В этом месте чувствуется живая история.