«Объект наших исследований — суперкомпьютер»
Феликс Смирнов
Окончил бакалавриат МТУСИ по специальности «Фундаментальная информатика и информационные технологии» и магистратуру НИУ ВШЭ по специальности «Прикладная математика и информатика». Стажер-исследователь и аспирант Международной лаборатории суперкомпьютерного атомистического моделирования и многомасштабного анализа МИЭМ им. А.Н. Тихонова.
Феликс Смирнов занимается суперкомпьютерными технологиями, чтобы помогать другим ученым в их работе. В интервью проекту «Молодые ученые Вышки» он рассказал о настройке коммуникаций между узлами, своем увлечении кинематографом и о старых вывесках на Хитровке.
Когда я начал заниматься наукой
На первом курсе магистратуры, когда необходимо было выбрать учебный проект. Моя магистратура была непосредственно связана с суперкомпьютерами, конкретный ее трек — «Суперкомпьютерное моделирование в науке и инженерии». На одном из профильных предметов по высокопроизводительным вычислениям я изъявил желание сделать проект — и так нашел своего нынешнего научного руководителя. Он предложил мне исследовательскую тему, посвященную эффективности межузловых коммуникаций в суперкомпьютерах.
Суперкомпьютер состоит из множества узлов, в которых находятся вычислительные устройства и ускорители. Сейчас, когда мы приближаемся к определенным пределам роста вычислительной мощности процессоров и ускорителей, все большую роль начинает играть эффективность коммуникаций между узлами. Во многих приложениях именно обмен данными становится узким местом, ограничивающим производительность всей системы.
Почему я выбрал МИЭМ ВШЭ
Бакалавриат я окончил по компьютерным наукам со специализацией в области системного программирования. И когда стал думать о дальнейшем обучении, то решил поступать в МИЭМ.
Дело в том, что в старших классах я обучался в физико-математической школе при МИЭМ. Сейчас она тоже существует, но уже как обособленный проект. Там мы решали нестандартные задачи по физике, изучали университетскую математику и занимались логическим программированием на языке Prolog. У меня остались исключительно положительные впечатления от МИЭМ, и я задумал продолжить там обучение. Выбрал направление, связанное с прикладной математикой и суперкомпьютерами. Мне захотелось разобраться, как устроены эти сложные машины, как они работают изнутри, а также какие задачи на них решаются.
Что такое суперкомпьютер
Есть обычный персональный компьютер, а есть центры обработки данных — серверные стойки, состоящие из множества узлов, в каждом из которых установлено несколько процессоров. Такие центры обрабатывают запросы к серверам, как правило, выполняя множество независимых задач.
Суперкомпьютер устроен иначе. Его ключевая особенность — высокоскоростная сеть, которая объединяет вычислительные узлы и позволяет организовать единое вычислительное поле. То есть заставить все эти компьютеры в рамках суперкомпьютера работать как один большой компьютер и справляться с гораздо более сложными вычислениями.
Суперкомпьютеры востребованы в математическом моделировании, химии, физике и других естественных науках, а также в машинном обучении. В Высшей школе экономики есть суперкомпьютер cHARISMa, который активно используется для решения научных и прикладных задач.
Мы помогаем другим ученым делать свою работу. В частности, они используют разные пакеты для математического моделирования и получают определенные результаты в рамках своих моделей. А мы пытаемся сделать так, чтобы эти пакеты работали эффективно и сам суперкомпьютер тоже работал как можно лучше. То есть объект наших исследований — сам суперкомпьютер, а не результат, который получают с его помощью в той или иной научной области.
О чем будет моя диссертация
Она будет посвящена тому, как организовать эффективное взаимодействие графических ускорителей (GPU) в суперкомпьютере. Одна из актуальных задач в машинном обучении сегодня — запуск больших языковых моделей, которые, например, генерируют ответы на запросы пользователей. Этот процесс называется инференсом.
Для работы с такими моделями часто требуется множество GPU, которые должны взаимодействовать и обмениваться данными. От того, насколько хорошо организована их совместная работа, зависит скорость обработки запросов и эффективность использования вычислительных ресурсов. В исследовании я хочу разобраться, как сделать это взаимодействие максимально эффективным.
Данная тема является продолжением того, что было намечено еще в начале магистратуры. Тогда мы сделали первые попытки разобраться, как устроена межузловая связь, а сейчас углубляемся в эту область и расширяем исследования конкретно в рамках машинного обучения.
Какими результатами я горжусь
Мне удалось поработать с несколькими высокоскоростными сетями, в том числе отечественной «Ангарой», настроить коммуникации и подобрать для них оптимальные алгоритмы передачи данных таким образом, чтобы получить более высокую производительность в прикладном тестовом сценарии.
У суперкомпьютеров есть рейтинги, которые формируются на основе тестов — бенчмарков. Самый известный в мире — Top500, который ранжирует 500 самых мощных вычислительных систем по результатам теста LINPACK. В России до 2023 года выходил аналогичный рейтинг Top50.
На суперкомпьютере запускается тест LINPACK, измеряется количество операций в секунду, после чего этот результат используется для составления рейтинга.
Мне удалось с сетевой точки зрения исследовать повсеместно используемый LINPACK, выявить коммуникации, занимающие наибольшую долю времени при выполнении его алгоритма, и оптимизировать их. В результате мы получили большее число операций в секунду на нашей машине. Если бы рейтинг Top50 продолжал обновляться, используемый нами суперкомпьютер поднялся бы в нем выше на одну позицию.
Для меня здесь важно даже не столько то, что удалось поработать с конкретной сетью, сколько сам процесс поиска и исследования. Нужно было разобраться, как правильно собрать статистику сетевых обменов по этому алгоритму, как грамотно ее обработать, понять, что именно можно оптимизировать и как, а затем проверить, действительно ли это дало результат.
Мы увидели, что результат стал лучше просто за счет программно-конфигурационной настройки коммуникаций, а не обновления и закупки нового оборудования.
Наука для меня — поиск решений, которых пока не существует, и удовлетворение собственного любопытства.
Мне бы хотелось найти задачу, в которой другие исследователи пока не добились результатов, и благодаря своим компетенциям увидеть, как ее можно решить. В рамках моей специализации это было бы связано с разработкой и обоснованием более эффективного алгоритма коммуникации. Я бы хотел создать модель, которой другие исследователи могли бы пользоваться и на которую могли бы ориентироваться в своих работах.
Если бы я не стал ученым
Я бы мог стать юристом. Мне хотелось бы лучше понять, как устроено общество, как на практике работают механизмы сдержек и противовесов в социуме, как люди могут договариваться, приходить к соглашениям и сосуществовать на основе определенных законов, формируя правовую культуру.
В каком-то смысле это тоже вопрос эффективной коммуникации.
С кем из ученых я бы хотел встретиться
С Джеком Донгаррой. Это один из самых известных экспертов в области суперкомпьютеров и высокопроизводительных вычислений, лауреат премии Тьюринга. Он создал основные бенчмарки для суперкомпьютеров, в том числе LINPACK, и во многом сформировал ту область высокопроизводительных вычислений, которую мы знаем сегодня.
В бакалавриате он обучался в Чикагском государственном университете и планировал стать учителем математики в средней школе. Но в магистратуре сменил направление деятельности, и в итоге это привело к таким выдающимся результатам. Я бы спросил его, как проходить через трудности, которые возникают по мере движения по академическому карьерному пути, что помогает ему сохранять мотивацию в трудные моменты и дает силы продолжать заниматься своим делом на протяжении всей жизни.
Как строится мой обычный день
В исследовательской работе у меня нет фиксированного расписания, когда обязательно нужно вставать и куда-то ехать. Мы ставим задачи на неделю или две вперед, определяем, какого результата хотим достичь, а затем каждый сам распределяет нагрузку и решает, когда ему удобнее заниматься той или иной задачей. Так что каждый день я сажусь за компьютер, открываю терминал и продолжаю работать над тем, на чем остановился вчера.
Есть еще преподавательская нагрузка: нужно готовить материалы и проводить семинары.
Сидячая работа без физической активности дается тяжело, поэтому важно проводить время на свежем воздухе. Рядом с моим домом есть парк, я часто там гуляю. Это определенно помогает справляться со стрессом.
Бывает ли у меня выгорание
Конечно, бывает. Если я сильно переутомляюсь, на следующий день бывает сложно снова включиться в рабочий процесс. В такие моменты мне нужно дать себе время на восстановление: полностью отключиться от дел и не думать о работе. Обычно помогают довольно простые вещи — сон, прогулки и встречи с друзьями.
Чем я увлекаюсь, кроме науки
Кинематографом. Это мое главное хобби за пределами лаборатории. Мне интересно не просто смотреть фильмы, а изучать кино как искусство: наблюдать за эволюцией киноязыка и тем, как режиссеры реагировали на технические вызовы своего времени.
Меня завораживают операторская работа, визуальное повествование и то, как оптика, монтажные склейки, работа со звуком и светом помогали авторам доносить глубокие смыслы и как под влиянием этих технологий трансформировалась мировая киноиндустрия. Отдельная любовь — смотреть на фильмы через призму культурного контекста. Любопытно анализировать, как исторические сдвиги порождали новые эстетические течения — от европейского авангарда и итальянского неореализма до американского независимого кино 1970-х годов.
Что последнее я смотрел и читал
Фильм «Странники» 1979 года Филипа Кауфмана. Это своего рода юношеская драма о закате старой Америки 1950-х годов. Действие происходит в 1963 году, в центре сюжета — подростковые группировки из Бронкса. Герои взрослеют, и вместе с ними меняется окружающий их мир. Происходит слом исторической эпохи, начинается новый период.
Из книг, пожалуй, роман «Голод» норвежского писателя Кнута Гамсуна. Его главный герой — молодой писатель, который в конце XIX века живет в столице Норвегии, пытается заработать литературным трудом и постепенно погружается в физическое и душевное истощение.
Хотя тема довольно невеселая, мне запомнилось то, как автор сумел ее раскрыть — как ему удалось выстроить внутренний монолог героя, передать его глубокие переживания, трудности с поиском пропитания, попытки найти работу и преодолеть обстоятельства. Герой много общается с незнакомцами, и эти диалоги поданы крайне увлекательно с точки зрения художественных средств.
Совет молодым ученым
Не бояться пробовать что-то новое и отпускать уже полученный опыт. Не стоит думать: раз я столько-то лет занимался определенной деятельностью, то буду и дальше заниматься только ею, потому что больше ничего не умею. Всегда можно научиться чему-то новому, перейти в другую сферу и сменить профессиональный вектор. По жизни все равно постоянно придется переучиваться, поэтому не стоит загонять себя в рамки парадигмы, в которой есть только одна профессия или одно призвание на всю жизнь.
Если бы я не занимался суперкомпьютерами и прикладной математикой, мне было бы интересно обратиться к более абстрактным задачам — например, в области теоретической информатики.
Любимое место в Москве
Хитровка. До революции этот район считался опасным. Очень фактурно Хитровку и ее быт описал Гиляровский в книге «Москва и москвичи». Мне нравится, что району удалось сохранить свою идентичность после всех потрясений XX века. Здесь уцелела историческая топология улиц и сохранились старые здания, в которых когда-то располагались трактиры и ночлежные дома для обездоленных.
Хитровка интересна ощущением старой Москвы. Это место, немного скрытое от чужих глаз, не парадное, но более искреннее и живое. Здорово, что на фасадах зданий там восстанавливают рукописные старинные торговые вывески. В этом месте чувствуется живая история.