Как формируется новая профессия специалиста по безопасности систем машинного обучения

© iStock

Онлайн-кампус НИУ ВШЭ запускает новую онлайн-магистратуру «Информационная безопасность систем искусственного интеллекта», посвященную подготовке специалистов по защите систем машинного обучения. Программа ориентирована на одну из самых быстро формирующихся профессиональных ниш — безопасность моделей ИИ и инфраструктуры их эксплуатации.

Рынок машинного обучения выходит из стадии экспериментов и становится инфраструктурной основой бизнеса. Массовое внедрение искусственного интеллекта требует не только разработки моделей, но и выстроенного управления их жизненным циклом. Крупнейшие технологические компании и корпоративные игроки активно интегрируют ИИ-решения в бизнес-процессы, при этом все острее ощущается дефицит специалистов, способных обеспечить безопасность и устойчивость систем.

Федор Иванов

Как меняется рынок, какие компетенции становятся критически важными и как образовательная программа отвечает на запрос индустрии, рассказал Федор Иванов, академический руководитель онлайн-магистратуры «Информационная безопасность систем искусственного интеллекта».

— Какие реальные риски возникают, если ИИ-системы оказываются уязвимыми?

— Когда искусственный интеллект начинает использоваться в банках, медицинских учреждениях, на транспорте или в промышленности, он перестает быть вспомогательным инструментом и становится частью критической инфраструктуры.

Если такая система оказывается уязвимой, последствия выходят далеко за рамки утечки данных. В финансовом секторе атака на скоринговую модель может привести к системной выдаче кредитов мошенникам, а компрометация фрод-системы — к тому, что подозрительные транзакции останутся незамеченными. В медицине, если модель, анализирующая снимки МРТ или КТ, подверглась атаке или обучена на скомпрометированных данных, это может привести к систематически неверным диагнозам. В промышленности и логистике уязвимости в системах способны создать риски техногенных катастроф и физических разрушений инфраструктуры.

Отдельный класс рисков — стратегические. Через программный интерфейс приложения злоумышленники могут «вытянуть» модель, на разработку которой компания потратила годы и миллионы рублей, восстановить ее архитектуру и использовать бесплатно либо искать в ней уязвимости. Подобный факт уже является не просто инцидентом, а потерей интеллектуальной собственности и конкурентного преимущества.

По мере массового внедрения ИИ в критические системы вопрос безопасности становится базовым. В ответ на это формируется отдельное направление безопасной разработки и эксплуатации систем машинного обучения — защита не только инфраструктуры, но и самой логики работы моделей.

— Чем атаки на ИИ-модели принципиально отличаются от классических кибератак на ИТ-инфраструктуру?

— Классическая кибератака направлена на код, сервер, сеть или конфигурацию. Злоумышленник ищет уязвимость в программном обеспечении, чтобы получить доступ к данным или нарушить работу системы. В случае с ИИ атакуют не инфраструктуру, а логику работы системы.

Второе отличие заключается в скрытности и отложенном эффекте атаки. Взлом сервера, как правило, фиксируется в логах и системах мониторинга. Атака на ИИ может происходить задолго до ее проявления. Если в набор данных внедрена скрытая лазейка в программном обеспечении, модель способна корректно работать месяцами, пока злоумышленник не активирует триггер.

— С какими угрозами для ИИ-систем бизнес сталкивается уже сейчас?

— Кража моделей через программный интерфейс — одна из самых распространенных атак. Другая проблема заключается в манипуляции рекомендательными системами в электронной коммерции или соцсетях, когда злоумышленники «прокачивают» нежелательный контент или товары.

Отдельный класс рисков связан с генеративными моделями и виртуальными собеседниками. Атаки такого типа, как внедрение вредоносных инструкций в запрос или обход ограничений модели, позволяют пользователям обходить встроенные ограничения и заставлять публичного ассистента генерировать нежелательный или опасный контент.

Наконец, существует проблема «дрейфа данных». Это не злонамеренная атака, но она несет не меньшие риски. Модель, обученная на старых данных, начинает ошибаться в новых реалиях, и бизнес, полагаясь на нее, принимает системно неверные решения.

© iStock

— Почему традиционных специалистов по информационной безопасности недостаточно для защиты ИИ-систем?

— Проблема не в уровне квалификации, а в различии парадигм. Классический специалист по информационной безопасности не понимает, как работает механизм «внимания» в трансформерах и где в нем может скрываться уязвимость. Он не знаком с природой состязательных атак, которые лежат не в плоскости математики и статистики.

Кроме того, жизненный цикл системы машинного обучения существенно отличается от классической разработки ПО. В процессе разработки и эксплуатации систем машинного обучения есть этапы сбора и валидации данных, обучения и переобучения моделей, проведения экспериментов, внедрения модели в рабочую среду и мониторинга ее поведения. На каждом этапе возникают специфические риски.

У традиционных специалистов нет в арсенале инструментов для тестирования моделей на устойчивость к атакам или для мониторинга дрейфа, поэтому им требуется либо глубокая переквалификация, либо работа в паре с профильным инженером.

— Какие новые компетенции должен иметь специалист по безопасности ИИ?

— Он должен уметь работать на стыке нескольких дисциплин, и именно эта комбинация делает его ценным для рынка.

1. Глубокое понимание машинного обучения — архитектур нейросетей, принципов обучения моделей и потенциальных уязвимостей на уровне алгоритмов.
2. Навыки разработки и эксплуатации систем машинного обучения: умение выстраивать пайплайны, работать с Docker и Kubernetes, интегрировать проверки в процессы непрерывной интеграции и поставки обновлений и настраивать мониторинг модели в продакшене.
3. Знания прикладной безопасности систем машинного обучения: методы состязательных атак на модели, атаки с отравлением данных, внедрение вредоносных инструкций в пользовательские запросы и инструменты их выявления.

Отдельное значение имеют навыки защиты данных. Любая ИИ-система работает с чувствительной информацией, поэтому навыки в области дифференциальной приватности и управления конфиденциальными данными становятся обязательными.

— Как программа отвечает на запросы рынка?

— Классические программы по информационной безопасности учат использовать ИИ как инструмент защиты: анализировать трафик, выявлять аномалии, обнаруживать вторжения. Наша программа сосредоточена на защите самого ИИ.

Учебный план строится вокруг методологии безопасной разработки и эксплуатации систем машинного обучения как сквозного процесса. Безопасность рассматривается как часть всего жизненного цикла системы — от сбора и валидации данных до вывода модели в эксплуатацию и последующего мониторинга. Студенты изучают современные угрозы, методы атак на модели машинного обучения с использованием состязательных примеров, техники защиты данных и принципы построения отказоустойчивой инфраструктуры.

В рамках проектного трека предусмотрена разработка защищенного ИИ-сервиса. Студенты пройдут полный цикл создания продукта. При этом обучение строится вокруг инструментов, используемых в реальных ИИ-системах.

Практика проходит у индустриальных партнеров, в том числе крупных ИТ-компаний, что позволяет работать с задачами, максимально приближенными к реальным бизнес-кейсам. Игроки рынка также участвуют на уровне разработки отдельных дисциплин и проектных заданий, предоставляют материалы для разбора и площадки для стажировок.

© iStock

— Учитываются ли в учебном плане международные и российские регуляторные требования к ИИ-системам?

— При разработке программы мы опирались на действующие стандарты в области информационной безопасности и стратегические документы, определяющие развитие отрасли в России. Это позволяет синхронизировать образовательные результаты с ожиданиями рынка труда и требованиями работодателей, особенно в секторах с повышенной регуляторной нагрузкой.

Одновременно программа учитывает международный контекст. Студенты знакомятся с принципами, которые лежат в основе современных подходов к регулированию ИИ, и анализируют мировые практики построения безопасных систем. Речь идет не о формальном изучении нормативных актов, а о понимании логики регулирования: требований к прозрачности моделей, управлению рисками, защите данных и ответственности разработчиков.

— В каких отраслях сегодня ощущается дефицит специалистов по безопасности ИИ?

— В первую очередь это крупные технологические компании и электронная коммерция. Рекомендательные системы, поисковые алгоритмы, генеративные сервисы обслуживают миллионы пользователей. Не менее остро проблема стоит в финансовом секторе: банки активно используют машинное обучение для скоринга и выявления мошеннических операций, и любая уязвимость здесь конвертируется в прямые денежные потери. Поэтому спрос на специалистов, способных защищать системы, здесь стабильно высокий. Проблема недостатка квалифицированных кадров также есть в телекоммуникациях и промышленности.

Фактически спрос формируется во всех отраслях, где искусственный интеллект становится частью критического контура управления. И по мере масштабирования ИИ этот перечень будет только расширяться.

— Какие перспективы у выпускников на рынке труда?

— Выпускники смогут работать на позиции инженера по безопасности систем машинного обучения, архитектора защищенных систем машинного обучения и специалиста по безопасности данных в ИИ. По данным «Хэдхантера» и «Хабр Карьеры», за 2023–2025 годы количество вакансий в области безопасности ИИ увеличилось примерно в 5,5 раза. В Москве и Санкт-Петербурге зарплаты для младших специалистов стартуют со 120 тысяч рублей, а специалисты с опытом могут рассчитывать на 450 тысяч рублей в месяц.

По мере того как ИИ внедряется в финансы, промышленность, транспорт и госсектор, требования к его безопасности будут только усиливаться. Поэтому рыночный спрос — это не временный тренд, а неизбежное следствие цифровизации экономики.

— Нужен ли опыт в ИТ для поступления на программу?

— Абитуриенту необходима базовая подготовка в области математики, основ машинного обучения и информационной безопасности. Старт обучения будет легче для выпускников бакалавриата по таким направлениям, как информационная безопасность, ИТ, компьютерные науки, инженерия, анализ данных, естественные науки. При этом для выравнивания стартового уровня предусмотрены адаптационные курсы по математике, машинному обучению и Python. Также абитуриентам предоставляются рекомендованная литература и материалы, позволяющие системно подготовиться к началу обучения.

Программа рассчитана на технически подготовленных специалистов, которые хотят системно развиваться в сфере безопасности ИИ. По мере того как искусственный интеллект становится частью ключевых бизнес-процессов, именно такие инженеры будут обеспечивать надежность и устойчивость цифровых решений.

Прием документов на программу пройдет с 20 июня по 8 августа 2026 года. Актуальная информация о правилах поступления и вступительных испытаниях опубликована на сайте программы «Информационная безопасность систем искусственного интеллекта».