Нейросетевое отображение как метод создания математических моделей

© iStock

Ученые НИУ ВШЭ в Нижнем Новгороде и Белградского института физики (Сербия) совместно изучают возможности применения методов машинного обучения и использования нейросетей в исследованиях нелинейной динамики. О международном проекте «Вышке.Главное» рассказала его руководитель от ВШЭ, ведущий научный сотрудник Лаборатории топологических методов в динамике факультета информатики, математики и компьютерных наук НИУ ВШЭ в Нижнем Новгороде Наталия Станкевич.

Марина Литвинцева, директор по перспективным научным исследованиям НИУ ВШЭ

«Проект “Машинное обучение и нелинейная динамика: пересечение, взаимодействие и синтез” стал одним из победителей второго конкурса совместных научных проектов “Международное академическое сотрудничество НИУ ВШЭ” в 2025 году. Это совместный проект Лаборатории топологических методов в динамике НИУ ВШЭ — Нижний Новгород и научно-вычислительной лаборатории Белградского института физики».

Разработанные российскими и сербскими математиками и физиками теории позволяют выявить особенности динамических систем, дают возможность построить модели, способствующие развитию регенеративных технологий для лечения сложных кардиологических заболеваний.

Наталия Станкевич

— Расскажите, как рождался и развивался проект.

— В апреле 2025 года лаборатория совместно с Белградским институтом физики, входящим в структуру Белградского университета и Национального исследовательского института, выиграла конкурс в рамках проекта НИУ ВШЭ «Международное академическое сотрудничество», представив проект «Машинное обучение и нелинейная динамика: пересечение, взаимодействие и синтез». Его реализация началась летом того же года.

— Почему вы решили объединить усилия с сербскими коллегами?

— У нас накоплен большой опыт взаимодействия с коллегами из Белграда, начинающийся с 2015 года, когда сотрудник нашей лаборатории Владимир Клиньшов познакомился с Игорем Франовичем. У них сразу возникло множество идей для сотрудничества, которые они развивали все это время и подготовили более 10 совместных статей. В лаборатории компьютерных научных вычислений Игорь с командой активно исследуют системы с шумами, влияющими на работу динамических систем, и нам крайне важна их экспертиза в этом направлении. Мы решили объединить наши усилия.

— Каковы ключевые направления ваших исследований?

— Мы концентрируемся на изучении методов машинного обучения, динамических систем различной природы и сложных явлений в них с помощью теории динамических систем, а также методами машинного обучения.

В 2020 году совместно с Павлом Купцовым мы начали развивать направление, связанное с применением методов машинного обучения для создания математических моделей в виде динамических систем. Мы назвали такие системы нейросетевыми отображениями. Одна из центральных задач проекта — это изучение свойств нейросетевых отображений.

Нейросетевое отображение — динамическая система, представляющая собой сеть искусственных нейронов достаточно простой архитектуры, обученная на данных генерируемых системой обыкновенных дифференциальных уравнений. Данный подход впервые был предложен в работе Kuptsov P. V., Kuptsova A. V., Stankevich N. V., Artificial Neural Network as a Universal Model of Nonlinear Dynamical Systems Rus. J. Nonlin. Dyn., 17, 2021, №1, 5-21. Авторами исследования была реализована простейшая архитектура нейронной сети в виде двух персептронов, и было показано, что такой подход позволяет получить нейросетевое отображение, успешно воспроизводящее динамику эталонных моделей нелинейной динамики, таких как система Лоренца, система Ресслера, система Хиндмарша-Роуза. В работе Kuptsov P.V., Stankevich N.V., Bagautdinova E.R. Discovering dynamical features of Hodgkin-Huxley-type model of physiological neuron using artificial neural network. Chaos, Solitons & Fractals 167, 2023, С. 113027. данный метод был модифицирован для модели физиологического нейрона, базирующегося на формализме Ходжкина-Хаксли. Модели нейронов представляют собой так называемые быстро-медленные системы, то есть имеют два сильно различных временных масштаба. И простейшая архитектура нейронной сети не позволяет получить в таком случае хорошую модель машинного обучения. Небольшое усложнение архитектуры позволяет решить эту проблему.

— Это больше фундаментальная наука или прикладные исследования?

— В рамках проекта мы сконцентрированы на фундаментальной науке. До того момента, когда исследовательский коллектив решает заниматься прикладными задачами, ему нужно иметь проверенные методы. Мы решили целенаправленно исследовать инструментальные свойства получаемых нами нейросетевых моделей, изучить границы применимости метода, а также посмотреть, насколько нейросетевое отображение на этапе обучения «впитывает в себя» нелинейные свойства динамических систем и способно ли воспроизводить нелинейные эффекты.

— Чего удается достичь?

— Одной из задач первого года реализации нашего проекта было исследование простейшей бистабильности в нейросетевых отображениях. Бистабильность — широко распространенное явление в различных системах, заключающееся в сосуществовании нескольких объектов в фазовом пространстве динамической системы, на которые мы можем прийти из различных начальных условий. Примеры визуализации бистабильности, которые все встречали, — это двойственные изображения, когда в зависимости от угла наклона, расстояния до изображения или других параметров мы наблюдаем различные картины.

В рамках проекта мы исследовали модели простейших радиофизических генераторов — осцилляторы типа ван дер Поля, в которых могут сосуществовать режимы устойчивых автоколебаний и устойчивого состояния равновесия. Мы выбрали три типа осцилляторов: классический, в котором нет бистабильности, но происходит бифуркация Андронова — Хопфа, в результате которой в системе состояние равновесия теряет устойчивость и рождаются периодические автоколебания; и две модификации, в которых возможна субкритическая бифуркация Андронова — Хопфа, в ней появляется область в пространстве параметров, тогда будет наблюдаться сосуществование устойчивого состояния равновесия и устойчивых автоколебаний. Для всех трех осцилляторов мы обучили нейросетевые отображения, позволившие воспроизвести наблюдаемые в моделях динамические режимы, и в том числе области бистабильности.

Одним из центральных вопросов, на который мы хотели получить ответ, был вопрос воспроизводимости бистабильных состояний нейросетевым отображением в зависимости от набора данных, которые мы предъявляем на этапе обучения нейронной сети. Если на этапе обучения показать нейронной сети все возможные в системе состояния, то, естественно, она с легкостью их все воспроизведет. Мы же сформировали несколько датасетов для обучения таким образом, что не показываем нейронной сети конечные состояния. В случае если мы показываем небольшие кусочки траекторий, но по всему фазовому пространству, нейросетевое отображение также легко справляется с задачей воспроизведения всей динамики системы. Далее мы смоделировали более сложные ситуации, где выкинули из данных для обучения область фазового пространства, в нем находится один из сосуществующих аттракторов. В такой ситуации нейросетевое отображение справилось хуже. Но если вычищать данные не так жестко, то динамика воспроизводится точнее, и модель машинного обучения находит второй аттрактор, что позволяет затем исследовать уже бифуркации ко-размерности 2, причем модель машинного обучения воспроизводит и этот вариант.

По данным результатам мы подготовили статью, принятую 1 мая в журнал Chaos, который входит в список А. Сейчас мы проводим подобное исследование для аналогичной с точки зрения математики динамической системы, но соответствующей модели типа Ходжкина — Хаксли.

— Есть ли в ваших работах результаты, имеющие прикладное значение?

— У лаборатории есть проекты с более выраженными прикладными задачами. Мы стараемся применить то, что находим в фундаментальных разработках. И всегда активно взаимодействуем с коллегами, фокусирующимися на прикладных задачах, чтобы понять, где можно приложить наши теоретические открытия.

Например, одна из задач проекта, касающаяся нейросетевых отображений, заключается в исследовании способности демонстрировать явление синхронизации нейросетевыми отображениями. Классическое явление синхронизации состоит в подстройке частот взаимодействующих автоколебательных систем. Если мы возьмем два автоколебательных осциллятора с немного отличающимися частотами и создадим некоторую связь между ними, то при вариации силы связи можно добиться установления автоколебаний в системах на общей частоте. И в рамках проекта мы планируем исследовать, способны ли на такое поведение нейросетевые отображения.

© iStock

Такая задача представляется привлекательной для получения цифровых двойников электрической активности клеток. Надо понимать, что синхронизация широко распространена в разных областях. Организм живых существ наполнен различными колебательными процессами на разных временных масштабах. Ну и классический ритм, ощущаемый всеми нами, — это ритм сокращения сердечной мышцы, представляющий собой согласованную колебательную активность клеток сердечной ткани — кардиомиоцитов. При некоторых заболеваниях сердечно-сосудистой системы кардиомиоциты гибнут и их замещает непроводящая ткань, так называемые фибробласты, что может приводить к серьезным нарушениям работы сердца. Сейчас развиваются регенеративные технологии с использованием стволовых клеток, которые могли бы заменить такие непроводящие участки. Важным вопросом для развития таких технологий является возможность выращенных клеток работать синхронно с остальными. Мы думаем, что в перспективе мы сможем получать нейросетевые отображения с экспериментальных данных и, соответственно, моделировать взаимодействие разных клеток и изучать возможность их синхронной работы.

Мы активно интересуемся различными прикладными направлениями, где могли бы применить наши методы. И одна из стратегий поиска приложений — участие в конференциях, где есть фокус на приложения. Летом небольшая группа исполнителей проекта планирует принять участие в конференции Biomedical Data Science Conference в Будапеште, где представит результаты своих работ, а также сможет узнать о передовых разработках в области биологических и медицинских исследований с использованием больших объемов данных. Надеемся, что сможем на конференции найти интересные приложения и сформулировать новые задачи.