«Перспективно, хотя и звучит фантастично»: Ольга Драгой — о реконструкции речи и будущем нейротехнологий
Весной 2023 года в Высшей школе экономики стартовал пятый стратегический проект в рамках программы «Приоритет-2030» — «Устойчивый мозг: нейрокогнитивные технологии адаптации, обучения, развития и реабилитации человека в изменяющейся среде». Он объединяет ученых из всех кампусов университета. Какие технологии уже сегодня создают нейроисследователи, что их вдохновляет, как строятся междисциплинарные прикладные работы, «Вышка.Главное» узнала у одного из руководителей стратпроекта, директора Центра языка и мозга НИУ ВШЭ Ольги Драгой.
От фундаментальных исследований к помощи
Думаю, что все мы, кто в этом году стал частью большой команды стратегического проекта, подошли в исследованиях к той точке, когда интересно попробовать создать что-то прикладное, инструменты и разработки, которые могут помочь людям прямо сейчас. Наш центр уже начал их делать: летом мы запустили первое приложение Вышки в RuStore для диагностики речевых расстройств у детей (КОРАБЛиК — Клиническая оценка развития базовых лингвистических компетенций). Это результат пятилетнего фундаментального труда и потом еще нескольких лет попыток воплотить результат в удобное приложение.
В рамках стратегического проекта «Устойчивый мозг» Центр языка и мозга ведет два больших направления. Первое посвящено нейроинтерфейсам и цифровым инструментам для коррекции речевых расстройств. За 10 лет, которые центр работает в Вышке, мы многое поняли о том, как различные нарушения устроены у взрослых и детей. Теперь мы готовы предлагать инструменты для их коррекции. С технологической точки зрения это, конечно, вызов: приходится многое изучать заново, находить новых партнеров. В рамках второго направления мы работаем над созданием клинических протоколов для восстановления речи после инсульта посредством совмещения стимуляции мозга и научно обоснованных программ логопедической коррекции.
Нейроинтерфейсы на основе электроэнцефалографии (ЭЭГ)
В этом году мы начали сотрудничество с Лабораторией прикладных нейротехнологий Института Чен (Китай). Там группа профессора Гервина Шалка разработала упрощенную ЭЭГ-систему с четырьмя электродами. Для сравнения: обычно таких электродов в аналогичных системах 64 и более. Прибор размером с телефон крепится на голову и считывает электрическую активность мозга. На его основе мы разрабатываем нейрокомпьютерный интерфейс для терапии нарушений речи (афазии) на русском языке. Уже создана схема терапии, подобран и запрограммирован лингвистический материал для нее, сейчас мы совмещаем наши программные наработки с ЭЭГ-системой.
Эта разработка позволит врачам и пациентам заниматься коррекцией аномии. Аномия — самый частый симптом при любых видах афазий, при которой человек испытывает сложности с подбором слов в спонтанной речи и в номинации (назывании): может сказать вместо слова «чехол» — «коробка» или произнести не «чехол», а похожее слово «чучело».
Вместо громоздких и дорогостоящих установок, шапочек с десятками электродов, сложных алгоритмов мы предлагаем компактное и довольно простое в применении устройство.
Уже этой зимой мы проведем апробацию с участием здоровых людей, следующий год займет работа с пациентами, к концу 2024-го должен быть результат — готовый программно-аппаратный комплекс, который сможет использовать любой врач в своей практике.
«Перспективно, хотя и звучит фантастично»
При некоторых нейрогенных повреждениях человек не может произнести ни слова, но способен проговаривать слова и предложения про себя, то есть его внутренняя речь остается сохранной. Причины этого могут быть разные: нарушения проводящих путей, атрофия артикуляторного аппарата и другие.
Один из возможных способов помочь таким пациентам — электродные решетки. Во время операции их размещают на коре головного мозга, что позволяет регистрировать электрические сигналы мозга, которые затем с помощью языковых моделей переводят в звуки или в письменный текст.
Во всем мире сейчас идет работа по расширению словарей, обучающих модели машинного обучения не на отдельных словах, а на предложениях. Первыми свои результаты опубликовали ученые из Великобритании три года назад, они научились распознавать 50 отдельных слов. До чтения мыслей еще далеко, но это первый шаг. Лингвистические модели помогут расширению словаря и переходу от однословной реконструкции к предложениям. В этой области мы сотрудничаем с компьютерными лингвистами из Вышки, с командой Ольги Ляшевской, автора частотного словаря русского языка.
Звучит как фантастика, но эксперименты уже проводятся, и достигнут определенный прогресс. Пока основная проблема всех таких технологий — скорость. Нейропротезы, созданные на основе инвазивной ЭЭГ, очень медленные и сложные для рутинного использования в практике.
Я вижу огромную фундаментальную пользу в исследованиях в этой области. Мы говорим о технологии, для которой не нужно моторное усилие. Благодаря вживлению электродов в кору головного мозга с помощью специальных алгоритмов мы сможем реконструировать речь. Причем не только в звучащей форме, ее можно закодировать единицами и нулями и передать другому человеку, отправить куда угодно. Мне кажется, это перспективно, хотя и звучит фантастично. Но если получится, то мы сможем передавать внутреннюю речь без слов, создадим новый канал коммуникации.
Я не знаю, согласятся ли здоровые люди вживлять себе электроды. Необходимо, чтобы сначала этот канал коммуникации показал свою эффективность для пациентов, нуждающихся в ней. Горизонт моих ожиданий, связанный с этой технологией, — 10–20 лет.
Подготовка к фантастическим технологиям — картирование речи
А пока мы занимаемся подготовкой к этим фантастическим технологиям. Мы учимся точно и быстро опознавать электрическую активность головного мозга, связанную с различными аспектами речи.
Над этим мы работаем параллельно с командой Центра биоэлектрических интерфейсов Алексея Осадчего. Проводим исследования с пациентами, которым по медицинским показаниям вживлены в мозг решетки электродов. Пациенты выполняют различные речевые задания (называют рисунки, повторяют слова, слушают тесты), а мы картируем, где именно возникает электрический сигнал, связанный с этой языковой работой. Наша команда нейролингвистов разрабатывает речевые парадигмы (лингвистические задания), которые позволят эффективно картировать речь в разных участках мозга. Мы сопоставляем речевые карты по каждому заданию и понимаем, какой аспект речи реализуется в различных отделах мозга — лобной доле, или височной, или теменной.
Терапия как игра
Также вместе с лингвистами ВШЭ мы создали терапевтическое планшетное приложение-игру для преодоления аномии (тех самых частых проблем c подбором слов) у пациентов после инсульта. Пациент видит на планшете рисунки, задача — назвать их. В случае правильного ответа на экране стрела летит в цель; если ответ не совсем верен, стрела попадает рядом с целью; если пациент совсем ошибся — летит мимо.
Такая тренировка с обратной связью лежит в основе любой грамотной терапии. Но даже в самых продвинутых клинических учреждениях лечение длится три недели, а наше приложение можно скачать и заниматься сколько угодно. Пока это единственное в мире игровое приложение, нацеленное на преодоление речевых расстройств.
Помощь людям с инсультами через стимуляцию мозга
Часть нашей команды во главе с Ольгой Буйволовой работает над восстановлением речи с помощью неинвазивной стимуляции головного мозга — электрической (микрополяризация) либо транскраниальной магнитной стимуляции (ТМС). Особый интерес вызывают инсульты левого полушария, где преимущественно локализована речь, — именно его повреждения вызывают афазию.
При инсульте происходит дисбаланс активности между полушариями. Работа левого полушария подавляется, а правое по законам природы, наоборот, перевозбуждается. Еще лет 20 лет назад ученые выдвинули идею, что можно затормозить активность правого полушария и тем самым вернуть активность в работающие зоны левого полушария. Это очень привлекательная идея, и большинство ученых в нее верит. Но на деле помогает она 50% пациентов. Вопрос — почему? Мы выдвинули гипотезу, что успех или неудача зависит от количества сохраненного мозгового вещества в левом полушарии. При одном объеме поражения возврат этой активности может быть продуктивен и эффективен, а при другой нет.
Чтобы найти ответ на этот вопрос, мы исследуем эффективность восстановления левого полушария в зависимости от остаточного языкового субстрата. Метрикой этого остаточного языкового субстрата выступает объем дугообразного пучка, вокруг которого строится вся языковая система.
Дугообразный пучок соединяет речевые отделы во лбу с виском и с теменем. Есть горячая гипотеза, что индивидуальные речевые зоны находятся ровно там, куда приходит в кору этот пучок. То есть он не просто так туда приходит, а чтобы соединить одну речевую зону с другой и обеспечить работу всей речевой сети. А значит, структура отражает функцию.
Мы хорошо знаем анатомию пучка, поэтому, измерив с помощью трактографии его остаточный объем (в кубических миллиметрах), мы сможем обоснованно говорить, имеет ли смысл проводить этот вид терапии конкретному пациенту.
Сейчас мы проводим клиническое испытание с группами пациентов с разными объемами дугообразного пучка. В одной группе идет настоящая терапия со стимуляцией, во второй — терапия без стимуляции, в третьей пациенты получают только стимуляцию. Это позволит нам понять, что выступает главным фактором успешного восстановления речи — объем оставшегося языкового вещества в левом полушарии, наличие ТМС или наличие логопедической терапии. И как только мы это узнаем, можно будет превращать наши наработки в технологию — внедрять клинический протокол лечения афазии с четким указанием, кому она поможет, а кому нет.
Вам также может быть интересно:
В Вышке стартует конкурс компетенций в области ИИ и машинного обучения
Дирекция программы развития НИУ ВШЭ объявляет о проведении конкурса компетенций в интересах развития исследований в области искусственного интеллекта и машинного обучения. Заявки принимаются до 2 мая 2024 года.
Исследование, проведенное в рамках стратегического проекта НИУ ВШЭ, позволило запустить программу ДПО
Ученые Вышки изучают факторы, влияющие на школьную неуспешность. Эта работа легла в основу программы ДПО «Преодоление образовательной неуспешности на основе доказательного подхода». Структура программы оптимально сочетает теоретические основы раскрытия темы «Доказательный подход в образовании» с практическими способами и примерами приложения предложенных методик. В 2023 году обучение было реализовано в пилотном режиме на безвозмездной основе, его прошли 60 слушателей из 14 регионов России.
Женщины и предприниматели — самые инициативные и оптимистичные россияне
Россияне, которые проявляют инициативу в разных сферах своей жизни — как в семье и с друзьями, так и на рынке труда, — оптимистичнее в отношении как личного благополучия, так и будущего своей страны. Такой вывод делается в научно-исследовательской работе «Практики использования инструментов усовершенствования личности», выполненной в рамках стратегического проекта НИУ ВШЭ «Успех и самостоятельность человека в меняющемся мире» программы «Приоритет-2030». В рамках нее с 30 октября по 9 ноября 2023 года был проведен опрос населения России в возрасте от 18 лет.
Как стать успешным и сохранить благополучие: в Вышке рассказали о технологиях укрепления человека
Современный мир предоставляет множество возможностей для развития и самосовершенствования личности, в том числе через повышение качества образования, условий труда, применение цифровых технологий. Успешность современного человека во многом определяется умением самостоятельно использовать этот инструментарий. Однако далеко не всегда люди знают о наличии таких возможностей и не всегда мотивированы их применять.
Победителем КИвО-2023 стал проект «Ассистент учителя», в котором используется ИИ
В Институте образования НИУ ВШЭ состоялся финал Конкурса инноваций в образовании, который был придуман 10 лет назад и сегодня проводится в рамках стратегического проекта университета «Успех и самостоятельность человека в меняющемся мире». Победителем конкурса стал проект «Ассистент учителя», разработанный компанией «СберОбразование» с применением технологий искусственного интеллекта. Команда проекта примет участие в совместном исследовании с Институтом образования.
Вопреки санкциям: почему растет оборот российской ИТ-отрасли
Оборот ИТ-компаний в России вырос в 2022 году относительно 2021 года на 22%, хотя в течение года и наблюдалось некоторое замедление динамики. Объем инвестиций крупных и средних организаций в ПО (включая покупку лицензий, заказную разработку ИТ-систем), характеризующий спрос бизнеса и госсектора, также увеличился более чем на треть за 2022 год. Об этом свидетельствуют данные исследования, проведенного ИСИЭЗ НИУ ВШЭ.
Программный комплекс «АСОНИКА-К» обеспечит надежность российских электронных компонентов
В октябре 2023 года разработанный в Высшей школе экономики программный комплекс «АСОНИКА-К» заработал на одном из промышленных предприятий, выпускающих электронные компоненты.
В НИУ ВШЭ научат анализировать и прогнозировать санкционную политику в отношении России
7 ноября на факультете мировой экономики и мировой политики НИУ ВШЭ начнется обучение по программе повышения квалификации «Анализ и прогноз санкций ЕС в отношении РФ: возможности базы данных SanctionsRuBase+». Ее слушатели в течение трех недель будут изучать в онлайн-формате санкционную политику в отношении России. Что представляет собой эта база данных, в чем уникальность программы ДПО и для кого она предназначена, новостной службе «Вышка.Главное» рассказала декан ФМЭиМП Анастасия Лихачева.
Заявки на участие в КИвО-2023 принимаются до 31 октября
Меньше недели осталось до завершения приема проектов на Конкурс инноваций в образовании (КИвО), который в этом году проводится десятый раз. К участию приглашаются авторы учебных тренажеров, приложений, платформ, мероприятий и медиа, методических и технологических разработок и т.д. На днях в рамках стратегического проекта НИУ ВШЭ «Успех и самостоятельность человека в меняющемся мире» была объявлена отдельная номинация конкурса — «Самостоятельное обучение», победитель в которой получит денежный приз.
Институт образования НИУ ВШЭ провел 4К-тестирование универсальных навыков в школе «Снегири»
Институт образования НИУ ВШЭ совместно со школой «Снегири» изучил сформированность метапредметных компетенций у учеников младшей школы при помощи 4К-теста. Работа была проведена в рамках стратегического проекта «Цифровая трансформация: технологии, эффекты, эффективность» НИУ ВШЭ программы «Приоритет-2030».