• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий

Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий

© iStock

Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.

Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.

В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц. 

Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.

Андрей Савченко

«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».

Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.

Вам также может быть интересно:

Спикеры Вышки выступили на конференции по искусственному интеллекту Artificial Intelligence Journey

Международная онлайн-конференция AI Journey («Путешествие в мир искусственного интеллекта») — крупнейшая площадка для обсуждения вопросов развития технологий ИИ и машинного обучения. В конце ноября AIJ в очередной раз провел Сбер. Участие в ней приняли исследователи факультета компьютерных наук и Центра ИИ Высшей школы экономики.

«ИИ — это инструмент, и преимущества в конкуренции будут у тех, кто его освоит»

В Высшей школе экономики проходит Международный научный форум FIT-M 2022. В его рамках 29–30 ноября в Центре культур Вышки состоялся лекториум. 7–9 декабря гостей форума ожидает три дня практической работы в среде ученых, лидеров IT-индустрии, бизнесменов и промышленных экспертов.

Fall into ML: результаты исследований в области ИИ обсудили в формате школы-конференции ФКН ВШЭ

Международная лаборатория стохастических алгоритмов и анализа многомерных данных факультета компьютерных наук ВШЭ и Научно-учебная лаборатория методов анализа больших данных ФКН ВШЭ при поддержке Центра ИИ НИУ ВШЭ и Российского научного фонда организовали в начале ноября Первую осеннюю школу-конференцию по искусственному интеллекту Fall into ML. Новый формат научного мероприятия начался со школы для студентов и молодых исследователей.

Искусственный интеллект ускорит поиск новых лекарственных препаратов до одного-двух месяцев

Комбинирование методов драг-дизайна и анализа больших данных может заметно ускорить процесс создания новых лекарств. Рекомендации по развитию одного из наиболее перспективных направлений в современной фармакологии разработали исследователи НИУ ВШЭ, Сеченовского университета и Ассоциации фармацевтических производителей ЕАЭС в ходе стратегической сессии «Перспективы технологического развития в области драг-дизайна», прошедшей 8 октября в Парке науки и искусства «Сириус».

Искусственный интеллект распознает изображения хуже человека

У компьютерного зрения нет тех физиологических особенностей, которые есть у человека, поэтому оно хуже распознает изображения. К такому выводу пришли ученые из ВШЭ и Московского политехнического университета. Результаты исследования опубликованы в сборнике Proceedings of Seventh International Congress on Information and Communication Technology.

Ученые усомнились в том, что искусственный интеллект DeepMind понимает физику молекул с нецелым зарядом

В журнале Science, одном из самых авторитетных научных изданий, команда исследователей из Высшей школы экономики, Сколтеха, Института органической химии им. Н.Д. Зелинского и Kyungpook National University (Южная Корея) опубликовала комментарий к статье DeepMind, говорится на сайте Сколтеха. В нем ученые показали, что приведенные аргументы в пользу достижения поставленной DeepMind цели не настолько надежны, как кажется, и требуют дополнительного исследования.

Искусственный интеллект обнаружил новые космические аномалии

Международная команда проекта SNAD, куда входит доцент факультета физики НИУ ВШЭ Матвей Корнилов, обнаружила 11 аномалий, 7 из которых — кандидаты в сверхновые. Исследования проводились на цифровых снимках северного неба за 2018 год, для поиска использовался метод ближайших соседей на основе K-мерных деревьев. Автоматизировать поиск аномалий позволили методы машинного обучения. Исследование опубликовано в журнале New Astronomy.

От искусственного интеллекта до культуры отмены: эксперты ВШЭ обсудили правовые вопросы на ПМЮФ

Эксперты Высшей школы экономики приняли участие в дискуссиях состоявшегося на днях X Петербургского международного юридического форума (ПМЮФ). Представители НИУ ВШЭ обсудили вопросы юридического образования, правового регулирования в сфере искусственного интеллекта, а также рассказали о феномене культуры отмены.

НИУ ВШЭ и АГУ договорились о сотрудничестве в сфере ИИ

Ректор Высшей школы экономики Никита Анисимов подписал соглашение о сотрудничестве в научно-исследовательской и образовательной сфере с ректором Адыгейского государственного университета (АГУ) Даудом Мамием. Стороны договорились участвовать в проектах Центра искусственного интеллекта НИУ ВШЭ, направленных на разработку новых технологий в этой сфере.

От беспилотников до диагностики дислексии у детей: чем занимается Центр ИИ Вышки

Центр искусственного интеллекта НИУ ВШЭ вместе с индустриальными партнерами ведет работу над 25 прикладными проектами в сфере телекоммуникаций, финансов, образования, медицины и др. Результаты работы исследователей и разработчиков на днях были представлены на заседании рабочей группы при правительстве РФ, где были подведены первые итоги реализации федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика».