Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
«Внедрение технологий ИИ уже приводит к революционным переменам»
Президент России Владимир Путин, выступая на конференции по искусственному интеллекту AI Journey 2023, подчеркнул, что нужно существенно расширить подготовку кадров ученых-разработчиков. Такую задачу он поставил перед университетами — лидерами первого рейтинга вузов по качеству подготовки специалистов в сфере ИИ, составленного Альянсом в сфере искусственного интеллекта. Напомним, что ВШЭ вошла в лидерскую группу А+ рейтинга. О том, как готовят в Вышке ИИ-специалистов и какие планы у университета в этой области, «Вышке.Главное» рассказал декан факультета компьютерных наук ВШЭ Иван Аржанцев.
«Сегодня сделать большую языковую модель — это гигантский труд»
С 22 по 24 ноября проходит международная онлайн-конференция в сфере технологий искусственного интеллекта AI Journey 2023. В ее работе приняли участие эксперты НИУ ВШЭ. В фокусе обсуждения — языковые модели и методы, которые применяются сегодня для обучения искусственного интеллекта.
Студенты НИУ ВШЭ стали победителями в конкурсе научных статей по ИИ AIJ Science на конференции AI Journey 2023
В Москве проходит Международная конференция по искусственному интеллекту и машинному обучению AI Journey 2023, организованная Сбером. В рамках мероприятия состоялся конкурс научных статей по теме искусственного интеллекта AIJ Science, победу в котором одержали аспирант факультета компьютерных наук Вышки Александр Рогачев и студент 4-го курса бакалавриата ФКН ВШЭ Егор Егоров. Исследование было выполнено в рамках Научно-учебной лаборатории методов анализа больших данных (LAMBDA) ВШЭ.
ВШЭ — в лидерах рейтинга вузов по качеству подготовки специалистов в области ИИ
Альянс в сфере искусственного интеллекта опубликовал рейтинг вузов России, где готовят лучших специалистов по ИИ. Лидерами стали НИУ ВШЭ, МФТИ и ИТМО. В рейтинг вошли 180 университетов из 64 регионов — в 2023 году на программы в области искусственного интеллекта этих вузов были приняты более 5 тыс. студентов.
Победителей и призеров Всероссийской олимпиады по ИИ примут в НИУ ВШЭ без вступительных испытаний
Всероссийская олимпиада по искусственному интеллекту включена в перечень олимпиад школьников Министерства науки и высшего образования на 2023/24 учебный год. В этом году на олимпиаду зарегистрировались почти 16 тысяч школьников со всей России. В финальный этап прошли 50 участников. Из них 4 школьника стали победителями, а 8 — призерами.
Красные линии: эксперты обсудили вопросы этики и права в сфере ИИ
Быстрое развитие технологий искусственного интеллекта требует опережающего этико-гуманитарного осмысления вероятных результатов прогресса и сбалансированных регуляторных мер, стимулирующих применение ИИ и ограждающих человека от возможного негативного влияния. Об этом эксперты говорили на Форуме этики в сфере искусственного интеллекта «Поколение GPT. Красные линИИ», который прошел в ТАСС. В его работе приняли участие представители Вышки.
В НИУ ВШЭ состоялась конференция по машинному обучению Fall into ML 2023
В течение трех дней более 300 участников конференции посетили тематические воркшопы, семинары, секции и постерную сессию. В ходе панельных дискуссий эксперты обсудили регулирование технологий искусственного интеллекта (ИИ) и то, какие мегапроекты могут делать университеты совместно с индустрией для развития ИИ.
ВШЭ, «Яндекс» и «Сириус» запустили бесплатный курс по ИИ для школьников
Факультет компьютерных наук НИУ ВШЭ, «Яндекс» и «Сириус.Курсы» запустили бесплатный курс по искусственному интеллекту для школьников «Глубокое обучение». Старшеклассники узнают, как работают и обучаются нейросети, и познакомятся с востребованными IT-профессиями. Записаться на осенний поток можно до 15 ноября.
От лаборатории к рынку: ключевые моменты продвижения разработок Центра ИИ НИУ ВШЭ
Центр искусственного интеллекта НИУ ВШЭ сосредотачивает свои усилия на достижении прикладных результатов, стремясь не только к разработке инновационных алгоритмов и моделей, но и к их практическому использованию для решения реальных проблем и задач. Об особенностях внедрения технологий искусственного интеллекта в различные сферы общества рассказал руководитель Центра искусственного интеллекта Алексей Масютин.
Fall into ML 2023: ФКН НИУ ВШЭ организует конференцию по машинному обучению
26–28 октября Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ при поддержке Центра ИИ НИУ ВШЭ проводит конференцию Fall into ML 2023. Мероприятие посвящено перспективным направлениям развития фундаментального искусственного интеллекта.