Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Быть, а не казаться: как вырастить из ИИ профессионала
Пока ученые спорят о пользе и вреде искусственного интеллекта, молодежь активно осваивает и интегрирует нейросети в свою жизнь, приспосабливая нашу реальность к новым условиям. О том, как дообучить LLM, чтобы они смогли служить полноценными ассистентами в профессиональной среде, обсудили в Вышке на воркшопе «Большие языковые модели в науке и в жизни».
«Нам нужно учиться общаться с сервисами искусственного интеллекта»
На платформе «Открытое образование» стартовал онлайн-курс «Что такое генеративный ИИ?», который поможет слушателям узнать больше о том, как правильно общаться с нейросетями, чтобы они лучше выполняли задачи. Как работает генеративный ИИ и как с его помощью создавать любой контент, рассказала эксперт Центра непрерывного образования, старший преподаватель департамента больших данных и информационного поиска ФКН Дарья Касьяненко.
«Специалист по Data Science» ВШЭ — первая программа переподготовки с аккредитацией Альянса в сфере ИИ
Согласно итогам экспертизы, программа Высшей школы экономики охватывает современные области анализа данных и машинного обучения и помогает нетехническим специалистам приобрести базовые знания в области больших данных и искусственного интеллекта. Это уже шестая образовательная программа факультета компьютерных наук НИУ ВШЭ, получившая престижную профессионально-общественную аккредитацию.
В Вышке стартует конкурс компетенций в области ИИ и машинного обучения
Дирекция программы развития НИУ ВШЭ объявляет о проведении конкурса компетенций в интересах развития исследований в области искусственного интеллекта и машинного обучения. Заявки принимаются до 2 мая 2024 года.
Что мы знаем о мозге и его возможностях: рассказывают исследователи ВШЭ
Правда ли, что мозг — самый неизученный орган? Как нейротехнологии помогают в лечении сложных заболеваний? Может ли искусственный интеллект соревноваться с естественным? И куда пойти учиться, чтобы стать нейроученым? Эти и другие темы в новом выпуске рубрики «Разговор с экспертом» обсудили ученые из Высшей школы экономики — Ольга Драгой, Андрей Мячиков и Алексей Осадчий.
НИУ ВШЭ планирует до конца года обучить преподавателей работе с ИИ
Высшая школа экономики представила новый комплексный проект по повышению квалификации профессорско-преподавательского состава НИУ ВШЭ в области использования искусственного интеллекта. Входящий в него пакет программ направлен на обеспечение высокого уровня компетенций в области использования ИИ в образовании и исследованиях. Курсы бесплатны и предназначены для штатных преподавателей, а в дальнейшем — научных сотрудников и аспирантов московского кампуса НИУ ВШЭ.
«Нейросети показывают, какие качества действительно делают людей уникальными»
Онлайн-кампус НИУ ВШЭ запустил курс «Прикладные нейросети» на портале «Открытое образование». Теперь разобраться в том, как применять возможности искусственного интеллекта на практике, может любой желающий.
В Вышке наградят студентов, которые напишут диплом с помощью ИИ
Высшая школа экономики запустила конкурс решений, применяющих технологии искусственного интеллекта, при подготовке дипломов. Задача конкурса — оценить использование студентами инструментов на основе генеративных моделей в выпускных квалификационных работах (ВКР), защищаемых в 2024 году.
Определены победители финала НТО по профилю «Искусственный интеллект»
Названы победители и призеры Национальной технологической олимпиады (НТО) по профилю «Искусственный интеллект», который уже второй год оказывается самым популярным по количеству регистраций из 41 направления НТО. В этом сезоне участниками соревнований стали более 6300 человек из 84 регионов России, а также Казахстана, Молдовы и Узбекистана. В финал вышли 104 школьника из 28 регионов России. Среди субъектов РФ по числу финалистов лидируют Москва (26 человек), Санкт-Петербург (16 человек) и Новосибирская область (13 человек).
Производство будущего: Центр ИИ ВШЭ представил разработки в области контроля ручных операций
Исследователи Центра ИИ НИУ ВШЭ выстроили систему автоматизированного контроля ручных операций, которая находит применение в промышленном производстве. Система облегчает процессы наблюдения за объектами и действиями, а также позволяет контролировать качество их исполнения.