Эмоциональный искусственный интеллект

Бакалавриат 2019/2020

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Психология)

Направление: 37.03.01. Психология

Кто читает: Департамент психологии

Где читается: Факультет социальных наук

Когда читается: 4-й курс, 3 модуль

Формат изучения: без онлайн-курса

Язык: русский

Кредиты: 3

Контактные часы: 26

Полная версия программы учебной дисциплины

Аннотация

Дисциплина познакомит студентов с концепцией эмоционального искусственного интеллекта (Affective computing & Social signal processing, AC & SSP), с методами автоматического распознавания, анализа и синтеза эмоций и социального поведения. Будут сформированы представления об особенностях выражения эмоций через различные модальности (лицевые экспрессии, движения тела, вербальные и невербальные характеристики речи, физиологические сигналы), Студенты овладеют практическими навыками сбора и аннотации данных для построения алгоритмов эмоционального искусственного интеллекта, освоят основные подходы к анализу аудио, видео, текста и физиологических сигналов, а также алгоритмов машинного обучения, используемых в этой области. Результаты курса: • Знания о современном уровне развития технологий в области эмоционального искусственного интеллекта (AC & SSP); • Усвоение основных понятий из психологии и компьютерных наук, которые имеют отношение к AC & SSP; • Понимание методологии автоматического распознавания, анализа и синтеза эмоций и социальных сигналов; • Умение проводить исследования в области AC & SSP; • Критическое осмысление индустриальных приложений алгоритмов из области AC & SSP, понимание их значимости, ограничений и направлений дальнейшего развития технологий. Пререквизиты: • Минимальные: пройденные курсы по общей психологии и психологии эмоций и мотивации; статистике и анализу данных; английский язык. • Оптимальные: базовые навыки программирования и обработки данных в R/Python.

Цель освоения дисциплины

Усвоение основных понятий из психологии и компьютерных наук, которые имеют отношение к AC & SSP
Понимание методологии автоматического распознавания, анализа и синтеза эмоций и социальных сигналов
Умение проводить исследования в области AC & SSP
Критическое осмысление индустриальных приложений алгоритмов из области AC & SSP, понимание их значимости, ограничений и направлений дальнейшего развития технологий

Планируемые результаты обучения

Понимание и определение основных терминов эмоционального искусственного интеллекта
понимание связи этой дисциплины с искусственным интеллектом и машинным обучением.
Понимание и определение основных феноменов (эмоции, настроения, личность)
Знание (характеристика) основных теорий эмоций
Понимание и изложение теории лицевых экспрессий
Сравнение современных подходов к автоматическому распознаванию лицевых экспрессий
Описание методов и способов записи и анализа движений и жестов человека
Объяснение взаимосвязи эмоций с невербальным поведением
Сравнение методов извлечения эмоциональной информации из письменной речи
объяснение принципов оценки тональности текстов
Характеристика основных подходов работы с аудио сигналом
Описание способов извлечения эмоциональной информации из аудио.
Характеристика методов регистрации физиологических сигналов, как контактных (ФПГ, ЭКГ, КГР и др.), так и бесконтактных (по видео
Объяснение взаимосвязи физиологических проявлений и эмоциональных состояний.
Описание подходов к мультимодальному машинному обучению
Характеристика методов мультимодального распознавания эмоций
Объяснение принципов разметки данных для обучения алгоритмов
Описание способов и применение основных инструментов разметки данных
Объяснение взаимосвязи эмоций и социального взаимодействия, описание основных теорий
Сравнение подходов к автоматическому распознаванию социального поведения
Характеристика подходов к распознаванию личностных характеристик
Объяснение взаимосвязи понятий личности и эмоций
Сравнение основных подходов и техник синтеза эмоций, личностных и социальных характеристик с демонстрацией примеров использования этих техник.
Сравнение примеров применения эмоционального искусственного интеллекта в индустрии
Объяснение этических вопросов и собственной позиции

Содержание учебной дисциплины

Введение в Affective computing (AC) и Social signal processing (SSP).
Определения основных понятий. Связь с искусственным интеллектом и машинным обучением. История развития области. Основы машинного обучение, нейросетей и глубокого обучения.
Краткий обзор теорий эмоций.
Определение основных терминов и описание феноменов: эмоции, настроения, личность. Обзор основных теорий эмоций: когнитивные науки, физиологические концепции и нейронауки.
Выражение и распознавание эмоций по лицевым экспрессиям.
Краткое введение в компьютерное зрение. Обзор подходов и алгоритмов автоматического распознавания. Краткий обзор теорий лицевых экспрессий. Описание алгоритмов и подходов к автоматическому распознаванию лицевых экспрессий. Ограничения данного подхода, критическое осмысление результатов.
Эмоции и невербальная коммуникация.
Связь эмоций и невербального поведения. Обзор методов записи и анализа движений и жестов. Методы определения эмоций по невербальному поведению. Проявление эмоций в движениях и танце.
Проявление эмоций в письменной речи и определение тональности текстов.
Основы обработки естественного языка, как области машинного обучения (natural language processing). Проявление эмоций в письменной речи. Основы анализа тональности текстов (sentiment analysis). Обзор существующих баз данных и алгоритмов.
Эмоции в устной речи, автоматическое определение эмоций по голосу.
Основные подходы работы с аудио сигналом. Проявление эмоций в устной речи, культурные особенности выражения эмоций голосом. Обзор способов извлечения эмоциональной информации из аудио.
Эмоции и физиологические сигналы.
Регистрация периферических физиологических сигналов. Обзор контактных (ФПГ, ЭКГ, КГР и др.) и бесконтактных методов (по видео). Связь физиологических параметров и эмоционального состояния. Автоматическое определение стресса и усталости.
Мультимодальное распознавания эмоций.
Введение в мультимодальное машинное обучение. Подходы и преимущества мультимодального распознавания эмоций. Обзор мультимодальных баз данных.
Данные: сбор и аннотирование.
Сбор данных для разработки алгоритмов, аннотирование (разметка) данных. Описание и демонстрация инструментов для аннотации эмоций. Обзор существующих размеченных баз данных.
Эмоции и социальное взаимодействие.
Взаимосвязь эмоций и социального взаимодействия, основные теории. Подходы к автоматическому распознаванию социального поведения.
Автоматическое распознавание характеристик личности (Personality computing).
Основные подходы к распознаванию личностных характеристик. Краткий обзор теорий. Взаимосвязь понятий личности и эмоций. Личность (и мотивация) в компьютерных играх.
Синтез эмоций, личностных характеристик и социального поведения.
Encoding-Decoding: реалистичные и коммуникативные подходы. Техники синтеза эмоций. Обзор синтеза личностных и социальных характеристик. Обзор исследований в робототехнике, индустрии виртуальных ассистентов и помощников.
Приложения, индустриальные кейсы, тренды, этические вопросы.
Обсуждение того, как социальные агенты могут влиять на жизнь людей. Обзор практических кейсов эмоционального искусственного интеллекта в индустрии. Обсуждение направлений развития и трендов. Этические вопросы.

Элементы контроля

Презентация
Каждый студент за курс должен принять участие в одной групповой презентации
Практическое задание
Практические задания проводятся на занятиях. В случае пропуска занятия студент может прислать отчет о выполнении задания дома.
Финальный проект
В начале курса студенты разбиваются на группы (3-5 чел.) и предлагают тему для финального проекта.

Промежуточная аттестация

Промежуточная аттестация (3 модуль)
0.25 * Практическое задание + 0.25 * Презентация + 0.5 * Финальный проект

Программа дисциплины