• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2019/2020

Эмоциональный искусственный интеллект

Статус: Курс по выбору (Психология)
Направление: 37.03.01. Психология
Когда читается: 4-й курс, 3 модуль
Формат изучения: Full time
Язык: русский
Кредиты: 3

Программа дисциплины

Аннотация

Дисциплина познакомит студентов с концепцией эмоционального искусственного интеллекта (Affective computing & Social signal processing, AC & SSP), с методами автоматического распознавания, анализа и синтеза эмоций и социального поведения. Будут сформированы представления об особенностях выражения эмоций через различные модальности (лицевые экспрессии, движения тела, вербальные и невербальные характеристики речи, физиологические сигналы), Студенты овладеют практическими навыками сбора и аннотации данных для построения алгоритмов эмоционального искусственного интеллекта, освоят основные подходы к анализу аудио, видео, текста и физиологических сигналов, а также алгоритмов машинного обучения, используемых в этой области. Результаты курса: • Знания о современном уровне развития технологий в области эмоционального искусственного интеллекта (AC & SSP); • Усвоение основных понятий из психологии и компьютерных наук, которые имеют отношение к AC & SSP; • Понимание методологии автоматического распознавания, анализа и синтеза эмоций и социальных сигналов; • Умение проводить исследования в области AC & SSP; • Критическое осмысление индустриальных приложений алгоритмов из области AC & SSP, понимание их значимости, ограничений и направлений дальнейшего развития технологий. Пререквизиты: • Минимальные: пройденные курсы по общей психологии и психологии эмоций и мотивации; статистике и анализу данных; английский язык. • Оптимальные: базовые навыки программирования и обработки данных в R/Python.
Цель освоения дисциплины

Цель освоения дисциплины

  • Усвоение основных понятий из психологии и компьютерных наук, которые имеют отношение к AC & SSP
  • Понимание методологии автоматического распознавания, анализа и синтеза эмоций и социальных сигналов
  • Умение проводить исследования в области AC & SSP
  • Критическое осмысление индустриальных приложений алгоритмов из области AC & SSP, понимание их значимости, ограничений и направлений дальнейшего развития технологий
Результаты освоения дисциплины

Результаты освоения дисциплины

  • Понимание и определение основных терминов эмоционального искусственного интеллекта
  • понимание связи этой дисциплины с искусственным интеллектом и машинным обучением.
  • Понимание и определение основных феноменов (эмоции, настроения, личность)
  • Знание (характеристика) основных теорий эмоций
  • Понимание и изложение теории лицевых экспрессий
  • Сравнение современных подходов к автоматическому распознаванию лицевых экспрессий
  • Описание методов и способов записи и анализа движений и жестов человека
  • Объяснение взаимосвязи эмоций с невербальным поведением
  • Сравнение методов извлечения эмоциональной информации из письменной речи
  • объяснение принципов оценки тональности текстов
  • Характеристика основных подходов работы с аудио сигналом
  • Описание способов извлечения эмоциональной информации из аудио.
  • Характеристика методов регистрации физиологических сигналов, как контактных (ФПГ, ЭКГ, КГР и др.), так и бесконтактных (по видео
  • Объяснение взаимосвязи физиологических проявлений и эмоциональных состояний.
  • Описание подходов к мультимодальному машинному обучению
  • Характеристика методов мультимодального распознавания эмоций
  • Объяснение принципов разметки данных для обучения алгоритмов
  • Описание способов и применение основных инструментов разметки данных
  • Объяснение взаимосвязи эмоций и социального взаимодействия, описание основных теорий
  • Сравнение подходов к автоматическому распознаванию социального поведения
  • Характеристика подходов к распознаванию личностных характеристик
  • Объяснение взаимосвязи понятий личности и эмоций
  • Сравнение основных подходов и техник синтеза эмоций, личностных и социальных характеристик с демонстрацией примеров использования этих техник.
  • Сравнение примеров применения эмоционального искусственного интеллекта в индустрии
  • Объяснение этических вопросов и собственной позиции
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в Affective computing (AC) и Social signal processing (SSP).
    Определения основных понятий. Связь с искусственным интеллектом и машинным обучением. История развития области. Основы машинного обучение, нейросетей и глубокого обучения.
  • Краткий обзор теорий эмоций.
    Определение основных терминов и описание феноменов: эмоции, настроения, личность. Обзор основных теорий эмоций: когнитивные науки, физиологические концепции и нейронауки.
  • Выражение и распознавание эмоций по лицевым экспрессиям.
    Краткое введение в компьютерное зрение. Обзор подходов и алгоритмов автоматического распознавания. Краткий обзор теорий лицевых экспрессий. Описание алгоритмов и подходов к автоматическому распознаванию лицевых экспрессий. Ограничения данного подхода, критическое осмысление результатов.
  • Эмоции и невербальная коммуникация.
    Связь эмоций и невербального поведения. Обзор методов записи и анализа движений и жестов. Методы определения эмоций по невербальному поведению. Проявление эмоций в движениях и танце.
  • Проявление эмоций в письменной речи и определение тональности текстов.
    Основы обработки естественного языка, как области машинного обучения (natural language processing). Проявление эмоций в письменной речи. Основы анализа тональности текстов (sentiment analysis). Обзор существующих баз данных и алгоритмов.
  • Эмоции в устной речи, автоматическое определение эмоций по голосу.
    Основные подходы работы с аудио сигналом. Проявление эмоций в устной речи, культурные особенности выражения эмоций голосом. Обзор способов извлечения эмоциональной информации из аудио.
  • Эмоции и физиологические сигналы.
    Регистрация периферических физиологических сигналов. Обзор контактных (ФПГ, ЭКГ, КГР и др.) и бесконтактных методов (по видео). Связь физиологических параметров и эмоционального состояния. Автоматическое определение стресса и усталости.
  • Мультимодальное распознавания эмоций.
    Введение в мультимодальное машинное обучение. Подходы и преимущества мультимодального распознавания эмоций. Обзор мультимодальных баз данных.
  • Данные: сбор и аннотирование.
    Сбор данных для разработки алгоритмов, аннотирование (разметка) данных. Описание и демонстрация инструментов для аннотации эмоций. Обзор существующих размеченных баз данных.
  • Эмоции и социальное взаимодействие.
    Взаимосвязь эмоций и социального взаимодействия, основные теории. Подходы к автоматическому распознаванию социального поведения.
  • Автоматическое распознавание характеристик личности (Personality computing).
    Основные подходы к распознаванию личностных характеристик. Краткий обзор теорий. Взаимосвязь понятий личности и эмоций. Личность (и мотивация) в компьютерных играх.
  • Синтез эмоций, личностных характеристик и социального поведения.
    Encoding-Decoding: реалистичные и коммуникативные подходы. Техники синтеза эмоций. Обзор синтеза личностных и социальных характеристик. Обзор исследований в робототехнике, индустрии виртуальных ассистентов и помощников.
  • Приложения, индустриальные кейсы, тренды, этические вопросы.
    Обсуждение того, как социальные агенты могут влиять на жизнь людей. Обзор практических кейсов эмоционального искусственного интеллекта в индустрии. Обсуждение направлений развития и трендов. Этические вопросы.
Элементы контроля

Элементы контроля

  • неблокирующий Created with Sketch. Презентация
    Каждый студент за курс должен принять участие в одной групповой презентации
  • неблокирующий Created with Sketch. Практическое задание
    Практические задания проводятся на занятиях. В случае пропуска занятия студент может прислать отчет о выполнении задания дома.
  • неблокирующий Created with Sketch. Финальный проект
    В начале курса студенты разбиваются на группы (3-5 чел.) и предлагают тему для финального проекта.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (3 модуль)
    0.25 * Практическое задание + 0.25 * Презентация + 0.5 * Финальный проект
Список литературы

Список литературы

Рекомендуемая основная литература

  • Picard, R. W. (2008). MAS.630 Affective Computing, Spring 2008 ; Affective Computing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.623FBC6B

Рекомендуемая дополнительная литература

  • Affective brain-computer interfaces: neuroscientific approaches to affect detection. (2015). Oxford University Press. https://doi.org/10.1093/oxfordhb/9780199942237.013.024
  • Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008