Мультимодальное распознавание эмоций

Данная работа посвящена разработке системы мультимодального распознавания эмоций, основанной на формировании единого эмбеддинг-пространства, выровненного по координатам Valence–Arousal–Dominance (VAD). Архитектура модели интегрирует информацию из нескольких модальностей, включая видео и данные поз человека, объединяя их в унифицированное пространство признаков. Ключевой особенностью разработанного решения является устойчивость к отсутствию отдельных модальностей благодаря использованию контрастивного обучения и проекции признаков в VAD-пространство. В работе представлен анализ современных подходов к мультимодальному распознаванию эмоций, изучены подходы к извлечению признаков с помощью трансформерных архитектур и графовых нейросетей, а также методы контрастивного обучения для выравнивания модальностей. Рассмотрен процесс унификации категориальных меток эмоциональных жестов в непрерывное VAD-представление с применением продвинутых языковых моделей для аннотирования данных. Разработанная архитектура обеспечивает конкурентные результаты и высокую гибкость при обработке мультимодальных данных, в том числе в условиях неполных входных данных. Работа ориентирована на специалистов в области машинного обучения и искусственного интеллекта. Работа содержит 46 страниц, включает 4 главы, 7 таблиц, 7 иллюстраций. Список литературы включает 38 источников. Ключевые слова: мультимодальное распознавание эмоций, нейронные сети, VADпространство, контрастивное обучение, трансформеры, графовые нейросети.