Персонализированные модели распознавания психоэмоционального состояния и вовлечённости лиц по видеоPersonalized models for recognizing psycho-emotional state and engagement of individuals from video

Диссертационное исследование посвящено разработке методов, позволяющих значительно повысить точность распознавания психоэмоционального состояния и вовлечённости людей по видео за счёт создания персонализированных классификаторов. Работа предлагает эффективные алгоритмы, позволяющие производить распознавание эмоций и вовлечённости, а также создавать персонализированные классификаторы на широком спектре различных устройств - от бюджетных смартфонов до вычислительных серверов. Для извлечения лицевых признаков используются легковесные свёрточные нейронные сети. Полученные признаки служат основой для идентификации пользователя и определения его психоэмоционального состояния и вовлечённости. В случае наличия высокоточной персонализированной модели для конкретного пользователя используется именно она; при её отсутствии применяется обычная универсальная модель. Для эффективного создания персонализированных моделей, был разработан ряд алгоритмов, позволяющих эффективно собирать размеченные пользовательские данные. Собранные данные позволяют создать модель адаптированную под целевого пользователя. Предложенные методы позволяют увеличить точность распознавания психоэмоционального состояния и вовлечённости на 15–30%, что является критически важным при использовании подобных алгоритмов в прикладных системах.