Распознавание и анализ эмоций в человеческой речи на основе аудиозаписей

Одной из задач в области искусственного интеллекта является задача распознавания эмоционального состояния. Модели машинного обучения достигли высоких результатов на смоделированных базах данных. Однако в настоящий момент работ, посвященных прикладному применению моделей, анализирующих эмоции на основе аудиозаписей, практически нет. В связи с этим была поставлена задача: Исследование методов построения признаковых пространств для аудиоданных речи при решении прикладных задач, основанных на анализе психо-эмоциональной окраски речи и апробация методов на прикладной задаче оценки благонадежности заемщиков по аудиозаписям телефонных разговоров. В работе были рассмотрены основные проблемы задачи оценки эмоций на основе аудиозаписей. Произведено исследование методов построения признаковых пространств, на основе которого были выбран набор признаков для дальнейшего использования. Далее были построены 2 модели классификации эмоций: SVM и CNN на двух разных базах данных. В результате были сделаны выводы о хорошей дискриминирующей способности полученных признаков. Далее разработанная методика была применена к данным телефонных разговоров клиентов банка. На основе признаков, вычисленных по аудиозаписям, была построена модель классификации XGBoost для оценки благонадежности заемщиков. По результатам работы можно сделать однозначный вывод о практической применимости анализа эмоционального состояния клиентов банка. Признаки, полученные на основе аудиозаписей разговоров клиентов, имеют высокую дискриминирующую способность и могут быть использованы в процессе принятия решения о выдаче кредита. Корреляция с существующими в банке источниками данных о клиенте минимальна. Это может свидетельствовать о том, что информация, полученная на основе речи, представляет неиспользуемую банком область знаний о клиенте.