Сравнительный анализ методов обучения без учителя для кластеризации коротких тестов в задаче создания вопросно-ответной системы

В настоящее время большую популярность обретают чат-боты и голосовые помощники, делающие поиск информации удобнее и доступнее. Своевременная и качественная помощь пользователям является одной из ключевых целей компании, так как от этого зависит удовлетворенность пользователя услугами и, наконец, ее имидж. Многие компании стали использовать в своей работе технологии по автоматизации обращений клиентов. Перед ними встает проблема анализа: а какие тематики можно автоматизировать, какие вопросы задают клиенты? Чтобы оценить, насколько чат-бот может автоматически обработать обращений клиентов, требуется анализ логов работы операторов контактных центров. Анализ логов можно делать вручную и автоматически. Иногда объём логов настолько большой, что ручная обработка не представляется возможной. Разработке инструмента первичного анализа обращений клиентов для дальнейшего построения вопросно-ответной системы посвящена эта выпускная квалификационная работа, цель которой состоит в анализе наилучших комбинаций подходов и разработке инструмента, проводящего разбиение всех логов на отдельные смысловые группы. Интересной особенностью задачи является природа текста - обращения пользователей часто не согласованы, написаны с ошибками, с ограниченной лексикой, большим количеством незначащих слов. Для достижения цели мною были поставлены и выполнены следующие задачи: поиск и обзор возможных методов кластеризации логов, сбор корпуса и его обработка, реализация и сравнение методов, вывод и описание их применимости, разработка утилиты для автоматической кластеризации логов. Оценка будет производиться как со стороны качества, так и со стороны удобства и прозрачности используемых методов. Цель в анализе и разработке утилиты достигнута, были выбраны алгоритмы, показавшие наилучшее качество. А также код утилиты частично выложен в открытый доступ.