Автоматизированная генерация чата с управляемой тональностью в прямых трансляциях

Аннотация Чат на стриминге устроен совсем не так, как обычный текст в интернете. Это среда общения в реальном времени, где всё происходит очень быстро. Сообщения короткие, темы постоянно меняются, а у каждой платформы свои привычки речи. Прошлые работы по автоматической генерации текста занимались почти только статичными материалами. Сюда относятся посты в социальных сетях, отзывы о товарах и новостные статьи. Живой чат стриминга оставался почти без внимания. Обычные диалоговые модели плохо справляются, когда нужно отвечать с очень малой задержкой. И до сих пор никто не предлагал готовую систему, которая решала бы эту задачу прямо на локальной машине. В этой работе собраны данные чата с SOOP, корейской платформы для прямых трансляций. Сбор проводился долго и непрерывно через автоматический конвейер на основе инструмента Selenium. Анализ предметной области с помощью модели гауссовских смесей выявил две важные величины. Первая, это пауза активной компоненты длиной 34 секунды. Вторая, это граница сессии длиной 507 секунд. Анализ ключевых слов подтвердил, что фрагменты, выражающие смех, составляют 88,6 процента всех особых выражений. На основе этих особенностей работа предлагает многодорожечную архитектуру. Она разделяет две функции с принципиально разными вычислительными требованиями. Дорожка 1 даёт мгновенные ответы по правилам, опираясь на реальное распределение реплик живого чата. Дорожка 3 выдаёт вероятностные ответы с управлением эмоциональной окраской. Для этого используется языковая модель EXAONE 3.5 2.4B Instruct. Она применяется только для пост-обработки окончаний предложений. Вся система работает на одной локальной машине, без обращения к облачным сервисам. На 110 входных сообщениях архитектура достигает среднего времени отклика 1,51 секунды. Это примерно в 253 раза быстрее, чем полная генерация модели EXAONE 3.5 7.8B Instruct. При этом не возникает ни одного некорректного ответа. В оценке участвовали 20 человек, и каждый метод получил по 880 оценок. По естественности нет статистически значимой разницы между предложенной системой и базовой моделью 7.8B. Дополнительный эксперимент подтверждает, что 2.4B это оптимальный размер модели для Дорожки 3. Работа вносит три главных вклада. Первое, это долговременный конвейер сбора данных чата. Второе, это многодорожечная архитектура, которая решает компромисс между скоростью отклика и качеством ответа. Третье, это протокол оценки, специально подходящий для живого чата. Ключевые слова. Чат на стриминге, многодорожечная архитектура, генерация с управлением эмоциональной окраской, обработка естественного языка с низкой задержкой, EXAONE, управление мнением, автоматическая генерация чата.