Генерация анимации для перевода текста на жестовые языки

В данной выпускной квалификационной работе раскрывается тема перевода с разговорного на жестовый язык на примере русского языка. Для этого был проведен анализ существующих решений и разработок и выбраны две компоненты перевода для работы: получение текстового представления последовательности жестов и генерация анимации на его основе. Для решения первой задачи были использованы методы обработки естественного языка, такие как поиск именованных сущностей, морфологический анализ, - а также предложен алгоритм разрешения неопределенности для выбора слова из словаря русского жестового языка. Проведены эксперименты с использованием исходного текста и текста, полученного с помощью методов его упрощения (суммаризации). Получены результаты, позволяющие сократить время перевода в 1,5 раза без потери точности. С точки зрения анимации представлен вариант использование нотации HamNoSys для формального представления жестов и использования аватара для получения визуальных жестов. Приведен пример сопоставления исходного видео на русском жестовом языке и сгенерированного с помощью анимации. Данные компоненты позволяют решать задачу перевода с русского разговорного языка на жестовый, при этом не задействовать человеческих ресурсов. Что позволяет создать систему, которая сможет автоматически переводить информацию из текстов, аудио- и видео источников на русский жестовый язык, а при добавлении компонента распознавания жестов получить переводчик с разговорного языка на жестовый и обратно. Ключевые слова: NLP, русский жестовый язык (РЖЯ), генерация анимации, нотация HamNoSys, word sense disambiguation(WSD), суммаризация текстов, word mover distance (WMD).