Перевод между языком жестов и символьной записью

Прогресс в компьютерном зрении и обработке естественного языка находит свое применение для автоматического перевода жестового языка глухого сообщества. Данная работа фокусируется на двух аспектах перевода: сборе данных для создания системы распознавания базовых концептов дактиля для жестовых языков и перевода заданного текста с помощью перевода выбранных известных частей текста (или перевода синонимичных им фраз). При сборе данных акцент ставится на том, что натренированная на них система должна работать в реальных условиях, что требует создания автоматической системы сбора и аннотации данных. В рамках работы была достигнута цель обеспечить удаленный доступ к инструменту, его валидация в рамках совместного студенческого проекта оказала высокую точность на распознавании дактиля русского и американского жестовых языков. Основным результатом работы являются методы для перевода из текста в жесты путем деления предложения на части, которые можно перевести непосредственно или после замены некоторых слов на другие близкие им слова. Была сформулирована общая последовательность действий для автоматического перевода с естественного языка на язык жестов и разработана система для такого перевода, которая может быть связана с анимационным программным инструментом. Разработанное приложение было сравнено с наиболее известным аналогом для перевода с текста на русский жестовый язык.