Автоматическое извлечение фонемного инвентаря русского жестового языка

Данная работа посвящена описанию фонетического и фонемного инвентаря конфигурации рук русского жестового языка (ржя) с помощью компьютерных методов. Фонология жестовых языков берет начало из работы (Stokoe 1960), где постулируются три основных фонологических компонента любого жеста: конфигурация руки, место артикуляции и движение. Позже к этому списку было добавлено ещё два компонента: ориентация руки и немануальный компонент. На этом исследовании в той или иной степени основываются все последующие теории фонологии жестовых языков. Liddell & Johnson (1994) в своей модели Movement-Hold отделяют компонент движения от других фонологических компонентов, поскольку в большинстве жестов движение предсказывается из знания позиций без движения. Просодическая модель (Brentari 1998) является следующим шагом развития дихотомии движения в противопоставление других фонологических параметров, но в ней учитывается сегментная структура и иерархические отношение между фонологическими параметрами. На основе этих теорий серия исследований (Schuit 2014; van der Kooij 2002 и т.д.) постулирует инвентари фонетических конфигураций рук. Но что такое фонема в жестовых языках? van der Kooij (2002) предлагает правила для определения аллофонов и постулирует фонемный инвентарь нидерландского жестового языка. Настоящее же исследование нацелено на установление инвентаря фонетических конфигураций рук и предварительного списка фонемных конфигураций рук ржя. Данное исследование пользуется датасетом видео из словаря Spreadthesign. Из этих видео автоматически выделяются картинки с позициями без движения в жестах. Алгоритм, который выделяет позиции без движения, основан на коде под авторством Börstell (2018). Алгоритм, использованный у Börstell (2018) изменён для того, чтобы добиться наиболее высокой точности на датасете ржя. Потом полученные картинки с позициями без движения были размечены в соответствии с употребленными конфигурациями рук. В результате было установлено, что в ржя есть 116 фонетических конфигураций рук. С этой точки зрения ржя типологически необычен, потому что до этого считалось, что в жестовых языках не может быть больше 80 фонетических конфигураций рук (Schuit 2014). Фонемный инвентарь языка вполне соответствует по размеру фонемному инвентарю urban sign language (т.е. более крупного жестового языка). В ржя есть максимум 23 фонемных конфигурации руки. Таким образом, данная работа представляет новый способ фонологического анализа жестового языка – с помощью компьютерного зрения, и предлагает первый анализ фонетического и фонемного инвентаря конфигураций рук в ржя.