Мобильное приложение для перевода жестов пальцев в текст

В настоящее время существует проблема в коммуникации глухих и слабослышащих людей с остальным миром. Эта проблема обусловлена недостаточной распространенностью языка жестов. Представленная работа описывает решение этой проблемы – мобильное приложение для перевода жестов пальцев в текст. В работе рассмотрены существующие методы распознавания жестов пальцев и на их основе разработан метод, способный работать на мобильных устройствах с ограниченной вычислительной мощностью. Распознавание жестов производится на карте глубины, захваченной мобильным устройством, в качестве классификатора используется сверточная нейронная сеть на основе MobileNetV2, обученная с использованием техники Transfer Learning. Обучение модели было проведено в облачном сервисе Paperspace с использованием языка программирования Python 3 и библиотеки Keras. Мобильное приложение для распознавания жестов пальцев было разработано для платформы iOS на языке программирования Swift 4.2. Интеграция модели произведена при помощи библиотек CoreML и Vision.