Модель глубокого обучения чтения по губам

Чтение по губам, также известное как визуальное распознавание речи, - это операция распознавания речи из видео путем анализа движения губ. Из-за схожести движения губ для различных слов, данная задача является достаточно трудной, однако в последние годы было достигнуто несколько привлекательных успехов, в значительной степени благодаря методам глубокого обучения и недавним крупномасштабным наборам данных для чтения по губам. Большинство существующих методов получили высокую производительность при построении сложной нейронной сети вместе с несколькими индивидуальными стратегиями обучения. Тем не менее подавляющее большинство исследований были направлены на распознавания отдельных изолированных наборов слов. В этой работе представлена гибридная модель, основанную на ResNet-18 и рекуррентной LSTM с использованием нового подхода к разбиению данных, а именно временной составляющей видеопоследовательности. Сеть была обучена на крупномасштабном наборе данных для распознавания речи на уровне предложений, Lip Reading Sentences 2 (LRS2). Ключевые слова: визуальное распознавание речи, чтение по губам, глубинное обучение