Исследование применимости и ограничений методов глубинного обучения для систем синтеза речи на основе книг

В данной диссертации представлен новый вычислительный подход к автоматизированной генерации многокастовой аудиокниги с использованием глубокого обучения. Вводимый текст книги синтезирует речь уникальными голосами для каждого персонажа книги. Разработан каскадный подход, состоящий из двух этапов: этапа текстового анализа и этапа синтеза речи. На первом этапе определяются модели персонажей и приписываются последовательности прямой речи. Делается попытка проанализировать и классифицировать эмоциональные чувства прямых речевых сегментов. Исходя из этого, на втором этапе синтезируется реалистичный звук речи для каждого персонажа с учетом соответствующих моделей персонажей. Для этого модели синтеза нейронной речи тренируются и комбинируются с естественным конвейером обработки языка. Реализуя этот подход в демонстрационном веб-приложении, обеспечивается доказательство концепции автоматической генерации синтетических аудиокниг.