Неавторегрессионная конволюционная модель для задачи генерации речи

В рамках данной работы предлагается TalkNet: сверточная неавторегрессионная нейронная модель, которая решает задачу синтеза речи. Модель состоит из двух прямых (feed-forward) полностью сверточных нейронных сетей. Первая сеть служит для предсказания длительности входных символов (графем), выравнивая таким образом входную последовательность на длину мэл-спектрограммы. Далее, производится операция расширения (expansion) входного текста путем повторения каждого символа в соответствии с предсказанной длительностью. Вторая сеть генерирует мэл-спектрограмму из развернутого текста. Операция разворачивания, таким образом, позволяет построить неавторегрессионную архитектуру. Эксперименты с набором данных LJSpeech показывают, что качество речи TalkNet сравнимо с авторегрессионными подходами. Модель очень компактна —— она имеет всего около 10.8 миллионов обучаемых параметров, что почти в 3 раза меньше, чем предлагают современные модели преобразования текста в речь. Неавторегрессионная архитектура также позволяет быстро обучаться и делать выводы.