Неавторегрессивный вариационный автокодировщик для текстовых данных

Обычные языковые модели на рекуррентных нейронных сетях генерируют текст слово за словом и никак не берут в расчёт глобальное представление всего предложения. В то же время генеративные модели на основе вариационного автокодировщика (Variational Autoencoder или VAE) работают с латентным представлением всего предложения и как обычные языковые модели на нейронных сетях авторегрессивно строят текст. Это позволяет VAE явно моделировать такие особенности текста, как стиль, синтаксис. Неавторегрессивные модели, в свою очередь, генерируют все токены за раз, что повышает эффективность параллельной обработки предложений и скорость генерации. Однако, моделирование такого сложного совместного распределения на все слова одновременно - трудная задача даже для глубоких нейронных сетей с гибкой и сложной структурой. В данной работе были рассмотрены генеративные модели, основанные на вариационном автокодировщике для текста, как с авторегрессивными подходами, так и с неавторегрессивными подходами, которые не строят предложения слово за слово, а порождают их за одно действие. Было показано как структурно отличаются неавторегрессивные модели от авторегрессивных, предложены возможные архитектуры и произведено сравнение их качества работы на различных текстовых данных. Также были выяснены проблемы текущих генеративных моделей, основанных на вариационном автокодировщике для текста.