Обусловленная генерация изображения по тексту на естественном языке

Наиболее актуальной проблемой автоматизированного проектирования является генерация изображений по описаниям на естественном языке. В настоящее время технология генерации текста в изображения может иметь широкий спектр практического применения, т.к. помогает выиграть в скорости и дешевизне в таких областях, как создание картинок для статей на новостных сайтах и для генерации иллюстраций для книг. При решении задачи генерации текста в изображение используются Генеративные Состязательные Сети (GANs). В данной работе представлен обзор современных существующих моделей, которые используют GANs, и детальное исследование алгоритма AttnGAN. Мы воспроизвели все результаты для AtttnGAN на базе двух открытых наборов данных: CUB и COCO, и подтвердили Inception Score (IS) из статьи с этим алгоритмом. Использование открытых наборов данных и общепризнанной метрики качества IS позволило сравнить результаты AtttnGAN с другими моделями: MS-GAN, StackGAN, HDGAN и MS-GAN. Глобальным вектором развития задачи генерации картинок из текста является снижение затрат на ручную проверку достоверности итоговых изображений человеком и возможное уточнение текстовых описаний для получения ожидаемого результата.