Колоризация манги с учётом стиля на основе StyleGAN

Колоризация изображений одновременно сложная и увлекательная задача. В начале века были предложены подходы, использующие человеческую помощь в выборе цветов, что требовало меньше усилий, но все же подразумевало большое количество взаимодействий. Новая волна интереса связана с появлением методов, основанных на обучении. Воодушевляющие результаты их применения к колоризации изображений были неудивительны, поскольку алгоритмы машинного обучения достигли успеха в различных областях науки и развлечений. Еще более сложной задачей является колоризация художественных рисунков. Реальные объекты не так сильно различаются по внешнему виду, но рисунки одних и тех же вещей, особенно выполненные в разных стилях, могут иметь заметно отличающийся внешний вид, сохраняя при этом естественные черты, которые могут быть распознаны человеком, но вряд ли компьютером. В этой работе мы предлагаем подход к колоризации черно-белых страниц манги, который использует генеративные возможности предварительно обученного StyleGAN. Мы собрали набор данных, состоящий из раскрашенной вручную манги, очистили её от шума, и преобразовали в монохромные изображения, чтобы создать пары для обучения с учителем. Предложенная модель была успешно обучена на этом наборе данных. Мы убедились, что StyleGAN способен выучить распределение цветных изображений манги, но его скрытое пространство слишком сложно для существующих методов проекции. Однако даже такое пространство допускает типичные манипуляции, которые могут быть использованы для построения метода генерации цветовых подсказок, упрощающих обучение и вывод в задаче колоризации.