Обучение сверточной нейронной сети с неявной моделью отражения для удаления отражений на естественных фотографиях

При фотографировании через стеклянные поверхности качество фотографии может ухудшаться из-за отражений на стекле. Существует множество способов борьбы с этим, использующих несколько изображений, полученных при различных условиях, однако куда больший интерес представляет задача удаления отражений по одному изображению, которая является на данный момент одной из самых сложных проблем в вычислительной фотографии. В последнее время методы глубокого обучения превзошли традиционные подходы и определили современное состояние в этой области, однакоэтиметодыиспользуютсинтетическиеданныедляобученияиимеютнедостаточнуюобобщающую способность для работы с реальными данными. Для борьбы с этим в данной работе предлагается сочетание неявной модели отражения и глубокой нейронной сети. Этот метод хорошо обобщается на реальные данные, используя только синтетические для обучения. Экспериментальные результаты показывают, что предложенный подход превосходит современные методы на открытых тестовых данных SIR2, CEILNet и DPRR. В работе рассмотрены последние методы удаления отражения с использованием нейронных сетей, способы генерации данных, а также предложена новая модель и метод для стабилизации обучения. Приведено детальное описание процедуры обучения. Проведено сравнение работы на нескольких наборах тестовых данных, в ходе которого показано, что большинство методов могут производить нежелательные артефакты, а также сделан анализ результатов.