Семантическая сегментация изображений при помощи нейросетевых структурных моделей

Современные глубинные модели для семантической сегментации изображений используют сверточные слои для попиксельных предсказаний класса, большинство из них не учитывает напрямую взаимосвязи между предсказанными классами. Структурные модели устраняют этот недостаток и помимо попиксельных предсказаний моделируют и связи классов отдельных пикселей. В данной работе рассматривается использование условных случайных полей (conditional random fields, CRF) в качестве отдельной структурной модели и структурной части нейросетевой модели. Мы исследуем существующие эффективные реализации условных случайных полей в архитектурах глубинного обучения: сверточные условные случайные поля (Convolutional CRF) и глубинные гауссовские случайные поля (Deep Gaussian CRF). В качестве базовой модели для извлечения унарных потенциалов используется UNet. В работе рассматривается совместное и отдельное обучение глубинных структурных моделей, возможные изменения их структурной части и упрощения реализации структуры. В работе показано, что использование структурных моделей позволяет улучшить качество сегментации. Рассмотренные модели сравниваются по ограничениям применения, времени работы и качеству предсказаний.