Применение диффузионных моделей к дискриминативным задачам: классификация, сегментация и другие направления

Диффузионные модели показывают выдающиеся результаты в задачах генерации изображений, опережая традиционные подходы, такие как GAN и VAE. Помимо высокого качества сгенерированных данных, внутренние представления диффузионных моделей содержат богатую семантическую и структурную информацию, которая может быть полезна в дискриминативных задачах, включая сегментацию, детекцию, а также извлечение глубины и границ объектов. В данной работе мы исследуем возможность использования диффузионных признаков на различных шагах генерации для задач предсказания глубины и границ объектов. Мы сравниваем архитектуры, основанные на сверточных слоях и механизмах внимания, а также рассматриваем влияние временной компоненты t при обучении. В качестве бейзлайна используется архитектура Readout Guidance, которая была дополнительно модифицирована и расширена в ряде экспериментов. Также проводится анализ эффективности применения признаков из CleanDIFT, не содержащих шума и временных эмбеддингов. Результаты показывают, что использование карт внимания в качестве источника признаков позволяет добиться более высоких результатов при извлечении глубины, в то время как признаки из CleanDIFT демонстрируют преимущество в задаче выделения границ объектов. Работа демонстрирует потенциал использования внутренних представлений диффузионных моделей для дискриминативных задач и открывает направления для дальнейших улучшений архитектур.