Повышение эффективности классификатора этапов дезинфекции рук с помощью синтезированных видео последовательностей

Благодаря прогрессу в 3D графике стало возможным обучать модели на синтетических изображениях, что может помочь избавиться от необходимости собирать и размечать данные. Однако обучение на сгенерированных изображениях может привести к меньшему качеству модели из-за разницы между синтетическим и реальным распределением изображений. Чтобы решить эту проблему, предлагается метод, улучшающий реализм выходных данных графического симулятора, с помощью небольшого количества реальных данных. Он использует условную порождающую состязательную сеть (cGAN) с синтетическими изображениями в качестве входных данных вместо случайных векторов, с несколькими изменениями, чтобы сохранить содержание изображений, избежать артефактов и стабилизировать обучение. В работе показано, что это позволяет создавать реалистичные изображения, которые позже используются для обучения классификатора этапов дезинфекции рук, и улучшить результаты классификации по сравнению с использованием синтетических изображений.