Обучение по данным как основа моделирования позы и внешности людей и виртуальных аватаровLearning from data for human modeling and tracking

Данная работа посвящена большой многогранной задаче компьютерного зрения — автозахвату движений и внешности человека. Работа построена на внедрении новых достижений в глубоком обучении, усиливающих опору на данные и облегчающих "ручное" построение моделей, даже если данные размечены слабо (модели, дифференцируемые целиком; самообучение; метаобучение; новые большие публичные наборы данных и т.п). Результат нашей работы — ряд новых алгоритмов автозахвата человека для четырех различных сценариев. Сначала, ориентируясь на системы телеприсутствия, мы рассматриваем задачу оценки ключевых 3D-точек тела. Для случая одной камеры мы предлагаем простой подход с MLP-регрессией, опираясь на большой набор данных с 3D-позами. Для случая нескольких камер мы реализуем две модели, напрямую обучаемые на минимизацию целевой функции в 3D, что делает их гораздо более устойчивыми к заслонениям и сложным позам, чем предыдущие подходы. Далее мы отмечаем фундаментальные недостатки ключевых точек (как представления позы в целом), выявленные в исследованиях выше, и обучаем специальную нейросеть неинтерпретируемому представлению позы по неразмеченному набору видео. Наконец, мы сосредотачиваемся на автозахвате внешности человека и реализуем решение для 3D-реконструкции головы по одному или нескольким RGB-изображениям, используя нейронные неявные функции, новый вид самообучаемых моделей, позволяющий обучить нашу модель всего на сотне примеров.