Оптимизация передачи видео с учетом информации об отрисованной сцене

В последнее время интерес к технологиям виртуальной реальности (VR) стабильно растёт, но так как для их приложений требуется гораздо большая производительность в сравнении, то шлемы виртуальной реальности достаточно громоздки и должны быть связаны с мощным ПК через проводной интерфейс. Одним из способов избежать этого является передача отрисованной сцены через беспроводной канал (например, Wi-Fi). Для удешевления VR-приложений для конечного потребителя предлагается реализовывать их с использованием Google Cardboard. Цель данной работы — описание реализации приложения Google VR с использованием отрисовки вне конечного устройства и последующей эффективной передачей её результата через беспроводную сеть с минимальным снижением воспринимаемого качества изображения. Для достижения этой цели сцена разделяется на две части: передаваемую с удалённого сервера и отрисовываемую локально. Для снижения требований к производительности клиентского устройства реализованы несколько методов оптимизации видеопотока с использованием информации о сцене. Эти методы далее протестированы с использованием метрик качества изображения, а также их соотношения с производительностью. В результате получена независимая от серверного движка отрисовки библиотека оптимизаций передачи VR-сцены. Ключевые слова: виртуальная реальность, Google Cardboard, оптимизация передачи (стриминга), интерполяция кадров, DIBR, H.264.