Непрерывная сегментация облака точек

Технологии беспилотных автомобилей сегодня активно развиваются и требуют продвинутых решений, которые позволяют в реальном времени анализировать ситуацию на дороге. Благодаря набору сенсоров машина получает большое количество информации о том что находится вокруг неё, может предсказывать дальнейшее движение участников дорожного движения и планировать свои действия на дороге. Один из наиболее используемых в индустрии сенсоров - лидар (LiDAR), датчик, который быстро вращаясь и подсвечивая лазером окружающие объекты, строит разреженное трёхмерное представление окружающего мира, называемое облаком точек. По взаимному расположению точек в пространстве можно определить к каким типам объектов они относятся и принимать на основе этой информации дальнейшие решения, например, построив и заполнив размеченными точками трёхмерную сетку пространства. В работе рассматривается задача сегментации точек облака - отнесение каждой точки к одному из заранее заданных классов. Современные нейросетевые методы с использованием GPU решают эту задачу за время в пределах 100 мс, подразумевая наличие полного облака, полученного за один оборот лидара. В то же время, лидар совершает оборот за время от 50 до 200 мс в зависимости от настройки. Из-за этого, в некоторых ситуациях сбор облака точек лидаром может замедлять всю цепочку обработки информации. В этой работе предлагается два подхода для решения этой проблемы, основанные на получении 2D представления облака путём проецирования получаемых точек на сферу, разбиения проекции на непересекающиеся блоки и дальнейшей последовательной обработки проекции нейросетями. В основе первого метода лежит модификация существующих решений, использующих свёрточные нейронные сети. Второй подход основан на свёрточно-реккурентной (ConvLSTM) архитектуре, позволяющей обрабатывать облако ещё более мелкими частями, рассматривая поступающие с лидара данные как последовательность с пространственной информацией. В работе показано что первый подход потенциально может быть внедрён и использован для уменьшения задержки между получением и использованием облака точек. Второй подход показал значительно худшее качество по сравнению с другими решениями, однако позволил решать более простую задачу бинарной сегментации в реальном времени на CPU, что снимает необходимость в больших вычислительных мощностях, требуемых для эффективного решения задачи. Теоретически это позволяет решать задачу на устройствах с мощностными ограничениями, например, небольших роботах-курьерах или квадрокоптерах.