Разработка транспортных средств, которые могут безопасно работать без водителя-человека, была ключевой целью многих команд в сообществе исследователей ИИ. Поскольку тестирование автономных транспортных средств только на реальных улицах было бы небезопасным и неосуществимым, их базовые алгоритмы сначала обучаются и широко тестируются в симуляциях.
Хотя платформы моделирования , используемые для обучения моделей автономного вождения, значительно улучшились в последние годы, они часто имеют различные ограничения. Существует два типа методов моделирования: методы открытого цикла, в которых выходные данные (т. е. действия или реакции моделируемых транспортных средств) не влияют на будущие входные данные, и методы замкнутого цикла, в которых выходные данные влияют на последующие входные данные, создавая адаптивный цикл.
Методы моделирования открытого цикла, как правило, проще в реализации, но они не адаптируются к изменениям или ошибкам, допущенным в тестируемых моделях при моделировании. Напротив, методы замкнутого цикла лучше отражают динамические реальные настройки и, таким образом, могут оценивать производительность систем с большей точностью, но они также более требовательны к вычислениям и не всегда отображают сложные маневры и новые траектории транспортных средств.
Исследователи из GigaAI, Пекинского университета, Li Auto Inc. и CASIA недавно разработали новый метод, который может улучшить реконструкцию сцены вождения в симуляциях. Этот метод, изложенный в статье, размещенной на сервере препринтов arXiv , по сути работает путем постепенной интеграции знаний из моделей мира автономного вождения в сцену.
«Моделирование замкнутого контура имеет решающее значение для сквозного автономного вождения», — написали Чаоцзюнь Ни, Гуаошэн Чжао и их коллеги в своей статье. «Существующие методы моделирования датчиков (например, NeRF и 3DGS) реконструируют сцены вождения на основе условий, которые точно отражают распределения данных обучения. Однако эти методы испытывают трудности с визуализацией новых траекторий, таких как смена полосы движения».
Недавние исследования, посвященные рендерингу сцен вождения для обучения и тестирования моделей, показали, что интеграция знаний из мировых моделей может улучшить рендеринг новых траекторий. Хотя некоторые подходы, интегрирующие мировые модели, достигли многообещающих результатов, они часто не смогли создать точные представления особенно сложных маневров, таких как многополосные смены.
Основной целью исследования Чаоцзюня, Ни и их коллег была разработка нового метода, который мог бы улучшить рендеринг этих маневров. Предложенные ими решения, называемые ReconDreamer и Drive Restorer, подразумевают обучение моделей мира для постепенного смягчения нежелательных эффектов при рендеринге сложных маневров вождения.
«Мы представляем ReconDreamer, который улучшает реконструкцию сцены вождения посредством пошаговой интеграции знаний о модели мира», — написали Ни, Чжао и их коллеги. «В частности, DriveRestorer предлагается для устранения артефактов посредством онлайн-восстановления. Это дополняется прогрессивной стратегией обновления данных, разработанной для обеспечения высококачественного рендеринга для более сложных маневров».
Исследователи уже провели различные тесты, чтобы оценить способность своего метода производить улучшенные рендеры сцен вождения. Их результаты оказались весьма многообещающими, поскольку было обнаружено, что ReconDreamer повышает качество рендеров, показывающих сложные маневры, а также улучшает пространственно-временную согласованность элементов в сцене.
«Насколько нам известно, ReconDreamer — первый метод эффективного рендеринга в крупных маневрах», — пишут исследователи. «Экспериментальные результаты показывают, что ReconDreamer превосходит Street Gaussians в NTA-IoU, NTL-IoU и FID с относительными улучшениями на 24,87%, 6,72% и 29,97%. Кроме того, ReconDreamer превосходит DriveDreamer4D с PVG во время рендеринга крупных маневров , что подтверждается относительным улучшением на 195,87% в метрике NTA-IoU и всесторонним исследованием пользователей».
Новый метод реконструкции сцен вождения, представленный этой группой исследователей, вскоре может быть использован для улучшения обучения и оценки вычислительных моделей для автономного вождения в симуляциях. Кроме того, он может вдохновить на разработку аналогичных методов для улучшения рендеринга сложных сцен, включая сцены, которые могут использоваться для оценки моделей для робототехники и других приложений.
