По мере того, как беспилотные автомобили начинают эксплуатироваться в городах, остается вопрос о том, как заставить их работать в сельской местности с ограниченной телекоммуникационной инфраструктурой. Новое исследование Вашингтонского государственного университета предлагает потенциальное решение, демонстрируя, что небольшой, доступный по цене компьютер, работающий с моделью сжатого большого языка, может быть эффективным инструментом принятия решений для автономных транспортных средств.

Работа, выполненная на основе симулятора с открытым исходным кодом, также предлагает возможный подход к эффективному обеспечению работы других типов приложений, таких как сельскохозяйственная робототехника.

«В условиях автономного вождения нам необходимо принимать решения немедленно», — сказал Синхуэй Чжао, доцент кафедры компьютерных наук, директор Школы инженерии и компьютерных наук в Университете штата Вашингтон в Ванкувере и ведущий автор новой публикации.

«Если у вас есть сверхмощное облачное хранилище, вы можете легко обучать и улучшать модели распознавания для поддержки принятия решений в автомобилях, но это актуально в городских районах, где есть действительно хорошее соединение. Если же речь идёт о сельской местности, то там связь слабая или, возможно, прерывается. В этом случае вам действительно необходима возможность обрабатывать данные в режиме реального времени».

Данная работа является частью продолжающегося исследования Чжао и ее коллег, направленного на решение проблем, с которыми сталкиваются беспилотные автомобили в сельской местности. Она была представлена ​​на конференции Proceedings of the Tenth ACM/IEEE Symposium on Edge Computing.

Автомобили с автопилотом пока находятся на ранних стадиях развития; они начали появляться в нескольких крупных городах, и разрабатывается множество различных систем. Большой интерес вызывает разработка таких автомобилей в качестве «периферийных» устройств, способных собирать, обрабатывать и анализировать данные в автономной системе, а не полагаться на удаленные центры обработки данных. Такие децентрализованные вычисления могут повысить эффективность, снизить затраты и энергопотребление, а также защитить конфиденциальность.

«Появляется все больше устройств, с которых мы можем собирать данные — различные датчики, небольшой микрофон, даже маленькая камера, — сказал Чжао. — И все эти устройства собирают данные. Если мы полагаемся на центр обработки данных, это означает, что каждое устройство должно отправлять данные в центр для обработки. Все чаще предпочтение отдается приложениям, которые обрабатывают данные на самом устройстве, где они собираются».

Автономные транспортные средства используют три основных уровня вычислений: восприятие, или сбор и интерпретация данных с датчиков, таких как камеры, радары и другие источники; рассуждение, или анализ данных с датчиков в реальном времени для выбора действий при вождении; и действие, или выполнение принятых решений.

В новом проекте исследователи сосредоточились на рассуждениях. Некоторые системы автономного вождения используют форму искусственного интеллекта, известную как глубокое обучение с подкреплением , которое должно обучаться на огромных массивах данных и которое улучшается со временем методом проб и ошибок. Глубокое обучение с подкреплением — дорогостоящий процесс, и он может быть ненадежным при столкновении с непредвиденными сценариями.

С другой стороны, модели, использующие обширные языковые базы данных, превосходно справляются с рассуждениями более высокого уровня и могут использовать контекст для принятия решений в новых обстоятельствах. Но они также предъявляют высокие вычислительные требования и полагаются на облачные вычисления.

«Модель LLM довольно большая», — сказал Ишпарш Упрети, аспирант-исследователь и первый автор статьи. «Если вы собираетесь запустить ее на автомобиле, потребуется много вычислительной работы. Мы подумали: а что если оптимизировать модель и сделать ее меньше?»

Команда из Университета штата Вашингтон поставила перед собой задачу протестировать производительность автономной модели LLM — модели, в которой объем данных и памяти был сжат, что приводит к более быстрому принятию решений, но может привести к потере точности. Они использовали модель LLM с открытым исходным кодом, Mistral, сжатую на Jetson Orin Nano, 8-гигабайтном вычислительном модуле, который меньше, чем книжка в мягкой обложке.

Используя платформу с открытым исходным кодом для тестирования систем искусственного интеллекта, они сравнили рассуждения сжатой модели LLM с рассуждениями полноразмерной модели ChatGPT в семи сценариях вождения.

Обе системы в большинстве случаев принимали безопасные и сопоставимые решения, хотя в одном случае версия Mistral дала сбой. Учитывая значительно меньший объем вычислительных ресурсов, исследователи пришли к выводу, что первоначальные результаты предполагают, что сжатые LLM-модели в конечном итоге могут стать жизнеспособными для периферийных вычислений в беспилотных автомобилях — хотя потребуется гораздо больше испытаний, прежде чем такая система будет готова к эксплуатации на дорогах.