Искусственный интеллект (ИИ) в сочетании с новой био-камерой обеспечивает в 100 раз более быстрое обнаружение пешеходов и препятствий, чем современные автомобильные камеры. Этот важный шаг в области компьютерного зрения и искусственного интеллекта, достигнутый исследователями Цюрихского университета, может значительно повысить безопасность автомобильных систем и беспилотных автомобилей.

Это кошмар каждого водителя: пешеход появляется перед автомобилем словно из ниоткуда, оставляя лишь долю секунды, чтобы затормозить или повернуть руль и избежать худшего. Некоторые автомобили теперь оснащены системами камер , которые могут предупредить водителя или активировать экстренное торможение. Но эти системы еще недостаточно быстры и надежны, и их необходимо значительно усовершенствовать, если они будут использоваться в автономных транспортных средствах, где за рулем нет человека.

Более быстрое обнаружение с использованием меньших вычислительных мощностей

Теперь Дэниел Гериг и Давиде Скарамуцца с факультета информатики Цюрихского университета (UZH) объединили новую био-камеру с искусственным интеллектом, чтобы разработать систему, которая может обнаруживать препятствия вокруг автомобиля гораздо быстрее, чем существующие системы, и используя меньше вычислительных ресурсов. власть. Исследование опубликовано в журнале Nature.

Большинство современных камер являются покадровыми, то есть делают снимки через регулярные промежутки времени. Те, которые в настоящее время используются для помощи водителю в автомобилях, обычно снимают от 30 до 50 кадров в секунду, а искусственную нейронную сеть можно обучить распознавать объекты на изображениях — пешеходов, велосипедов и других автомобилей.

«Но если что-то произойдет в течение 20 или 30 миллисекунд между двумя снимками, камера может увидеть это слишком поздно. Решением было бы увеличение частоты кадров , но это приводит к увеличению объема данных, которые необходимо обрабатывать в режиме реального времени, и увеличению объема вычислений», — говорит Гериг, первый автор статьи.

Сочетание лучшего из двух типов камер с искусственным интеллектом

Камеры событий — это недавняя инновация, основанная на другом принципе. Вместо постоянной частоты кадров у них есть умные пиксели, которые записывают информацию каждый раз, когда обнаруживают быстрое движение.

«Таким образом, у них нет слепых зон между кадрами, что позволяет им быстрее обнаруживать препятствия. Их также называют нейроморфными камерами, потому что они имитируют то, как человеческие глаза воспринимают изображения», — говорит Скарамуцца, руководитель группы робототехники и восприятия. Но у них есть свои недостатки: они могут пропускать объекты, которые движутся медленно, а их изображения нелегко преобразовать в данные, которые используются для обучения алгоритма ИИ.

Гериг и Скарамуцца придумали гибридную систему , которая сочетает в себе лучшее из обоих миров: она включает в себя стандартную камеру, которая снимает 20 изображений в секунду, что имеет относительно низкую частоту кадров по сравнению с теми, которые используются в настоящее время. Его изображения обрабатываются системой искусственного интеллекта, называемой сверточной нейронной сетью, которая обучена распознавать автомобили и пешеходов.

Данные с камеры событий передаются в систему искусственного интеллекта другого типа, называемую нейронной сетью с асинхронным графом, которая особенно подходит для анализа трехмерных данных, которые изменяются со временем. Обнаружения с камеры событий используются для прогнозирования обнаружения стандартной камерой, а также для повышения ее производительности.

«В результате появился визуальный детектор, который может обнаруживать объекты так же быстро, как это сделала бы стандартная камера, снимающая 5000 изображений в секунду, но требует той же полосы пропускания, что и стандартная камера со скоростью 50 кадров в секунду», — говорит Гериг.

Обнаружение в сто раз быстрее с использованием меньшего количества данных

Команда протестировала свою систему на лучших камерах и визуальных алгоритмах, представленных в настоящее время на автомобильном рынке, и обнаружила, что это приводит к более быстрому обнаружению в сто раз, одновременно уменьшая объем данных, которые должны передаваться между камерой и бортовым компьютером, а также вычислительными ресурсами. мощность, необходимая для обработки изображений без ущерба для точности.

Важно отметить, что система может эффективно обнаруживать автомобили и пешеходов, которые попадают в поле зрения между двумя последовательными кадрами стандартной камеры, обеспечивая дополнительную безопасность как для водителя, так и для участников дорожного движения, что может иметь огромное значение, особенно на высоких скоростях.

По мнению ученых, в будущем этот метод можно будет сделать еще более мощным за счет интеграции камер с датчиками LiDAR, подобными тем, которые используются в беспилотных автомобилях.

«Подобные гибридные системы могут иметь решающее значение для обеспечения автономного вождения, гарантируя безопасность, не приводя при этом к существенному росту объема данных и вычислительной мощности», — говорит Скарамуцца.