В последние годы робототехники и компьютерщики разрабатывают широкий спектр систем, которые могут обнаруживать объекты в своей среде и соответствующим образом перемещаться по ней. Большинство этих систем основаны на алгоритмах машинного обучения и глубокого обучения, обученных на больших наборах данных изображений.

Хотя в настоящее время существует множество наборов данных изображений для обучения моделей машинного обучения , тех, которые содержат данные, собранные с помощью радиолокационных датчиков , по-прежнему мало, несмотря на значительные преимущества радаров по сравнению с оптическими датчиками. Кроме того, многие из доступных наборов данных радара с открытым исходным кодом не так просто использовать для различных пользовательских приложений.

Исследователи из Университета Аризоны недавно разработали новый подход к автоматической генерации наборов данных, содержащих помеченные изображения с радиолокационных камер. Этот подход, представленный в статье, опубликованной в IEEE Robotics and Automation Letters , использует высокоточный алгоритм обнаружения объектов в потоке изображений с камеры (называемый YOLO) и метод ассоциации (известный как венгерский алгоритм) для маркировки радиолокационного облака точек.

«Приложения глубокого обучения, использующие радар, требуют большого количества помеченных обучающих данных , а маркировка радиолокационных данных — нетривиальный, чрезвычайно трудоемкий и трудоемкий процесс, в основном выполняемый путем ручного сравнения их с параллельно полученным потоком данных изображения». Ариндам Сенгупта, доктор философии. студент Аризонского университета и главный исследователь исследования. «Наша идея заключалась в том, что если камера и радар смотрят на один и тот же объект, то вместо того, чтобы просматривать изображения вручную, мы можем использовать систему обнаружения объектов на основе изображений (в нашем случае YOLO) для автоматической маркировки данных радара».

Три отличительные черты подхода, представленного Сенгуптой и его коллегами, — это его возможности совместной калибровки, кластеризации и ассоциации. Этот подход предусматривает совместную калибровку радара и его камеры, чтобы определить, как местоположение объекта, обнаруженное радаром, будет преобразовано в цифровые пиксели камеры.

«Мы использовали схему кластеризации на основе плотности (DBSCAN) для а) обнаружения и удаления шумов/паразитных радиолокационных сигналов; и б) разделения радиолокационных сигналов на кластеры для различения отдельных объектов», — сказал Сенгупта. «Наконец, для ассоциации используются внутрикадровый и межкадровый венгерский алгоритм (HA). радарные кластеры, относящиеся к одному и тому же объекту в последовательных кадрах, для учета маркировки радиолокационных данных в кадрах, даже когда оптические датчики периодически выходят из строя».