Игровые движки изначально разрабатывались для создания воображаемых миров для развлечения. Однако эти же движки можно использовать для создания копий реальных сред, то есть цифровых двойников. Исследователи из Университета Осаки нашли способ использовать изображения, автоматически сгенерированные цифровыми двойниками городов, для обучения моделей глубокого обучения, способных эффективно анализировать изображения реальных городов и точно разделять появляющиеся на них здания.
Сверточная нейронная сеть — это нейронная сеть с глубоким обучением, предназначенная для обработки структурированных массивов данных, таких как изображения. Такие достижения в области глубокого обучения коренным образом изменили способ выполнения таких задач, как архитектурная сегментация. Однако для точной модели глубокой сверточной нейронной сети (DCNN) требуется большой объем помеченных обучающих данных, и пометка этих данных может быть медленным и чрезвычайно дорогим ручным мероприятием.
Для создания синтетических цифровых данных о городах-двойниках исследователи использовали 3D-модель города с платформы PLATEAU, которая содержит 3D-модели большинства японских городов с чрезвычайно высоким уровнем детализации. Они загрузили эту модель в игровой движок Unity и создали настройку камеры на виртуальном автомобиле, который ездил по городу и получал изображения виртуальных данных при различных условиях освещения и погодных условиях. Затем с помощью Google Maps API были получены реальные изображения улиц той же изучаемой области для экспериментов.
Исследователи обнаружили, что данные цифровых двойников городов дают лучшие результаты, чем чисто виртуальные данные, не имеющие аналога в реальном мире. Кроме того, добавление синтетических данных к реальному набору данных повышает точность сегментации. Однако, что наиболее важно, исследователи обнаружили, что когда определенная доля реальных данных включается в набор синтетических данных цифрового двойника города, точность сегментации DCNN значительно повышается. Фактически, его производительность становится конкурентоспособной по сравнению с DCNN, обученной на 100% реальных данных.
«Эти результаты показывают, что предложенный нами синтетический набор данных потенциально может заменить все реальные изображения в обучающем наборе», — говорит Томохиро Фукуда, соответствующий автор статьи.
Автоматическое выделение отдельных фасадов зданий, которые появляются на изображении, полезно для управления строительством и архитектурного проектирования, крупномасштабных измерений для модернизации и анализа энергопотребления и даже для визуализации фасадов зданий, которые были снесены. Система была протестирована в нескольких городах, что продемонстрировало переносимость предлагаемой структуры. Гибридный набор реальных и синтетических данных дает многообещающие результаты прогнозирования для большинства современных архитектурных стилей. Это делает его многообещающим подходом для обучения DCNN задачам архитектурной сегментации в будущем — без необходимости дорогостоящего ручного аннотирования данных.
