Инженеры Токийского технологического института (Tokyo Tech) продемонстрировали простой вычислительный подход для улучшения способа обучения классификаторов искусственного интеллекта, таких как нейронные сети, на основе ограниченного количества данных датчиков. Появляющимся приложениям Интернета вещей часто требуются пограничные устройства, которые могут надежно классифицировать поведение и ситуации на основе временных рядов.

Однако получить данные для обучения сложно и дорого. Предлагаемый подход обещает существенно повысить качество обучения классификаторов практически без дополнительных затрат.

В последнее время набирает силу перспектива наличия огромного количества датчиков Интернета вещей (IoT), тихо и усердно отслеживающих бесчисленные аспекты человеческой, природной и машинной деятельности. По мере того, как наше общество становится все более и более нуждающимся в данных, ученые, инженеры и стратеги все больше надеются, что дополнительная информация, которую мы можем извлечь из этого всеобъемлющего мониторинга, улучшит качество и эффективность многих производственных процессов, что также приведет к повышению устойчивости.

Мир, в котором мы живем, невероятно сложен, и эта сложность отражается в огромном множестве переменных, для мониторинга которых могут быть разработаны датчики IoT. Некоторые из них являются естественными, например, количество солнечного света, влаги или движения животных, в то время как другие являются искусственными, например, количество автомобилей, пересекающих перекресток, или нагрузка на подвесную конструкцию, такую ​​как мост.

Общим для всех этих переменных является то, что они развиваются с течением времени, создавая так называемые временные ряды, и ожидается, что в их неустанных изменениях содержится значимая информация. Во многих случаях исследователи заинтересованы в классификации набора заранее определенных условий или ситуаций на основе этих временных изменений, чтобы уменьшить количество данных и упростить их понимание.

Например, измерение того, насколько часто возникает определенное условие или ситуация, часто используется в качестве основы для обнаружения и понимания причин неисправностей, увеличения загрязнения и т. д.

Некоторые типы датчиков измеряют переменные, которые сами по себе очень медленно изменяются с течением времени, например влажность. В таких случаях возможна передача каждого отдельного показания по беспроводной сети на облачный сервер, где происходит анализ больших объемов агрегированных данных. Однако все больше и больше приложений требуют измерения довольно быстро изменяющихся переменных, таких как ускорение, отслеживающее поведение животного или повседневную активность человека.

Поскольку часто требуется много показаний в секунду, передача необработанных данных по беспроводной связи становится непрактичной или невозможной из-за ограничений доступной энергии, платы за передачу данных и, в удаленных местах, полосы пропускания. Чтобы обойти эту проблему, инженеры во всем мире уже давно ищут умные и эффективные способы перенести аспекты анализа данных из облака в сами сенсорные узлы.

Это часто называют граничным искусственным интеллектом или граничным ИИ. В общих чертах, идея состоит в том, чтобы отправлять по беспроводной сети не необработанные записи, а результаты алгоритма классификации, ищущего конкретные условия или интересующие ситуации, что приводит к гораздо более ограниченному количеству данных от каждого узла.

Однако предстоит столкнуться со многими проблемами. Некоторые из них являются физическими и проистекают из необходимости поместить хороший классификатор в то, что обычно является довольно ограниченным пространством и весом, и часто заставляет его работать с очень небольшим количеством энергии, чтобы можно было достичь длительного времени автономной работы.

«Хорошие инженерные решения для этих требований появляются каждый день, но реальная проблема, сдерживающая многие реальные решения, на самом деле другая. Точность классификации часто просто недостаточна, и общество требует надежных ответов, чтобы начать доверять технологии», — говорит доктор. Хироюки Ито, глава отдела нанодатчиков, где проводилось исследование.

«Многие примеры применения искусственного интеллекта, такие как самоуправляемые автомобили, показали, что насколько хорош или плох искусственный классификатор, в значительной степени зависит от качества данных, используемых для его обучения. Но чаще всего данные временных рядов датчиков действительно требовательна и дорога в полевых условиях. Например, учитывая мониторинг поведения крупного рогатого скота, чтобы получить его, инженерам необходимо проводить время на фермах, измеряя отдельные коровы и заставляя экспертов терпеливо комментировать их поведение на основе видеоматериалов», — добавляет соавтор д-р , Коркут Каан Токгоз, ранее работавший в том же исследовательском подразделении, а теперь работающий в Университете Сабанчи в Турции.

Вследствие того, что обучающие данные так ценны, инженеры начали искать новые способы максимально использовать даже весьма ограниченный объем данных, доступных для обучения периферийных устройств ИИ. Важной тенденцией в этой области является использование методов, известных как «расширение данных», при которых к записанным данным применяются некоторые манипуляции, которые считаются разумными на основе опыта, чтобы попытаться имитировать изменчивость и неопределенность, с которыми можно столкнуться в реальных приложениях.

«Например, в нашей предыдущей работе мы смоделировали непредсказуемое вращение ошейника с датчиком ускорения на шее контролируемой коровы и обнаружили, что дополнительные данные, полученные таким образом, действительно могут повысить эффективность классификации поведения», — объясняет Г-жа Чао Ли, докторант и ведущий автор исследования.

«Однако мы также поняли, что нам нужен гораздо более общий подход к дополнению временных рядов датчиков, который в принципе можно было бы использовать для любого типа данных и не делать конкретных предположений об условиях измерения. Более того, в реальных ситуациях на самом деле есть две проблемы, связанные, но разные. Первая заключается в том, что общий объем обучающих данных часто ограничен. Вторая заключается в том, что некоторые ситуации или условия возникают гораздо чаще, чем другие, и это неизбежно. Например, коровы естественным образом тратят гораздо больше времени отдыхать или размышлять, чем пить».

«Тем не менее, точное измерение менее частого поведения очень важно для правильной оценки состояния здоровья животного. редкость. Это называется проблемой дисбаланса данных», — добавляет она.

Вычислительное исследование, проведенное исследователями из Tokyo Tech и первоначально направленное на улучшение мониторинга поведения крупного рогатого скота, предлагает возможное решение этих проблем путем объединения двух очень разных и дополняющих друг друга подходов. Первый известен как выборка и состоит из извлечения «фрагментов» временных рядов, соответствующих классифицируемым условиям, всегда начиная с разных и случайных моментов времени.

Количество извлекаемых сниппетов тщательно регулируется, гарантируя, что всегда будет примерно одинаковое количество сниппетов для всех поведений, подлежащих классификации, независимо от того, насколько они распространены или редки. Это приводит к более сбалансированному набору данных, который определенно предпочтительнее в качестве основы для обучения любого классификатора, такого как нейронная сеть.

Поскольку процедура основана на выборе подмножеств фактических данных, она безопасна с точки зрения предотвращения создания артефактов, которые могут возникнуть в результате искусственного синтеза новых фрагментов для компенсации менее представленного поведения. Второй известен как суррогатные данные и включает в себя очень надежную числовую процедуру для создания из любого существующего временного ряда любого количества новых, которые сохраняют некоторые ключевые характеристики, но совершенно некоррелированы.

«Эта благотворная комбинация оказалась очень важной, потому что выборка может привести к большому дублированию одних и тех же данных, когда одни поведения слишком редки по сравнению с другими. Суррогатные данные никогда не бывают одинаковыми и предотвращают эту проблему, которая может очень негативно повлиять на И ключевым аспектом этой работы является то, что аугментация данных интегрирована с процессом обучения, поэтому на протяжении всего обучения сети всегда предоставляются разные данные», — объясняет г-н Джим Бартелс, соавтор и докторант. на единицу.

Суррогатные временные ряды генерируются путем полного скремблирования фаз одного или нескольких сигналов, что делает их полностью неузнаваемыми при рассмотрении их изменений во времени. Однако распределение значений, автокорреляция и, при наличии нескольких сигналов, взаимная корреляция полностью сохраняются.

«В другой предыдущей работе мы обнаружили, что многие эмпирические операции, такие как реверсирование и рекомбинация временных рядов, действительно помогли улучшить обучение. Вероятно, это ключ к производительности, по крайней мере, для приложения распознавания поведения коров, на котором я сосредоточиваюсь», — далее объясняет г-жа Чао Ли.

«Метод суррогатных временных рядов берет свое начало в совершенно другой области, а именно в изучении нелинейной динамики в сложных системах, таких как мозг, для которых такие временные ряды используются, чтобы помочь отличить хаотическое поведение от шума. Объединяя наш различный опыт, мы быстро понял, что они могут быть полезны и для этого приложения», — добавляет доктор Людовико Минати, второй автор исследования, также работающий с нанодатчиком.

«Однако необходима значительная осторожность, потому что не бывает двух одинаковых сценариев применения, и то, что справедливо для временных рядов, отражающих поведение коров, может быть неприемлемо для других датчиков, отслеживающих различные типы динамики. В любом случае элегантность предлагаемого заключается в том, что он достаточно существенный, простой и общий. Поэтому другим исследователям будет легко быстро опробовать его на своих конкретных проблемах», — добавляет он.

После этого интервью команда пояснила, что этот тип исследований будет применяться в первую очередь для улучшения классификации поведения крупного рогатого скота, для чего он был изначально предназначен и по которому подразделение проводит междисциплинарные исследования в партнерстве с другими университетами и компаниями.

«Одна из наших основных целей — успешно продемонстрировать высокую точность на небольшом недорогом устройстве, которое может контролировать корову на протяжении всей ее жизни, позволяя обнаруживать болезни на ранней стадии и, следовательно, действительно улучшая не только благополучие животных, но также эффективность и устойчивость фермы». — заключает доктор Хироюки Ито. О методологии и результатах сообщается в недавней статье, опубликованной в IEEE Sensors Journal.