Созданная ими библиотека паттернов сможет использоваться в системах умного дома на базе искусственного интеллекта.

 Сделать умный дом по-настоящему умным и помочь ему адекватно воспринимать действия своих хозяев помогут исследования японской компании Panasonic и лаборатории знаменитого Стэнфордского университета — Stanford Vision and Learning Lab (SVL), специализирующейся на разработках в области компьютерного зрения, искусственного интеллекта и роботизации. В середине октября стороны представили и открыли для разработчиков первую и пока крупнейшую в мире библиотеку Home Action Genome – собрание мультимодальных образцов бытового поведения людей. Кроме того, Panasonic и SVL запустили конкурс по разработке компьютерных алгоритмов, позволяющих точно распознавать действия людей, на базе новой библиотеки.

Одной из главных проблем в развитии систем умного дома до сих оставалось обучение машин пониманию и адекватной трактовке всего, что происходит перед ними. Существующие базы данных были небольшими и состояли преимущественно из аудио и картинок.

Новая библиотека содержит обширный набор изображений и количественных показателей, дополненных данными с многочисленных сенсоров, в т.ч., видео и тепловых, которые описывают ситуации, которые ежедневно происходят практически в каждом доме. В общей сложности библиотека включает 3500 сценариев действий, которые могут выполняться разными людьми в разных местах. Все действия разделены на 70 категорий. Каждый из таких наборов содержит аннотацию, однозначно обозначающую происходящее.

Например, чтобы определить, что делает человек на изображении, система учитывает данные:

• Видеокамеры
• Инфракрасного датчика (где конкретно находится человек, какие части его тела в данный момент теплее, находятся в движении)
• Микрофона (сопровождается ли действие звуком и насколько громким)
• RGB-аналитики (данные об интенсивности для красного, зеленого и синего видимого света)
• Датчика освещенности (наличие и интенсивность внутреннего освещения в комнате)
• Гироскопических датчиков и акселерометров (данные об угловой скорости и ускорении человека/ его рук)
• Геомагнитного датчика

Проанализировав и сравнив полученную информацию с существующими сценариями, умный дом сможет однозначно определить, что чего хозяин бреется и сделать соответствующий вывод, что, например, потом он пойдет пить утренний кофе, а значит нужно включить кофемашину.

Или другой пример, описывающий непосредственный процесс мышления умного дома. Система определяет не только то, что человек в принципе находится в прачечной, но и его конкретные операции – как он подошел к стиральной машине, положил в нее белье, затем достал его. По сумме всех этих операций она сможет однозначно заключить, что еженедельная стирка закончена и следует активировать следующий алгоритм. Например, через 10 минут выключить свет и включить вентиляцию в прачечной.

Разработчики систем искусственного интеллекта смогут воспользоваться библиотекой Panasonic и SVL для создания собственных AI-алгоритмов и решений, облегчающих жизнь и быт людей, что является основополагающей миссией корпорации Panasonic.