Технология, которая может распознавать человеческие эмоции в режиме реального времени, была разработана профессором Джиюном Кимом и его исследовательской группой на факультете материаловедения и инженерии UNIST. Эта инновационная технология способна произвести революцию в различных отраслях, включая носимые системы следующего поколения, предоставляющие услуги, основанные на эмоциях.
Понимание и точное извлечение эмоциональной информации уже давно является проблемой из-за абстрактной и неоднозначной природы человеческих аффектов, таких как эмоции, настроения и чувства. Чтобы решить эту проблему, исследовательская группа разработала мультимодальную систему распознавания человеческих эмоций, которая объединяет данные вербальных и невербальных выражений для эффективного использования комплексной эмоциональной информации.
В основе этой системы лежит персонализированный лицевой интерфейс, интегрированный в кожу (PSiFI), который является автономным, простым, растягиваемым и прозрачным. Он оснащен первым в своем роде двунаправленным трибоэлектрическим датчиком деформации и вибрации, который позволяет одновременно воспринимать и интегрировать данные вербальной и невербальной экспрессии. Система полностью интегрирована со схемой обработки данных для беспроводной передачи данных, что позволяет распознавать эмоции в реальном времени.
Используя алгоритмы машинного обучения, разработанная технология демонстрирует точные задачи распознавания человеческих эмоций в режиме реального времени, даже когда люди носят маски. Система также успешно применяется в приложении цифрового консьержа в среде виртуальной реальности (VR).
Технология основана на явлении «зарядки трением», когда при трении объекты разделяются на положительные и отрицательные заряды. Примечательно, что система является самогенерирующейся и не требует внешнего источника питания или сложных измерительных устройств для распознавания данных.
Профессор Ким прокомментировал: «На основе этих технологий мы разработали систему интегрированного с кожей лица интерфейса (PSiFI), которую можно настроить для отдельных людей». Команда использовала технику полуотверждения для изготовления прозрачного проводника для фрикционных зарядных электродов. Кроме того, с помощью техники съемки под разными углами была создана персонализированная маска, сочетающая в себе гибкость, эластичность и прозрачность.
Исследовательская группа успешно объединила обнаружение деформации лицевых мышц и вибраций голосовых связок, что позволило распознавать эмоции в режиме реального времени. Возможности системы были продемонстрированы в приложении виртуальной реальности «цифровой консьерж», где предоставлялись индивидуальные услуги, основанные на эмоциях пользователей.
Джин Пё Ли, первый автор исследования, заявил: «С помощью этой разработанной системы можно реализовать распознавание эмоций в реальном времени всего за несколько шагов обучения и без сложного измерительного оборудования. Это открывает возможности для портативных устройств распознавания эмоций. и услуги цифровых платформ нового поколения, основанные на эмоциях, в будущем».
Исследовательская группа провела эксперименты по распознаванию эмоций в реальном времени, собирая мультимодальные данные, такие как деформация лицевых мышц и голос. Система продемонстрировала высокую точность распознавания эмоций при минимальном обучении. Его беспроводная и настраиваемая природа обеспечивает удобство ношения и удобство.
Кроме того, команда применила систему к средам виртуальной реальности, используя ее в качестве «цифрового консьержа» для различных условий, включая «умные дома», частные кинотеатры и «умные офисы». Способность системы распознавать отдельные эмоции в различных ситуациях позволяет предоставлять персональные рекомендации по музыке, фильмам и книгам.
Профессор Ким подчеркнул: «Для эффективного взаимодействия между людьми и машинами устройства человеко-машинного интерфейса (HMI) должны быть способны собирать разнообразные типы данных и обрабатывать сложную интегрированную информацию. Это исследование иллюстрирует потенциал использования эмоций, которые представляют собой сложные формы человеческого поведения. информацию в носимых системах следующего поколения».
