Система, которая дополняет визуализацию смешанной реальности с помощью смартфонов или планшетов.
Технологии смешанной реальности (MR) и дополненной реальности (AR) объединяют реальный мир с компьютерными элементами, позволяя пользователям более увлекательно взаимодействовать с окружающей средой. В последние годы эти технологии расширили возможности образования и специализированной подготовки во многих областях, помогая стажерам проверить свои навыки или лучше разобраться в абстрактных концепциях и данных.
Исследователи из Университета Калгари пытались разработать интерфейсы и системы, которые могли бы улучшить визуализацию МРТ. В документе, который будет представлен на CHI 2023 LBW , они представили HoloTouch, систему, которая может дополнять графику и диаграммы смешанной реальности, используя смартфоны в качестве физических прокси.
«Для меня эта статья была по большей части вдохновлена работой, которую я опубликовал на последнем курсе бакалавриата , — сказал Tech Xplore Нил Чулпонгсаторн, один из исследователей, проводивших исследование. взаимодействия с реальностью для представления данных».
В некоторых из своих предыдущих исследований Чулпонгсаторн и его коллеги изучали, как они могут улучшить визуализацию данных, используя виртуальные компоненты, отображаемые на головных дисплеях (HMD), таких как Microsoft HoloLens. Другие команды также предложили аналогичные решения, такие как физически динамические гистограммы .
Хотя некоторые из их предыдущих усилий дали интересные результаты, исследователи поняли, что современные гарнитуры MR и AR не поддерживают такую динамическую и расширенную визуализацию данных. Таким образом, в своем недавнем исследовании они попытались обойти эти ограничения, используя существующие и широко используемые устройства.
«Вместо того, чтобы делать физические представления интерактивными, мы решили сделать виртуальное представление осязаемым», — сказал Чулпонгсаторн. «Такие работы, как MARVIS, представили эту идею на высоком уровне и продемонстрировали ее потенциал. Наша недавняя работа углубляется, чтобы представить основу этих интерфейсов как пространство взаимодействия для дизайнеров визуализации, которые они смогут использовать в будущем, а также оценить эффективность этих модели взаимодействия».
В своем недавнем исследовании Чулпонгсаторн и его коллеги представили HoloTouch, систему, которая сочетает в себе HMD и сенсорные экраны на смартфонах или планшетах для улучшения МР-визуализации. По сути, HoloTouch позволяет пользователям «касаться» и манипулировать голограммами, которые они видят на HMD, через свои смартфоны.
«Наша система решает некоторые проблемы современных МР-визуализаций, такие как ненадежное отслеживание, низкое визуальное разрешение и неточный ввод», — пояснил Чулпонгсаторн. «Новизна нашей работы заключается в пространстве дизайна, представленном в статье, а не столько в прототипе. По сути, мы много думали о том, как мобильные телефоны могут взаимодействовать с голограммами (в частности, визуализации данных), составили справочный документ и продемонстрировал несколько примеров».
В рамках своего недавнего исследования исследователи продемонстрировали шесть различных способов взаимодействия с графиками и другими визуализациями данных, используя прототип своей системы. Эти первоначальные тесты были очень многообещающими, подчеркивая перспективность их решения для улучшения визуализации данных.
«Результаты предварительных оценок показывают, что людям обычно больше нравится изучать визуализацию с прокси, чем без него», — сказал Чулпонгсаторн. «В частности, точность и осязаемость выделяются как сильные преимущества прокси. Это говорит о том, что физическое взаимодействие с голограммами полезно для задачи анализа данных, хотя потребуется проделать дополнительную работу, прежде чем мы сможем сделать более убедительные выводы».
В будущем новая система, предложенная этой группой исследователей, может использоваться дизайнерами и создателями контента для представления данных студентам, специалистам или публике более захватывающими способами. Тем временем Чулпонгаторн и его коллеги надеются еще больше улучшить свою систему, добавив новые функции и стили взаимодействия.
«Поскольку это поздняя работа, многое еще предстоит сделать», — добавил Чулпонгсаторн. «С одной стороны, пространство в настоящее время имеет ширину, но не большую глубину. Есть также другие взаимодействия, которые нам все еще нужно исследовать. Мы говорили о некоторых из них в конце статьи. это один из наших основных вкладов в эту работу».
