Методы искусственного интеллекта (ИИ) становятся все более совершенными за последние несколько десятилетий, достигая замечательных результатов во многих реальных задачах. Тем не менее, большинство существующих систем ИИ не делятся своими анализами и шагами, которые привели к их прогнозам, с пользователями-людьми, что может сделать их надежную оценку чрезвычайно сложной.

Группа исследователей из Калифорнийского университета в Лос-Анджелесе, Калифорнийского университета в Лос-Анджелесе, Пекинского университета и Пекинского института общего искусственного интеллекта (BIGAI) недавно разработала новую систему искусственного интеллекта, которая может объяснять процессы принятия решений пользователям-людям. Эта система, представленная в статье, опубликованной в журнале Science Robotics , может стать новым шагом к созданию более надежного и понятного ИИ.

«Область объяснимого ИИ (XAI) направлена ​​на создание взаимного доверия между роботами и людьми, и проект DARPA XAI послужил отличным катализатором для продвижения исследований в этой области», — д-р Луяо Юань, один из первых авторов статьи. , рассказал TechXplore. «В начале проекта DARPA XAI исследовательские группы в основном сосредотачиваются на проверке моделей для задач классификации, раскрывая пользователю процесс принятия решений системами ИИ; например, некоторые модели могут визуализировать определенные слои моделей CNN, утверждая, что достигают определенного уровень ХАИ».

Доктор Юань и его коллеги участвовали в проекте DARPA XAI, специально направленном на разработку новых и перспективных систем XAI. Участвуя в проекте, они начали размышлять о том, что XAI будет означать в более широком смысле, особенно о том, как это может повлиять на сотрудничество между людьми и машинами.

Недавняя статья команды основана на одной из их предыдущих работ, также опубликованных в журнале Science Robotics , где команда исследовала влияние, которое объяснимые системы могут оказать на восприятие пользователя и доверие к ИИ во время взаимодействия человека с машиной. В своем предыдущем исследовании команда внедряла и тестировала систему ИИ физически (то есть в реальном мире), а в своем новом исследовании они тестировали ее в симуляциях.

«Наша парадигма контрастирует почти со всеми теми, которые были предложены командами в программе DARPA XAI, которая в основном была сосредоточена на том, что мы называем парадигмой пассивная машина — активный пользователь», — сказал TechXplore профессор Исинь Чжу, один из руководителей проекта. «В этих парадигмах пользователи-люди должны активно проверять и пытаться выяснить, что делает машина (таким образом, «активный пользователь»), используя некоторые модели, которые раскрывают потенциальный процесс принятия решений моделями ИИ».

Системы XAI, которые следуют тому, что профессор Чжу называет парадигмой «пассивный компьютер-активный пользователь», требуют, чтобы пользователи постоянно связывались с ИИ, чтобы понять процессы, лежащие в основе его решений. В этом контексте понимание пользователем процессов ИИ и доверие к его предсказаниям не влияет на будущие процессы принятия решений ИИ, поэтому машина называется «пассивной».

Напротив, новая парадигма, представленная доктором Юанем, профессором Чжу и их коллегами, следует тому, что команда называет парадигмой активного машинно-активного пользователя. По сути, это означает, что их система может активно учиться и адаптировать свои решения на основе отзывов, которые она получает от пользователей на лету. Эта способность адаптироваться к контексту характерна для того, что часто называют третьей/следующей волной ИИ .

«Чтобы системы искусственного интеллекта помогали своим пользователям, как мы ожидаем, современные системы требуют, чтобы пользователь кодировал цели, определенные экспертами», — сказал доктор Юань. «Это ограничивает потенциал совместной работы человека и машины, поскольку такие цели бывает трудно определить во многих задачах, что делает системы ИИ недоступными для большинства людей. Чтобы решить эту проблему, наша работа позволяет роботам оценивать намерения и ценности пользователей во время совместной работы. в режиме реального времени, избавляя роботов от необходимости заранее кодировать сложные и специфические задачи, тем самым обеспечивая лучшую парадигму взаимодействия человека и машины».

Целью системы, созданной доктором Юанем и его коллегами, является достижение так называемого «выравнивания ценностей». По сути, это означает, что пользователь-человек может понять, почему робот или машина действует определенным образом или приходит к определенным выводам, а машина или робот могут сделать вывод, почему пользователь-человек действует определенным образом. Это может значительно улучшить взаимодействие человека и робота.

«Двунаправленный характер и производительность в режиме реального времени являются самыми большими проблемами и изюминкой нашего вклада», — сказал профессор Чжу. «Соединяя вышеизложенное, я думаю, вы теперь понимаете, почему наша статья называется «На месте двунаправленное согласование ценности человека и робота».

Чтобы обучить и протестировать свою систему XAI, исследователи разработали игру под названием «разведка», в которой люди должны выполнять задачу в командах. Одним из наиболее важных аспектов этой игры является то, что люди и роботы должны согласовать свои так называемые «функции ценности».

«В игре группа роботов может воспринимать окружающую среду; это эмулирует реальные приложения, в которых группа роботов должна работать автономно, чтобы свести к минимуму вмешательство человека», — сказал профессор Чжу. «Человек-пользователь, однако, не может напрямую взаимодействовать с окружающей средой; вместо этого пользователю была дана определенная ценностная функция, представленная важностью нескольких факторов (например, общее время для завершения времени и ресурсы, собранные на ходу). )».

В разведывательной игре команда роботов не имеет доступа к функции ценности, предоставленной людям-пользователям, и им нужно ее вывести. Поскольку это значение не может быть легко выражено и сообщено, для выполнения задачи робот и команда людей должны вывести его друг из друга.

«Общение в игре двунаправленное: с одной стороны, робот предлагает пользователю несколько планов задач и объясняет плюсы и минусы каждого из них, а с другой стороны, пользователь дает обратную связь по предложениям и оценивает каждое объяснение, — сказал TechXplore доктор Сяофэн Гао, один из первых авторов статьи. «Эти двунаправленные коммуникации обеспечивают то, что известно как выравнивание ценностей».

По сути, для выполнения задач в «разведывательном исследовании» команда роботов должна понимать, что функция ценности пользователей-людей просто основана на отзывах людей. Тем временем пользователи-люди изучают текущие оценки роботов и могут предлагать отзывы, которые помогают им совершенствоваться и в конечном итоге направляют их к правильному ответу.

«Мы также интегрировали теорию разума в нашу вычислительную модель, что позволило системе ИИ генерировать правильные объяснения, чтобы выявить ее текущую ценность и оценить ценность пользователей на основе их отзывов в режиме реального времени во время взаимодействия», — сказал доктор Гао. «Затем мы провели обширные исследования пользователей, чтобы оценить нашу структуру».

В первоначальных оценках система, созданная доктором Юанем, профессором Чжу, доктором Гао и их коллегами, добилась замечательных результатов, что привело к согласованию ценностей в разведывательной игре «на лету» и в интерактивном режиме. Команда обнаружила, что робот выровнялся с функцией ценности пользователя-человека уже на 25% в игре, в то время как пользователи могли получить точное представление о функциях ценности машины примерно на середине игры.

«Сочетание конвергенции (i) от значения роботов к истинным значениям пользователя и (ii) от оценки пользователем значений роботов к текущим значениям роботов формирует двунаправленное выравнивание значений, привязанное к истинному значению пользователя», — д-р Dr. — сказал Юань. «Мы считаем, что наша структура подчеркивает необходимость создания интеллектуальных машин, которые изучают и понимают наши намерения и ценности посредством взаимодействий, что имеет решающее значение для того, чтобы избежать многих антиутопических научно-фантастических историй, изображенных в романах и на большом экране».

Недавняя работа этой группы исследователей является значительным вкладом в область исследований, направленных на разработку более понятного ИИ. Предложенная ими система может послужить источником вдохновения для создания других систем XAI, в которых роботы или умные помощники активно взаимодействуют с людьми, делясь своими процессами и повышая свою производительность на основе отзывов, которые они получают от пользователей.

«Согласование ценностей — это наш первый шаг к общему сотрудничеству человека и робота», — пояснил доктор Юань. «В этой работе согласование ценностей происходит в контексте одной задачи. Однако во многих случаях группа агентов сотрудничает во многих задачах. Например, мы ожидаем, что один домашний робот поможет нам во многих повседневных делах, вместо того, чтобы покупать множество роботов, каждый из которых способен выполнять только один тип работы».

До сих пор система исследователей XAI достигла очень многообещающих результатов. В своих следующих исследованиях д-р Юань, проф. Чжу, д-р Гао и их коллеги планируют изучить случаи согласования ценностей человека и робота , которые можно было бы применять во многих различных реальных задачах, чтобы пользователи-люди и агенты ИИ могли накапливать информацию, которую они получили о процессах и возможностях друг друга в процессе совместной работы над различными задачами.

«В наших следующих исследованиях мы также стремимся применить нашу структуру к большему количеству задач и физических роботов», — сказал доктор Гао. «Помимо ценностей, мы считаем, что согласование других аспектов ментальных моделей (например, убеждений, желаний, намерений) между людьми и роботами также было бы многообещающим направлением».

Исследователи надеются, что их новая объяснимая парадигма искусственного интеллекта поможет улучшить сотрудничество между людьми и машинами в решении многочисленных задач. Кроме того, они надеются, что их подход повысит доверие людей к системам на основе ИИ, включая умных помощников, роботов, ботов и других виртуальных агентов.

«Например, вы можете исправить Alexa или Google Home, когда они сделают ошибку, но они сделают ту же ошибку при следующем использовании», — добавил профессор Чжу. «Когда ваш Roomba идет куда-то, чего вы не хотите, и пытается с этим бороться, он ничего не понимает, поскольку следует только заранее определенной логике ИИ. Все это запрещает современному ИИ проникать в наши дома. Шаг, наша работа демонстрирует потенциал решения этих проблем, шаг ближе к достижению того, что DARPA назвало «контекстной адаптацией» в третьей волне ИИ».