Автоматизированная система учит пользователей, когда следует сотрудничать с помощником искусственного интеллекта.
Модели искусственного интеллекта, которые выделяют закономерности на изображениях, часто могут делать это лучше, чем человеческие глаза, но не всегда. Если радиолог использует модель искусственного интеллекта, чтобы определить, есть ли на рентгеновских снимках пациента признаки пневмонии, когда ему следует доверять советам модели, а когда следует их игнорировать?
По мнению исследователей из Массачусетского технологического института и Лаборатории искусственного интеллекта Watson MIT-IBM, индивидуальный процесс адаптации может помочь этому радиологу ответить на этот вопрос. Они разработали систему, которая учит пользователя сотрудничать с помощником искусственного интеллекта.
В этом случае метод обучения может обнаружить ситуации, когда радиолог доверяет советам модели, но он не должен этого делать, потому что модель неверна. Система автоматически изучает правила сотрудничества с ИИ и описывает их на естественном языке.
Во время адаптации радиолог практикует сотрудничество с ИИ, используя обучающие упражнения на основе этих правил, получая обратную связь о своей работе и работе ИИ.
Исследователи обнаружили, что эта процедура адаптации привела к повышению точности примерно на 5 процентов, когда люди и ИИ совместно работали над задачей прогнозирования изображений. Их результаты также показывают, что простое указание пользователю, когда следует доверять ИИ, без обучения, привело к ухудшению производительности.
Важно отметить, что система исследователей полностью автоматизирована и учится создавать процесс адаптации на основе данных человека и ИИ, выполняющих конкретную задачу. Он также может адаптироваться к различным задачам, поэтому его можно масштабировать и использовать во многих ситуациях, когда люди и модели ИИ работают вместе, например, при модерации контента в социальных сетях, написании статей и программировании.
«Очень часто людям дают эти инструменты искусственного интеллекта для использования без какого-либо обучения, чтобы помочь им понять, когда они будут полезны. Это не то, что мы делаем почти со всеми другими инструментами, которые используют люди — почти всегда есть какое-то учебное пособие. «Это связано с этим. Но для ИИ этого, похоже, не хватает. Мы пытаемся решить эту проблему с методологической и поведенческой точки зрения», — говорит Хусейн Мозаннар, аспирант докторской программы социальных и инженерных систем Института данных. , системы и общество (IDSS) и ведущий автор статьи об этом процессе обучения .
Исследователи предполагают, что такая адаптация станет важной частью обучения медицинских работников .
«Можно, например, представить, что врачам, принимающим решения о лечении с помощью ИИ, сначала придется пройти обучение, подобное тому, что мы предлагаем. Возможно, нам придется переосмыслить все, от непрерывного медицинского образования до способа организации клинических исследований », — говорит старший автор Дэвид Зонтаг, профессор EECS, член лаборатории искусственного интеллекта MIT-IBM Watson и клиники Джамиля MIT, а также руководитель группы клинического машинного обучения Лаборатории компьютерных наук и искусственного интеллекта (CSAIL).
К Мозаннару, который также является исследователем группы клинического машинного обучения, в работе над статьей присоединяется Чимин Дж. Ли, студент факультета электротехники и информатики; Деннис Вей, старший научный сотрудник IBM Research; и Прасанна Саттигери и Субхро Дас, научные сотрудники лаборатории MIT-IBM Watson AI Lab. Статья доступна на сервере препринтов arXiv и будет представлена на конференции по нейронным системам обработки информации.
Обучение, которое развивается
Существующие методы адаптации для сотрудничества человека и искусственного интеллекта часто состоят из учебных материалов, созданных экспертами для конкретных случаев использования, что затрудняет их масштабирование. Некоторые связанные методы основаны на объяснениях, когда ИИ сообщает пользователю о своей уверенности в каждом решении, но исследования показали, что объяснения редко бывают полезными, говорит Мозаннар.
«Возможности модели ИИ постоянно развиваются, поэтому варианты использования, в которых человек потенциально может извлечь из нее пользу, со временем растут. В то же время восприятие модели пользователем продолжает меняться. Поэтому нам нужна процедура обучения, которая также развивается. со временем», — добавляет он.
Для этого их метод адаптации автоматически изучается на основе данных. Он создается на основе набора данных, содержащего множество экземпляров задачи, например обнаружение светофора по размытому изображению.
Первым шагом системы является сбор данных о человеке и искусственном интеллекте, выполняющих эту задачу. В этом случае человек попытается с помощью ИИ предсказать, есть ли на размытых изображениях светофоры.
Система встраивает эти точки данных в скрытое пространство, которое представляет собой представление данных, в котором похожие точки данных расположены ближе друг к другу. Он использует алгоритм для обнаружения областей этого пространства, где человек неправильно сотрудничает с ИИ. Эти регионы фиксируют случаи, когда человек доверял предсказанию ИИ, но предсказание было неверным, и наоборот.
Возможно, человек ошибочно доверяет ИИ, когда на изображениях видно ночное шоссе.
После обнаружения регионов второй алгоритм использует большую языковую модель для описания каждого региона, как правило, с использованием естественного языка. Алгоритм итеративно настраивает это правило, находя противоположные примеры. Он мог бы описать этот регион как «игнорировать ИИ, когда это ночное шоссе».
Эти правила используются для построения тренировочных упражнений. Бортовая система показывает человеку пример, в данном случае размытую сцену ночного шоссе, а также прогноз ИИ и спрашивает пользователя, видны ли на изображении светофоры. Пользователь может ответить «да», «нет» или воспользоваться предсказанием ИИ.
Если человек ошибается, ему показывают правильный ответ и статистику производительности человека и ИИ в этих экземплярах задачи. Система делает это для каждого региона и в конце процесса обучения повторяет упражнения, в которых человек ошибся.
«После этого человек узнал кое-что об этих регионах, и мы надеемся, что они воспользуются этим в будущем, чтобы делать более точные прогнозы», — говорит Мозаннар.
Регистрация повышает точность
Исследователи протестировали эту систему на пользователях для выполнения двух задач: распознавать светофоры на размытых изображениях и отвечать на вопросы с несколькими вариантами ответов из многих областей (таких как биология, философия, информатика и т. д.).
Сначала они показали пользователям карточку с информацией о модели ИИ, о том, как она обучалась, и с разбивкой ее производительности по широким категориям. Пользователи были разделены на пять групп: некоторым была только показана карточка, некоторые прошли процедуру адаптации исследователей, некоторые прошли базовую процедуру адаптации, некоторые прошли процедуру адаптации исследователей и получили рекомендации о том, когда им следует или не следует доверяйте ИИ, а остальным давали только рекомендации.
Только процедура подключения исследователей без рекомендаций значительно повысила точность пользователей, повысив их производительность при выполнении задачи прогнозирования светофора примерно на 5 процентов, не замедляя их работу. Однако адаптация оказалась не столь эффективной для задачи ответов на вопросы. Исследователи полагают, что это связано с тем, что модель искусственного интеллекта ChatGPT к каждому ответу предоставила пояснения, показывающие, следует ли ей доверять.
Но предоставление рекомендаций без онбординга имело противоположный эффект: пользователи не только работали хуже, но и тратили больше времени на составление прогнозов.
«Когда вы даете кому-то только рекомендации, создается впечатление, что они запутываются и не знают, что делать. Это срывает их процесс. Людям также не нравится, когда им говорят, что делать, и это тоже важный фактор», — Мозаннар говорит.
Предоставление рекомендаций само по себе может навредить пользователю, если эти рекомендации неверны, добавляет он. С другой стороны, при адаптации самым большим ограничением является объем доступных данных. По его словам, если данных недостаточно, этап адаптации будет не таким эффективным.
В будущем он и его коллеги хотят провести более масштабные исследования, чтобы оценить краткосрочные и долгосрочные последствия адаптации. Они также хотят использовать немаркированные данные для процесса адаптации и найти методы, позволяющие эффективно сократить количество регионов, не пропуская при этом важные примеры.
