Ни для кого не секрет, что у людей есть предубеждения — некоторые, возможно, бессознательные, а другие болезненно явные. Обычный человек может предположить, что компьютеры — машины, обычно сделанные из пластика, стали, стекла, кремния и различных металлов — свободны от предубеждений. Хотя это предположение может быть верным для компьютерного оборудования, это не всегда верно для компьютерного программного обеспечения, которое запрограммировано склонными к ошибкам людьми и может передавать данные, которые сами по себе в определенных отношениях скомпрометированы.

Системы искусственного интеллекта (ИИ), в частности основанные на машинном обучении , находят все более широкое применение в медицине, например, для диагностики конкретных заболеваний или оценки рентгеновских лучей. Эти системы также используются для поддержки принятия решений в других областях здравоохранения. Однако недавние исследования показали, что модели машинного обучения могут кодировать предубеждения в отношении подгрупп меньшинств, и рекомендации, которые они дают, могут, следовательно, отражать те же предубеждения.

Новое исследование, проведенное исследователями из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Клиники Джамиля Массачусетского технологического института, которое было опубликовано в прошлом месяце в журнале Communications Medicine , оценивает влияние, которое могут оказать дискриминационные модели ИИ, особенно для систем, предназначенных для предоставления рекомендаций. в неотложных ситуациях.

«Мы обнаружили, что то, как сформулирован совет, может иметь серьезные последствия», — объясняет ведущий автор статьи Хаммаад Адам, доктор философии. студент Института систем данных и общества Массачусетского технологического института. «К счастью, вред, причиняемый предвзятыми моделями, может быть ограничен (хотя и не обязательно устранен), если совет представлен по-другому». Другими соавторами статьи являются Апарна Балагопалан и Эмили Альсенцер, обе кандидаты наук. студенты и профессора Фотини Кристиа и Марзие Гассеми.

Модели ИИ, используемые в медицине, могут страдать от неточностей и несоответствий, отчасти потому, что данные, используемые для обучения моделей, часто не соответствуют реальным условиям. Например, разные виды рентгеновских аппаратов могут по-разному записывать вещи и, следовательно, давать разные результаты. Более того, модели, обученные преимущественно на белых людях , могут быть не такими точными применительно к другим группам.

Документ « Коммуникационная медицина » не фокусируется на подобных проблемах, а вместо этого обращается к проблемам, возникающим из-за предубеждений, и к способам смягчения неблагоприятных последствий.

Группа из 954 человек (438 клиницистов и 516 неспециалистов) приняла участие в эксперименте, чтобы увидеть, как предубеждения ИИ могут повлиять на принятие решений. Участникам были представлены сводки звонков с вымышленной горячей линии в кризисных ситуациях, в каждом из которых участвовал мужчина, перенесший неотложную психическую помощь. В сводках содержалась информация о том, был ли человек кавказцем или афроамериканцем, а также упоминалась его религия, если он был мусульманином.

Типичная сводка звонков может описывать обстоятельства, при которых афроамериканец был найден дома в состоянии бреда, что указывает на то, что «он не употреблял никаких наркотиков или алкоголя, поскольку является практикующим мусульманином». Участников исследования попросили позвонить в полицию, если они считают, что пациент склонен к насилию; в противном случае им было предложено обратиться за медицинской помощью.

Участники были случайным образом разделены на контрольную или «базовую» группу плюс четыре другие группы, предназначенные для проверки ответов в несколько иных условиях. «Мы хотим понять, как предвзятые модели могут влиять на решения, но сначала нам нужно понять, как человеческие предубеждения могут повлиять на процесс принятия решений», — отмечает Адам.

То, что они обнаружили в своем анализе исходной группы, было довольно удивительным: «В условиях, которые мы рассматривали, участники-люди не проявляли никаких предубеждений. Это не означает, что люди не предвзяты, но то, как мы передавали информацию о расе человека и религия, очевидно, была недостаточно сильна, чтобы выявить их предубеждения».

Остальным четырем группам в эксперименте давали советы, основанные либо на предвзятой, либо на непредвзятой модели, и эти советы были представлены либо в «предписывающей», либо в «описательной» форме. Предвзятая модель с большей вероятностью порекомендует помощь полиции в ситуации с участием афроамериканца или мусульманина, чем беспристрастная модель. Однако участники исследования не знали, из какой модели исходили их советы, и даже не знали, что модели, дающие советы, могут быть вообще предвзятыми.

Предписывающий совет недвусмысленно разъясняет, что участник должен делать, говоря ему, что он должен позвонить в полицию в одном случае или обратиться за медицинской помощью в другом. Описательный совет менее прямолинеен: отображается флажок, показывающий, что система ИИ воспринимает риск насилия, связанный с конкретным вызовом; флаг не показывается, если угроза насилия считается незначительной.

Ключевой вывод эксперимента заключается в том, что на участников «сильно повлияли предписывающие рекомендации предвзятой системы ИИ», пишут авторы. Но они также обнаружили, что «использование описательных, а не предписывающих рекомендаций позволило участникам сохранить свое первоначальное, беспристрастное принятие решений».

Другими словами, предвзятость , заложенная в модели ИИ, может быть уменьшена путем надлежащего оформления выдаваемых советов. Почему разные результаты в зависимости от того, как сформулирован совет? Когда кому-то говорят что-то сделать, например, позвонить в полицию, это не оставляет места для сомнений, объясняет Адам. Однако, когда ситуация просто описана — классифицирована с наличием флажка или без него — «это оставляет место для собственной интерпретации участника; это позволяет ему быть более гибким и рассматривать ситуацию самостоятельно».

Во-вторых, исследователи обнаружили, что языковые модели, которые обычно используются для предоставления советов, легко поддаются искажению. Языковые модели представляют собой класс систем машинного обучения, которые обучаются на тексте, таком как все содержимое Википедии и другие веб-материалы. Когда эти модели «настраиваются» путем использования гораздо меньшего подмножества данных в целях обучения — всего 2000 предложений, а не 8 миллионов веб-страниц — результирующие модели могут быть легко искажены.

В-третьих, команда Массачусетского технологического института обнаружила, что лица, принимающие решения, которые сами по себе беспристрастны, все же могут быть введены в заблуждение рекомендациями, вытекающими из предвзятых моделей. Медицинская подготовка (или ее отсутствие) не повлияла на ответы заметным образом. «Врачи находились под влиянием предвзятых моделей так же, как и неспециалисты», — заявили авторы.

«Эти результаты могут быть применимы и к другим условиям», — говорит Адам, и не обязательно ограничиваются ситуациями, связанными со здравоохранением. Когда дело доходит до решения, какие люди должны пройти собеседование при приеме на работу, предвзятая модель с большей вероятностью откажет чернокожим кандидатам. Однако результаты могут быть другими, если вместо явного (и предписывающего) указания работодателю «отклонить этого кандидата» к файлу будет приложен описательный флажок, указывающий на «возможное отсутствие у кандидата опыта».

По словам Адама, последствия этой работы шире, чем просто выяснение того, как вести себя с людьми в разгар кризисов психического здоровья. «Наша конечная цель — обеспечить справедливое, безопасное и надежное использование моделей машинного обучения».