Объяснения искусственного интеллекта

Прочитано: 48 раз(а)


Искусственный интеллект (ИИ) используется по-разному, например, для создания новых видов кредитных баллов, которые выходят за рамки традиционной оценки FICO. Однако, хотя эти инструменты могут эффективно и точно прогнозировать результаты, их внутренние операции часто трудно объяснить и интерпретировать. В результате растет потребность в этике и регулировании так называемого объяснимого ИИ (xAI), особенно в областях с высокими ставками.

В новой статье профессор Университета Карнеги-Меллона (CMU) предполагает, что объяснения ИИ ценны для тех, на кого повлияли решения модели, если они могут предоставить доказательства того, что прошлые неблагоприятные решения были несправедливыми. Статья опубликована в Frontiers in Psychology для специального выпуска, посвященного ИИ в бизнесе.

«Недавно законодатели в Соединенных Штатах и ​​Европейском Союзе пытались принять законы, регулирующие автоматизированные системы, включая объяснимость», — говорит Дерек Лебен, адъюнкт-профессор этики в Школе бизнеса Теппера КМУ, автор статьи. «Существует несколько действующих законов, которые налагают юридические требования на объяснимость, особенно в отношении кредита и займа, но их часто трудно интерпретировать, когда речь идет об ИИ».

В ответ на потребность в объяснимости исследователи за короткий период времени создали большой набор методов xAI. Эти методы различаются типом объяснений, которые они могут генерировать, поэтому Лебен говорит, что теперь мы должны задаться вопросом: какие типы объяснений важны для получения метода xAI?

В статье Лебен выделяет три типа объяснений. Один тип объясняет решение, указывая относительную важность его причинно-следственных связей (например, «Ваш доход в размере 40 000 долларов был наиболее важным фактором, повлиявшим на ваш отказ»). Другой тип объясняет решение, предлагая контрфактическое изменение в прошлых состояниях, которое привело бы к лучшему результату (например, «Если бы ваша зарплата была выше 50 000 долларов — при прочих равных условиях — вас бы одобрили»). Третий тип дает практические рекомендации о том, что люди могут сделать, чтобы улучшить свои будущие результаты (например, «Лучший способ улучшить свой балл — увеличить свои сбережения на 5 тысяч долларов»).

Хотя было много споров о том, какой тип объяснения является наиболее важным, Лебен поддерживает методы xAI, которые предоставляют информацию о контрфактических изменениях в прошлых состояниях на основе того, что он называет свидетельством справедливости. С этой точки зрения люди, затронутые решениями модели (модельные пациенты), могут и должны заботиться об объяснимости как о средстве для достижения цели, при этом цель должна подтверждать, что прошлое решение относилось к ним справедливо.

Противоречивые объяснения могут предоставить людям доказательства того, что прошлое решение было справедливым в двух отношениях. Во-первых, необходимо продемонстрировать, что модель привела бы к положительному решению при альтернативных условиях, находящихся под контролем модельного пациента (что автор называет положительным доказательством справедливости). Во-вторых, показать, что модель не привела бы к положительному решению при изменении нерелевантных поведенческих или групповых атрибутов (что Лебен называет отрицательным свидетельством справедливости).

Иными словами, Лебен предполагает, что методы xAI должны быть способны продемонстрировать, что решение ложно зависело от признаков, которые находились под контролем заявителя (например, просроченные платежи), и не зависело от признаков, которые носят дискриминационный характер (например, раса и пол).

Лебен говорит, что его работа имеет практическое значение. Эти идеи могут использоваться не только в законодательных усилиях и отраслевых нормах в отношении объяснимости, но и в других областях. Например, инженеры, разрабатывающие модели ИИ и связанные с ними методы xAI, могут использовать представление о справедливости для их оценки.

Объяснения искусственного интеллекта



Новости партнеров