Новый метод сравнивает рассуждения модели машинного обучения с рассуждениями человека

Прочитано: 122 раз(а)


В машинном обучении понимание того, почему модель принимает определенные решения, часто так же важно, как и правильность этих решений. Например, модель машинного обучения может правильно предсказать, что поражение кожи является раковым, но она могла бы сделать это, используя несвязанную точку на клинической фотографии.

Хотя существуют инструменты, помогающие экспертам разобраться в рассуждениях модели, часто эти методы дают представление только об одном решении за раз, и каждое из них необходимо оценивать вручную. Модели обычно обучаются с использованием миллионов входных данных, что делает практически невозможным для человека оценку достаточного количества решений для выявления закономерностей.

Теперь исследователи из Массачусетского технологического института и IBM Research создали метод, который позволяет пользователю собирать, сортировать и ранжировать эти отдельные объяснения для быстрого анализа поведения модели машинного обучения . Их метод, называемый общим интересом, включает количественные показатели, которые сравнивают, насколько хорошо рассуждения модели соответствуют рассуждениям человека.

Общий интерес может помочь пользователю легко выявить тенденции в принятии решений моделью — например, возможно, модель часто сбивает с толку отвлекающие, не относящиеся к делу функции, такие как фоновые объекты на фотографиях. Объединение этих сведений может помочь пользователю быстро и количественно определить, заслуживает ли доверия модель и готова ли она к развертыванию в реальной ситуации.

«При разработке Shared Interest наша цель состоит в том, чтобы иметь возможность масштабировать этот процесс анализа, чтобы вы могли понять на более глобальном уровне, каково поведение вашей модели», — говорит ведущий автор Энджи Боггуст, аспирант группы визуализации Лаборатория компьютерных наук и искусственного интеллекта (CSAIL).

Боггуст написала статью вместе со своим советником Арвиндом Сатьянараяном, доцентом компьютерных наук, который возглавляет группу визуализации, а также с Бенджамином Гувером и старшим автором Хендриком Стробельтом, оба из IBM Research. Документ будет представлен на конференции по человеческому фактору в вычислительных системах.

Боггуст начал работать над этим проектом во время летней стажировки в IBM под руководством Стробельта. Вернувшись в Массачусетский технологический институт, Боггуст и Сатьянараян расширили проект и продолжили сотрудничество со Стробельтом и Гувером, которые помогли развернуть тематические исследования, показывающие, как этот метод можно использовать на практике.

Выравнивание человека и ИИ

Shared Interest использует популярные методы, которые показывают, как модель машинного обучения принимает конкретное решение, известные как методы значимости. Если модель классифицирует изображения, методы значимости выделяют области изображения, которые важны для модели, когда она принимала решение. Эти области визуализируются в виде тепловой карты, называемой картой заметности, которая часто накладывается на исходное изображение. Если модель классифицировала изображение как собаку и голова собаки выделена, это означает, что эти пиксели были важны для модели, когда она решила, что изображение содержит собаку.

Shared Interest работает путем сравнения методов значимости с достоверными данными. В наборе данных изображения достоверные данные обычно представляют собой созданные человеком аннотации, окружающие соответствующие части каждого изображения. В предыдущем примере коробка окружала всю собаку на фотографии. При оценке модели классификации изображений функция Shared Interest сравнивает данные значимости, сгенерированные моделью, и наземные данные, сгенерированные человеком, для одного и того же изображения, чтобы увидеть, насколько хорошо они совпадают.

Этот метод использует несколько показателей для количественной оценки этого соответствия (или несоответствия), а затем сортирует конкретное решение по одной из восьми категорий. Категории варьируются от полностью ориентированных на человека (модель делает правильный прогноз, а выделенная область на карте заметности идентична сгенерированному человеком блоку) до полностью отвлеченных (модель делает неправильный прогноз и не использует никакого изображения). функции, найденные в созданной человеком коробке).

«На одном конце спектра ваша модель приняла решение по той же причине, что и человек, а на другом конце спектра ваша модель и человек принимают это решение по совершенно разным причинам. изображений в вашем наборе данных, вы можете использовать эту количественную оценку для их сортировки», — объясняет Боггуст.

Этот метод работает аналогично с текстовыми данными, где выделяются ключевые слова вместо областей изображения.

Экспресс-анализ

Исследователи использовали три тематических исследования, чтобы показать, как Shared Interest может быть полезен как для неспециалистов, так и для исследователей машинного обучения.

В первом тематическом исследовании они использовали Shared Interest, чтобы помочь дерматологу определить, следует ли ему доверять модели машинного обучения, предназначенной для диагностики рака по фотографиям поражений кожи. Общий интерес позволил дерматологу быстро увидеть примеры правильных и неправильных прогнозов модели. В конце концов, дерматолог решил, что не может доверять модели, потому что она делает слишком много прогнозов, основанных на артефактах изображения, а не на реальных поражениях.

«Ценность здесь в том, что, используя общий интерес, мы можем увидеть, как эти закономерности проявляются в поведении нашей модели. Примерно через полчаса дерматолог смог принять уверенное решение о том, доверять модели или нет. чтобы развернуть его», — говорит Боггуст.

Во втором тематическом исследовании они работали с исследователем машинного обучения, чтобы показать, как общий интерес может оценить конкретный метод значимости, выявив ранее неизвестные подводные камни в модели. Их техника позволила исследователю проанализировать тысячи правильных и неправильных решений за долю времени, требуемого типичными ручными методами.

В третьем тематическом исследовании они использовали общий интерес, чтобы глубже погрузиться в конкретный пример классификации изображений. Манипулируя областью достоверности изображения, они смогли провести анализ «что, если», чтобы увидеть, какие особенности изображения были наиболее важны для конкретных прогнозов.

Исследователи были впечатлены тем, насколько хорошо Shared Interest показал себя в этих тематических исследованиях, но Боггуст предупреждает, что этот метод хорош настолько, насколько хороши методы выделения значимости, на которых он основан. Если эти методы содержат предвзятость или неточны, то «Общий интерес» унаследует эти ограничения.

В будущем исследователи хотят применять Shared Interest к различным типам данных, в частности к табличным данным, которые используются в медицинских записях. Они также хотят использовать Shared Interest, чтобы помочь улучшить существующие методы заметности. Боггуст надеется, что это исследование вдохновит на дальнейшую работу, направленную на количественную оценку поведения модели машинного обучения способами, понятными людям.

Новый метод сравнивает рассуждения модели машинного обучения с рассуждениями человека



Новости партнеров