Модели машинного обучения могут потерпеть неудачу, когда пытаются делать прогнозы для людей, недостаточно представленных в наборах данных, на которых они обучались.

Например, модель, которая предсказывает наилучший вариант лечения для человека с хроническим заболеванием, может быть обучена с использованием набора данных, содержащего в основном пациентов мужского пола. Такая модель может делать неверные прогнозы для пациентов женского пола при развертывании в больнице.

Чтобы улучшить результаты, инженеры могут попробовать сбалансировать набор данных обучения , удаляя точки данных, пока все подгруппы не будут представлены одинаково. Хотя балансировка набора данных является многообещающей, она часто требует удаления больших объемов данных, что вредит общей производительности модели.

Исследователи MIT разработали новую методику, которая определяет и удаляет определенные точки в обучающем наборе данных, которые вносят наибольший вклад в неудачи модели в подгруппах меньшинств. Удаляя гораздо меньше точек данных, чем другие подходы, эта методика сохраняет общую точность модели, одновременно улучшая ее производительность в отношении недостаточно представленных групп.

Кроме того, этот метод может выявить скрытые источники смещения в обучающем наборе данных, в котором отсутствуют метки. Немаркированные данные гораздо более распространены, чем маркированные данные для многих приложений.

Этот метод также можно объединить с другими подходами для повышения справедливости моделей машинного обучения , используемых в ситуациях с высокими ставками. Например, когда-нибудь это поможет гарантировать, что недостаточно представленные пациенты не будут неправильно диагностированы из-за предвзятой модели ИИ.

«Многие другие алгоритмы, которые пытаются решить эту проблему, предполагают, что каждая точка данных имеет такое же значение, как и все остальные точки данных. В этой статье мы показываем, что это предположение неверно.

«В нашем наборе данных есть определенные точки, которые способствуют этому смещению, и мы можем найти эти точки данных, удалить их и улучшить производительность», — говорит Кимия Хамидие, аспирантка факультета электротехники и компьютерных наук (EECS) Массачусетского технологического института и соавтор статьи об этой методике, размещенной на сервере препринтов arXiv .

Она написала статью совместно с соавторами: доктором философии (2024) Саачи Джейном и аспирантом EECS Кристианом Георгиевым; Эндрю Ильясом, магистром наук (2018), доктором философии (2023), стипендиатом Stein в Стэнфордском университете; и старшими авторами: Марзие Гассеми, доцентом EECS и членом Института медицинских инженерных наук и Лаборатории информационных и принимающих систем, а также Александром Мадри, профессором Cadence Design Systems в Массачусетском технологическом институте.

Исследование будет представлено на конференции по нейронным системам обработки информации ( NeurIPS 2024 ), которая пройдет в Ванкувере 10–15 декабря.

Удаление плохих примеров

Часто модели машинного обучения обучаются с использованием огромных наборов данных, собранных из множества источников в Интернете. Эти наборы данных слишком велики, чтобы их можно было тщательно отбирать вручную, поэтому они могут содержать плохие примеры, которые вредят производительности модели.

Ученые также знают, что некоторые точки данных влияют на производительность модели при выполнении определенных последующих задач больше, чем другие.

Исследователи MIT объединили эти две идеи в подход, который выявляет и удаляет эти проблемные точки данных. Они стремятся решить проблему, известную как ошибка худшей группы, которая возникает, когда модель неэффективно работает на подгруппах меньшинства в обучающем наборе данных.

Новая методика исследователей основана на предыдущей работе, в которой они представили метод TRAK, который определяет наиболее важные обучающие примеры для конкретного выходного сигнала модели.

В рамках этой новой методики они берут неверные прогнозы модели относительно подгрупп меньшинств и используют TRAK для определения того, какие обучающие примеры внесли наибольший вклад в этот неверный прогноз.

«Объединив эту информацию о плохих прогнозах тестов правильным образом, мы можем найти конкретные части обучения, которые снижают общую точность худшей группы», — объясняет Ильяс.

Затем они удаляют эти конкретные образцы и заново обучают модель на оставшихся данных.

Поскольку наличие большего количества данных обычно обеспечивает более высокую общую производительность, удаление только тех образцов, которые приводят к худшему результату в группе, сохраняет общую точность модели, одновременно повышая ее производительность в подгруппах меньшинства.

Более доступный подход

В трех наборах данных машинного обучения их метод превзошел несколько методов. В одном случае он повысил точность худшей группы, удалив примерно на 20 000 меньше обучающих образцов, чем традиционный метод балансировки данных. Их метод также достиг более высокой точности, чем методы, требующие внесения изменений во внутреннюю работу модели.

Поскольку метод MIT предполагает изменение набора данных, его будет проще использовать практикующему специалисту, и его можно применять ко многим типам моделей.

Его также можно использовать, когда смещение неизвестно, поскольку подгруппы в обучающем наборе данных не помечены. Определив точки данных, которые вносят наибольший вклад в признак, который изучает модель, они могут понять переменные, которые она использует для прогнозирования.

«Это инструмент, который может использовать каждый при обучении модели машинного обучения. Он может посмотреть на эти точки данных и увидеть, соответствуют ли они возможностям, которым он пытается обучить модель», — говорит Хамидие.

Использование метода для обнаружения неизвестных предубеждений подгрупп потребует интуитивного понимания того, какие группы следует искать, поэтому исследователи надеются подтвердить его и изучить более полно в ходе будущих исследований на людях.

Они также хотят повысить производительность и надежность своей методики и гарантировать, что метод будет доступен и прост в использовании для специалистов, которые когда-нибудь смогут применить его в реальных условиях.

«Когда у вас есть инструменты, которые позволяют критически взглянуть на данные и выяснить, какие точки данных приведут к предвзятости или другому нежелательному поведению, это дает вам первый шаг к построению моделей, которые будут более справедливыми и надежными», — говорит Ильяс.