Исследование, проведенное Деб Раджи, студентом четвертого курса факультета прикладной науки и техники Университета Торонто, и исследователями из Массачусетского технологического института, подчеркивает расовые и гендерные предрассудки, обнаруженные в службах распознавания лиц.

Раджи провела лето 2018 года в качестве стажера в медиа-лаборатории MIT, где проводила аудит коммерческих технологий распознавания лиц, разработанных ведущими компаниями, такими как Microsoft, IBM и Amazon. Исследователи обнаружили, что все они склонны ошибочно принимать темнокожих женщин за мужчин.

Но один сервис в частности — Rekognition от Amazon — показал более высокий уровень смещения, чем остальные. Хотя он мог идентифицировать пол светлокожих мужчин с почти 100-процентной точностью, он ошибочно классифицировал женщин как мужчин в 29% случаев, а женщин с более темной кожей — у мужчин в 31% случаев.

Недавно Rekognition был опробован полицией в Орландо, штат Флорида, с использованием этой службы в полицейских сценариях, таких как сканирование лиц на камерах и сопоставление их с лицами из криминальных баз данных.

«Тот факт, что технология плохо характеризует черных лиц, может привести к неправильной идентификации подозреваемых», — говорит Раджи. «Amazon должен оказать давление со стороны общественности, учитывая сценарии высоких ставок, в которых они используют эту технологию».

В связи с быстрым развитием и развертыванием продуктов искусственного интеллекта (ИИ) в этом новом исследовании подчеркивается необходимость не только тестировать системы на производительность, но также и на наличие потенциальных предубеждений в отношении недопредставленных групп.

Хотя алгоритмы должны быть нейтральными, Раджи объясняет, что, поскольку наборы данных — информация, используемая для «обучения» модели ИИ — получены из общества, которое все еще сталкивается с каждодневными предубеждениями, эти предубеждения становятся встроенными в алгоритмы.

«Допустим, мне нужны примеры того, как выглядит здоровая кожа. Если вы зайдете в Google сейчас, вы увидите в основном светлокожих женщин», — говорит Раджи. «Вы не увидите мужчину за страницами и не увидите темнокожую женщину, пока не прокрутите ее вниз. Если вы включите это в модель ИИ, она примет это мировоззрение и адаптирует свои решения на основе этих предубеждений». «.

Эти предубеждения должны быть вызваны так же, как если бы кто-то привлекал к ответственности человека, говорит Раджи. «Существует повышенная опасность, когда вы встраиваете эту предвзятость в алгоритм по сравнению с тем, когда человек принимает предвзятое решение. Кто-то скажет вам, что это неправильно, будь то публика или ваш начальник», — говорит она.

«С ИИ мы склонны снимать с себя эту ответственность. Никто не собирается сажать алгоритм в тюрьму».

Страсть Раджи к проблеме предвзятости в машинном обучении проистекает из ее времени, когда он учился в кооперативном учебном заведении профессионального опыта (PEY Co-op) в стартапе AI Clarifai, где тема искусственного интеллекта и этики регулярно обсуждалась в ориентированных на исследования Компания.

«Это то, что компания обратила на себя внимание, и она была очень откровенной в своем решении, и это вопрос, который лично вызвал у меня отклик, потому что я явное меньшинство», — говорит она.

Это также связано с ее личным опытом использования расистских технологий. «Я строю что-то на хакатоне и удивляюсь, почему он не может обнаружить мое лицо или почему автоматический кран не может обнаружить мою руку», — говорит она.

Раджи поделилась своим опытом с компьютерным ученым и цифровым активистом Джой Буоламвини в MIT Media Lab. Это привело к стажировке и к тому, что Раджи стал ведущим автором статьи, которую она представила на конференции Ассоциации по продвижению искусственного интеллекта по этике ИИ и обществу.

«Я знаю, похоже, я написал исследовательскую работу за три месяца», — говорит Раджи. «Но эта проблема просачивалась во мне гораздо дольше».

Раджи в настоящее время заканчивает свой последний срок в области технических наук и проводит инициативу под руководством студентов под названием Project Include, в рамках которой студенты обучаются компьютерному программированию в районах с низким доходом в Торонто и Миссиссауга. Она также является учеником Google AI. В рамках программы наставничества она работает над новым тезисом, в котором основное внимание уделяется практическим решениям для обеспечения подотчетности компаний.

«Люди иногда преуменьшают срочность, говоря:« Ну, ИИ такой новый », — говорит Раджи. «Но если вы строите мост, разрешит ли вам промышленность срезать углы и делать такие оправдания?»