Может ли машина быть расистом? ИИ демонстрирует тревожные признаки предвзятости, но есть причины для оптимизма.
Однажды в середине 2013 года четыре человека, в том числе два полицейских и социальный работник, без предупреждения прибыли в дом жителя Чикаго Роберта Макдэниела.
У Макдэниела были лишь незначительные стычки с законом — уличные азартные игры, хранение препаратов запрещенных, ничего даже отдаленно насильственного. Но его посетители сообщили ему, что компьютерная программа определила, что человек, живущий по его адресу, с необычайной вероятностью может быть причастен к будущей стрельбе.
Возможно, он был бы преступником, возможно, жертвой. Компьютер не был уверен. Но из-за того, что называется «прогностической полицией», социальный работник и полиция будут навещать его на регулярной основе.
Макдэниел не был в восторге ни от того, ни от другого, но компьютер принял решение, так что от этих предложений он не мог отказаться.
Социальный работник часто возвращался с рекомендациями по программам психического здоровья, программам предотвращения насилия, программам профессиональной подготовки и так далее. Полиция также часто возвращалась, чтобы напомнить ему, что за ним следят.
Официальное внимание не осталось незамеченным в районе Макдэниела. Ходили слухи, что он осведомитель полиции. В 2017 году эти слухи привели к тому, что его застрелили. В 2020 году это случилось снова.
Таким образом, в причудливом смысле можно сказать, что предсказание компьютера вызвало трагедию, которую, как он утверждал, предсказывало. Действительно, можно сказать, что это вызвало его дважды.
Расистские машины?
Мы не ошиблись бы, если бы интерпретировали историю Макдэниела как кафкианский кошмар о человеке, захваченном неумолимой бюрократической машиной, или как фаустовскую притчу о том, что происходит, когда технология выходит из-под контроля человека.
Но, по словам профессора журналистики данных и опытного ученого-компьютерщика Мередит Бруссард , это также и, что, возможно, более важно, история о расизме.
Когда в 2013 году к его двери подошла полиция, Роберт Макдэниел был не просто обычным мужчиной. Он был молодым темнокожим мужчиной, живущим в районе, который был сформирован постыдной историей расистской красной черты . В результате этот район стал местом непропорционально высокого уровня преступного насилия и полицейского надзора. Таким образом, Макдэниелу было суждено стать мишенью технологической прогностической полиции, которая привела к его расстрелу.
И, как утверждает Бруссард, то, что случилось с Робертом Макдэниелом, — лишь один пример того, как ИИ увеличивает и усугубляет неравенство, характерное для современной социальной жизни.
Не беспокойтесь о том, что машины восстанут, возьмут власть и создадут совершенно новый мир, утверждает Бруссард. Беспокоитесь о том, что они будут молча воспроизводить и усиливать уже существующий мир.
Техношовинизм
На первый взгляд представление о том, что машина может быть расистской, сексистской, эйблистской или предвзятой, кажется немного странной.
Наука, технологии и особенно математика представлены нам как золотые стандарты нейтральности. Они не судят. Они вычисляют. А расчет по определению выше грязного мира фанатизма и нетерпимости, ненависти и разделения.
По мнению Бруссара, этот ход мыслей является удобным обманом. Его цель состоит в том, чтобы скрыть все более распространенный способ мышления, который Бруссард называет «техношовинизмом». Она объясняет, что техношовинизм — это своего рода предубеждение, согласно которому вычислительные решения превосходят все другие решения. В основе этого предубеждения лежит априорное предположение, что компьютеры лучше людей.
Точнее, предполагается, что «люди, которые создают и программируют компьютеры, лучше других людей».
Математика сама по себе может быть нейтральной. Но как только он находит какое-либо применение, он становится носителем человеческих ценностей, человеческих предрассудков и человеческих слабостей.
Критические исследования ИИ
«Больше, чем сбой» вносит свой вклад в быстро расширяющуюся область исследований и активизма, которую по-разному называют критическими исследованиями алгоритмов , критическими исследованиями данных и критическими исследованиями ИИ.
Сюда мы могли бы включить такие важные работы, как « Алгоритмы угнетения » Сафии Умоджи Ноубл (2018 г.), в которых показано, как кажущиеся беспристрастными инструменты сортировки информации увековечивают систематический расизм, «Эпоха слежки за капитализмом» Сошаны Зубофф ( 2018 г.), в которой утверждается, что большие данные трансформируют сам человеческий опыт в излишек, который современный капитализм может извлечь в виде прибыли, и Атлас ИИ Кейт Кроуфорд (2021), в котором предлагается подходить к ИИ не как к набору компьютерных программ, а как к интегрированной экологии материальных отношений между людьми и миром.
Есть даже популярный документальный фильм « Закодированная предвзятость» (2020) режиссера Шалини Кантайя, в котором, среди прочего, участвует сама Бруссард.
Среди этой впечатляющей компании книга Бруссара выделяется, по крайней мере, двумя элементами: необычайно широким охватом, с одной стороны, и серьезным подходом как к проблеме, так и к ее решению, с другой.
Запеченный в предвзятости
Экспансивность подхода Бруссард просматривается в ее тезисе, который она прямо заявляет в самом начале: «Предубеждения, заложенные в технологии, — это больше, чем просто сбои; они заложены с самого начала».
По крайней мере, часть причины этого «закоренелого» предубеждения можно найти в демографических данных тех, кто работает в этой области. Годовой отчет Google за 2019 год, например, показал, что только 3% сотрудников технологического гиганта являются чернокожими, что является общим для всей отрасли недостатком.
Более лично Бруссард отмечает, что, будучи студенткой Гарварда, она была одной из шести женщин, специализирующихся в области компьютерных наук, и единственной чернокожей женщиной.
Было много благонамеренных дискуссий о необходимости сделать технологии «более этичными» или «более справедливыми», но Бруссард утверждает, что реальные изменения потребуют гораздо более систематического «аудита», призванного определить, «насколько они расистские, гендерно предвзятый, или эйблист»:
«Мы не должны уступать контроль над основными гражданскими функциями этим техническим системам, и мы не должны заявлять, что они «лучше» или «более новаторские», до тех пор, пока эти технические системы не будут работать для каждого человека, независимо от цвета кожи, класса, возраста, пола, и способности».
Бруссард продолжает объяснять основные принципы ИИ и машинного обучения, а также математику, на которой они основаны. Она ни в коем случае не технофоб; она явно обладает огромными знаниями и уважением к рассматриваемой науке. Но она также настаивает на том, что наука не может быть чисто математической. Он также опирается на «рассказывание историй».
По мнению Бруссара, «мы понимаем количественное через качественное». Численность всегда будет иметь преимущество перед установленным порядком. И они всегда будут подчинять или полностью упускать из виду то, что Бруссард называет «пограничными случаями».
Но именно крайние случаи, или те случаи, которые статистика и вероятность не могут не оттеснить на обочину, представляют потенциал как для угнетения, так и для изменений.
Повседневные алгоритмы
Далее следует каталог примеров того, как технология искусственного интеллекта не учитывает человеческое разнообразие и воспроизводит социальное неравенство.
Технологии распознавания лиц и биометрической идентификации, например, неоднократно демонстрировали свою нелепую несостоятельность при работе с кем-либо, кроме белых цис-гендерных людей.
Здесь цифровое изображение четко вписывается в долгую историю дискриминационных фотографических и кинотехнологий, разработанных небольшой частью людей и для небольшой части людей. Результатом является не просто отсутствие представительства. Последствия конкретны и очень разрушительны, особенно когда рассматриваемые технологии передаются в руки правоохранительных органов.
Но если мы сосредоточимся исключительно на наиболее сенсационном использовании (и неудачах) ИИ, мы упустим ту степень, в которой он проник почти во все аспекты нашей повседневной жизни, включая, конечно, маркетинг и политику, а также образование, медицину, трудоустройство. , экономика, транспорт и более или менее все, что мы делаем с нашими мобильными телефонами, что означает более или менее все, что мы делаем, с полной остановкой.
Чтобы исследовать повседневное использование ИИ, Бруссард сплетает воедино истории, анекдоты и виньетки, взятые как из ее исследований, так и из ее личного опыта.
С помощью этих историй она показывает, как ИИ в настоящее время используется, среди прочего, для выставления учащимся воображаемых оценок — или оценок, основанных не на их достижениях, а на том, что предсказывает статистически обученный алгоритм, которого они достигнут. Он также используется для определения кандидатов на работу, которым будет предоставлено собеседование, и проведения медицинской диагностики, предполагающей устаревшие представления о расе, поле и способностях.
Независимо от того, что мы делаем в современном мире, кажется, что почти всегда в фоновом режиме работает алгоритм, генерирующий результаты, которые во многом определяют наши действия и решения. И почти всегда это делается в ущерб и без того обездоленным группам.
Реформа ИИ
Это подводит нас к серьезному подходу Бруссард и ее оптимизму в отношении возможности изменения систем, которые она описывает.
Бесспорно, трудно не быть ошеломленным кажущимся непреодолимым ходом технологического развития в современном мире, особенно вокруг ИИ и всего, что он, кажется, готов заново изобрести. Но цинизм также может быть укрытием для привилегий, и те, кто в отчаянии говорят, что ничего нельзя сделать, часто получают наибольшую выгоду от того, что ничего не делается.
Имея это в виду, Бруссард стремится различать «воображаемый» или «общий ИИ» и «реальный» или «узкий ИИ».
Первый — это «ИИ, который захватит мир, так называемая сингулярность, при которой роботы становятся неуправляемыми и необратимыми — роботами-убийцами — и так далее». Это, говорит она, не реально. «Настоящий ИИ, который у нас есть и который мы используем каждый день», — не что иное, как «математика».
Иными словами, ИИ не является волшебным. Это сложная машина для обнаружения образов. И хотя он может обнаруживать «структуры, которые люди не могут легко увидеть», и, таким образом, функционировать как своего рода «черный ящик», это не означает, что его «невозможно описать » .
По той же причине Бруссард уверен, что люди могут и должны относиться к ИИ как к инструменту. В конечном счете, думает она, это не более чем отражение тех, кто его использует. Если оно предвзято, то только потому, что оно является продуктом предвзятого общества. И она будет меняться именно по мере изменения общества.
Технологии, заключает Бруссард, «являются расистскими, сексистскими и эйбилистскими, потому что таков мир. Компьютеры просто отражают существующую реальность и предполагают, что все останется по-прежнему — они предсказывают статус-кво. будучи более разборчивыми в отношении технологий, которые мы допускаем в нашу жизнь и наше общество, мы можем использовать технологии, чтобы перестать воспроизводить мир таким, какой он есть, и приблизиться к миру, который действительно более справедлив».
Один вопрос
Это единственное место, где я был бы склонен задать вопрос. Хотя политическая программа Бруссард безупречна, ее подход к технологиям кажется скорее гуманистическим и инструментальным.
В течение очень долгого времени исследователи науки и техники — Донна Харауэй , Фридрих Киттлер и Бруно Латур , и это лишь некоторые из них, — предполагали, что, поскольку мы создаем и используем технологии, технологии также создают и используют нас.
Вопрос о том, как люди получат ИИ под свой контроль или как мы будем направлять его для достижения наших этических и политических целей, совершенно отличается от вопроса о том, как та же технология изменит то, что значит быть человеком, и то, как мы живем в связи с этим. друг другу и нашим мирам.
Ни одно из направлений расследования не должно считаться превосходящим. Но трудно представить, как далеко идешь за одним, не встретившись хотя бы с другим. Казалось бы, уместно провести более содержательный диалог между подходом, представленным Бруссаром, и подходом, представленным теми из нас, кто придерживается традиции таких фигур, как Харрауэй, Киттлер и Латур.
