В 1956 году, во время годовой поездки в Лондон, когда ему было немного за 20, математик и биолог-теоретик Джек Д. Коуэн посетил Уилфреда Тейлора и его странную новую « обучающуюся машину ». По прибытии он был сбит с толку «огромным набором аппаратуры», стоявшей перед ним. Коуэн мог только стоять и смотреть, как «машина делает свое дело». Похоже, он выполнял «схему ассоциативной памяти» — казалось, что он может научиться находить связи и извлекать данные.

Это могло выглядеть как неуклюжие блоки схем, спаянные вручную в массу проводов и коробок, но то, что видел Коуэн, было ранней аналоговой формой нейронной сети — предшественником самого передового искусственного интеллекта современности, включая много обсуждался ChatGPT с его способностью генерировать письменный контент в ответ практически на любую команду. В основе технологии ChatGPT лежит нейронная сеть .

Когда Коуэн и Тейлор стояли и наблюдали за работой машины, они действительно понятия не имели, как именно она справляется с этой задачей. Ответ на вопрос о загадочном машинном мозге Тейлора можно найти где-то в его «аналоговых нейронах», в ассоциациях, создаваемых его машинной памятью, и, что наиболее важно, в том факте, что его автоматизированное функционирование не может быть полностью объяснено. Этим системам потребуются десятилетия, чтобы найти свое предназначение и раскрыть эту силу.

Термин «нейронная сеть» включает в себя широкий спектр систем, но, по мнению IBM , эти «нейронные сети, также известные как искусственные нейронные сети (ИНС) или моделируемые нейронные сети (СНС) — являются подмножеством машинного обучения и находятся на самом высоком уровне. сердце алгоритмов глубокого обучения». Важно отметить, что сам термин, их форма и «структура вдохновлены человеческим мозгом , имитируя то, как биологические нейроны подают сигналы друг другу».

Возможно, на начальных этапах существовали некоторые остаточные сомнения в их ценности, но по прошествии лет мода на ИИ прочно сместилась в сторону нейронных сетей. Теперь их часто понимают как будущее ИИ. Они имеют большое значение для нас и для того, что значит быть человеком. Недавно мы услышали отголоски этих опасений с призывами приостановить новые разработки ИИ на шестимесячный период, чтобы убедиться в их последствиях.

Безусловно, было бы ошибкой отвергать нейронную сеть как средство исключительно для блестящих, привлекательных новых гаджетов. Они уже прочно вошли в нашу жизнь. Некоторые сильны в своей практичности. Еще в 1989 году группа под руководством Яна Лекуна из AT&T Bell Laboratories использовала методы обратного распространения для обучения системы распознаванию рукописных почтовых индексов . Недавнее заявление Microsoft о том, что поиск в Bing будет осуществляться с помощью ИИ, что сделает его вашим «вторым пилотом для Интернета», иллюстрирует, как вещи, которые мы обнаруживаем, и то, как мы их понимаем, все чаще будут продуктом этого типа автоматизации.

Использование обширных данных для поиска закономерностей ИИ можно аналогичным образом обучить делать такие вещи, как распознавание изображений на скорости, в результате чего они включаются , например, в распознавание лиц . Эта способность идентифицировать закономерности привела ко многим другим приложениям, таким как предсказание фондовых рынков .

Нейронные сети также меняют то, как мы интерпретируем и общаемся. Google Translate , разработанный командой Google Brain Team с интересным названием , является еще одним выдающимся приложением нейронной сети.

Вы бы не хотели играть с ним в шахматы или сёги. Их понимание правил и умение запоминать стратегии и все записанные ходы означают, что они исключительно хороши в играх (хотя ChatGPT, кажется, борется с Wordle). Системы, которые беспокоят людей, играющих в го (го — общеизвестно сложная стратегическая настольная игра) и шахматных гроссмейстеров, сделаны из нейронных сетей .

Но их охват выходит далеко за рамки этих случаев и продолжает расширяться. Поиск патентов, ограниченный только упоминаниями точной фразы «нейронные сети», дает 135 828 результатов. С этим быстрым и продолжающимся расширением шансы на то, что мы сможем полностью объяснить влияние ИИ, могут стать еще меньше. Именно эти вопросы я изучаю в своем исследовании и в своей новой книге об алгоритмическом мышлении .

Таинственные пласты «непознаваемости»

Оглядываясь назад на историю нейронных сетей, мы узнаем нечто важное об автоматизированных решениях, определяющих наше настоящее или о тех, которые, возможно, окажут более глубокое влияние в будущем. Их присутствие также говорит нам о том, что со временем мы, вероятно, будем еще меньше понимать решения и влияние ИИ. Эти системы не просто черные ящики, это не просто скрытые части системы, которые невозможно увидеть или понять.

Это что-то другое, что-то, уходящее корнями в цели и дизайн самих этих систем. Существует давняя погоня за необъяснимым. Чем непрозрачнее, тем более аутентичной и продвинутой считается система. Речь идет не только об усложнении систем или о контроле над интеллектуальной собственностью, ограничивающей доступ (хотя они и являются его частью). Вместо этого следует сказать, что этос, движущий ими, имеет особый и встроенный интерес к «непознаваемости». Тайна даже закодирована в самой форме и дискурсе нейронной сети. Они приходят с глубоко нагроможденными слоями — отсюда и фраза «глубокое обучение» — и в этих глубинах есть еще более загадочно звучащие «скрытые слои». Тайны этих систем лежат глубоко под поверхностью.

Вполне вероятно, что чем большее влияние искусственный интеллект окажет на нашу жизнь, тем меньше мы будем понимать, как и почему. Сегодня существует сильный толчок для ИИ, который объясним. Мы хотим знать, как это работает и как оно приводит к решениям и результатам. ЕС настолько обеспокоен потенциально «неприемлемыми рисками» и даже «опасными» приложениями, что в настоящее время продвигает новый закон об искусственном интеллекте , призванный установить «глобальный стандарт» для «разработки безопасного, надежного и этичного искусственного интеллекта».

Эти новые законы будут основаны на необходимости объяснимости, требуя, чтобы «для систем ИИ с высоким риском требования высокого качества данных, документации и прослеживаемости, прозрачности, человеческого надзора, точности и надежности были строго необходимы для снижения рисков для основные права и безопасность, создаваемые ИИ». Речь идет не только о таких вещах, как самоуправляемые автомобили (хотя системы, обеспечивающие безопасность, попадают в категорию искусственного интеллекта с высоким риском в ЕС), но и о том, что в будущем появятся системы, которые будут иметь последствия для прав человека.

Это часть более широких призывов к прозрачности ИИ, чтобы его деятельность можно было проверять, проверять и оценивать. Другим примером может служить политический брифинг Королевского общества по объяснимому ИИ , в котором они отмечают, что «политические дебаты во всем мире все чаще вызывают призывы к той или иной форме объяснимости ИИ в рамках усилий по внедрению этических принципов в разработку и развертывание ИИ. включенные системы».

Но история нейронных сетей говорит нам о том, что в будущем мы скорее отдалимся от этой цели, чем приблизимся к ней.

Вдохновленный человеческим мозгом

Эти нейронные сети могут быть сложными системами, но у них есть некоторые основные принципы. Вдохновленные человеческим мозгом, они стремятся скопировать или смоделировать формы биологического и человеческого мышления. С точки зрения структуры и дизайна они, как также объясняет IBM , состоят из «узловых слоев, содержащих входной слой, один или несколько скрытых слоев и выходной слой». При этом «каждый узел или искусственный нейрон соединяется с другим». Поскольку им требуются входные данные и информация для создания выходных данных, они «полагаются на обучающие данные, чтобы учиться и улучшать свою точность с течением времени». Эти технические детали имеют значение, но не меньшее значение имеет и желание смоделировать эти системы на основе сложностей человеческого мозга.

Понимание амбиций, стоящих за этими системами, жизненно важно для понимания того, что эти технические детали стали означать на практике. В интервью 1993 года специалист по нейронным сетям Теуво Кохонен пришел к выводу, что «самоорганизующаяся» система «это моя мечта», действующая «что-то вроде того, что наша нервная система делает инстинктивно». В качестве примера Кохонен изобразил, как «самоорганизующаяся» система, система, которая сама себя контролировала и управляла, «может использоваться в качестве контрольной панели для любой машины… в каждом самолете, реактивном самолете, каждой атомной электростанции, или каждой машина.» Это, по его мнению, будет означать, что в будущем «вы сможете сразу увидеть, в каком состоянии находится система».

Главной целью было создание системы, способной адаптироваться к окружающей среде. Оно было бы мгновенным и автономным, работающим в стиле нервной системы. Это была мечта — иметь системы, которые могли бы работать сами по себе без особого вмешательства человека. Сложности и неизвестность мозга, нервной системы и реального мира вскоре станут основой для разработки и проектирования нейронных сетей.

«Что-то подозрительное в этом»

Но возвращаясь к 1956 году и к этой странной самообучающейся машине, именно практический подход, который Тейлор применил при ее создании, сразу же привлек внимание Коуэна. Он явно потел над сборкой деталей. Тейлор, как заметил Коуэн во время интервью со своей стороны в истории этих систем, «не делал этого с помощью теории и не делал этого на компьютере». Вместо этого, имея инструменты в руках, он «фактически построил оборудование». Это была материальная вещь, комбинация частей, возможно, даже приспособление. И все это было «все сделано с использованием аналоговых схем», что потребовало у Тейлора, отмечает Коуэн, «несколько лет, чтобы построить его и поиграть с ним». Случай проб и ошибок.

Понятно, что Коуэн хотел разобраться в том, что он видел. Он пытался заставить Тейлора объяснить ему эту обучающую машину. Разъяснений не последовало. Коуэн не мог заставить Тейлора описать ему, как это работает. Аналоговые нейроны оставались загадкой. Более удивительная проблема, по мнению Коуэна, заключалась в том, что Тейлор «сам не понимал, что происходит». Это был не просто кратковременный сбой в общении между двумя учеными разных специальностей, это было нечто большее.

В интервью середины 1990-х годов , вспоминая машину Тейлора, Коуэн сказал, что «по сей день в опубликованных статьях вы не можете полностью понять, как она работает». Этот вывод наводит на мысль о том, как неизвестное глубоко укоренилось в нейронных сетях. Необъяснимость этих нейронных систем присутствовала даже на фундаментальных стадиях и стадиях развития, насчитывающих почти семь десятилетий.

Эта загадка остается и сегодня, и ее можно найти в развивающихся формах ИИ. Непостижимость функционирования ассоциаций, созданных машиной Тейлора, заставила Коуэна задуматься, не было ли в этом «чего-то подозрительного».

Длинные и запутанные корни

Коуэн упомянул о своем кратком визите к Тейлору, когда несколько лет спустя его спросили о восприятии его собственной работы. В 1960-х годах люди, как размышлял Коуэн, «немного не сразу поняли суть аналоговой нейронной сети». И это несмотря на то, вспоминает Коуэн, что работа Тейлора 1950-х годов над «ассоциативной памятью» была основана на «аналоговых нейронах». Лауреат Нобелевской премии эксперт по нейронным системам Леон Н. Купер пришел к выводу , что разработки, связанные с применением модели мозга в 1960-х годах, считались «одними из глубоких загадок». Из-за этой неопределенности оставался скептицизм в отношении того, чего может достичь нейронная сеть. Но постепенно все начало меняться.

Около 30 лет назад нейробиолог Уолтер Дж. Фримен, который был удивлен «замечательным » спектром применений нейронных сетей, уже комментировал тот факт, что он не видел в них «принципиально новый вид машина.» Они шли медленно: сначала появилась технология, а затем для нее были найдены последующие приложения. Это заняло время. Действительно, чтобы найти корни технологии нейронных сетей, мы могли бы вернуться еще дальше, чем визит Коуэна к таинственной машине Тейлора.

Исследователь нейронных сетей Джеймс Андерсон и научный журналист Эдвард Розенфельд отметили , что история создания нейронных сетей восходит к 1940-м годам и некоторым ранним попыткам, как они описывают, «понимать нервную систему человека и создавать искусственные системы, которые действуют так, как мы делаем, по крайней мере, немного». Итак, в 1940-х годах загадки нервной системы человека также стали загадками вычислительного мышления и искусственного интеллекта.

Подводя итог этой длинной истории, писатель-информатик Ларри Хардести отметил , что глубокое обучение в форме нейронных сетей «входит в моду и выходит из нее уже более 70 лет». В частности, добавляет он, эти «нейронные сети были впервые предложены в 1944 году Уорреном Маккаллохом и Уолтером Питтсом, двумя исследователями из Чикагского университета, которые переехали в Массачусетский технологический институт в 1952 году в качестве основателей того, что иногда называют первым отделом когнитивных наук».

В других местах 1943 год иногда называют первым годом технологии. В любом случае, в течение примерно 70 лет отчеты свидетельствуют о том, что нейронные сети то входили, то выходили из моды, часто ими пренебрегали, но иногда завоевывали популярность и переходили в более массовые приложения и дебаты. Неопределенность сохранялась. Эти ранние разработчики часто описывают важность своих исследований как недооцененные, пока они не нашли свою цель, часто годы, а иногда и десятилетия спустя.

Переходя от 1960-х к концу 1970-х, мы можем найти новые истории о неизвестных свойствах этих систем. Даже тогда, спустя три десятилетия, нейронная сеть все еще не нашла смысла. Дэвид Румельхарт, имевший психологическое образование и соавтор серии книг, опубликованных в 1986 году, которые позже снова привлекли внимание к нейронным сетям, обнаружил, что сотрудничает в разработке нейронных сетей со своим коллегой Джеем Макклелландом .

Помимо того, что они были коллегами, они также недавно встретились друг с другом на конференции в Миннесоте, где речь Румельхарта о «понимании истории» вызвала некоторую дискуссию среди делегатов.

После этой конференции Макклелланд вернулся с мыслью о том, как разработать нейронную сеть, которая могла бы объединять модели, чтобы сделать их более интерактивными. Здесь важны воспоминания Румельхарта о «часах, часах и часах возни с компьютером».

Мы сели и сделали все это на компьютере и построили эти компьютерные модели, и мы просто не понимали их. Мы не понимали, почему они работали или не работали, и что в них критического.

Как и Тейлор, Румелхарт обнаружил, что возится с системой. Они тоже создали функционирующую нейронную сеть, и, что особенно важно, они также не были уверены, как и почему она работает именно так, как она работала, по-видимому, изучая данные и находя ассоциации.

Имитация мозга — слой за слоем

Возможно, вы уже заметили, что при обсуждении происхождения нейронных сетей образ мозга и сложность, которую он вызывает, всегда рядом. Человеческий мозг выступал своего рода шаблоном для этих систем. В частности, на ранних стадиях мозг — все еще один из самых неизвестных — стал моделью того, как может функционировать нейронная сеть.

Таким образом, эти экспериментальные новые системы были смоделированы по образцу чего-то, чье функционирование само по себе было в значительной степени неизвестно. Инженер-нейрокомпьютерщик Карвер Мид красноречиво высказался о концепции «когнитивного айсберга», которую он нашел особенно привлекательной. Это только верхушка айсберга сознания, которую мы осознаем и видим. Масштаб и форма остальных остаются неизвестными под поверхностью.

В 1998 году Джеймс Андерсон , некоторое время работавший над нейронными сетями, заметил, что, когда дело доходит до исследования мозга, «нашим главным открытием, похоже, является осознание того, что мы действительно не знаем, что происходит».

В подробном отчете в Financial Times в 2018 году журналист по технологиям Ричард Уотерс отметил, что нейронные сети «смоделированы на основе теории о том, как работает человеческий мозг, передавая данные через слои искусственных нейронов до тех пор, пока не появится идентифицируемый шаблон». Это создает серьезную проблему, как предположил Уотерс, поскольку «в отличие от логических схем, используемых в традиционных программах, нет способа отследить этот процесс, чтобы точно определить, почему компьютер выдает тот или иной ответ». Вывод Уотерса состоит в том, что эти исходы нельзя разобрать. Применение такого типа модели мозга, когда данные проходят через множество слоев, означает, что ответ не может быть легко получен. Многослойность является хорошей частью причины этого.

Хардести также заметил, что эти системы «приблизительно моделируются человеческим мозгом». Это порождает стремление к еще большей сложности обработки, чтобы попытаться соответствовать мозгу. Результатом этой цели является нейронная сеть, которая «состоит из тысяч или даже миллионов простых узлов обработки, тесно связанных между собой». Данные проходят через эти узлы только в одном направлении. Хардести заметил, что «отдельный узел может быть подключен к нескольким узлам нижнего уровня, от которых он получает данные, и к нескольким узлам верхнего уровня, которым он отправляет данные».

Модели человеческого мозга были частью того, как эти нейронные сети были задуманы и спроектированы с самого начала. Это особенно интересно, если принять во внимание, что мозг сам по себе был загадкой того времени (и во многих отношениях остается ею до сих пор).

«Адаптация — это вся игра»

Такие ученые, как Мид и Кохонен, хотели создать систему, которая действительно могла бы адаптироваться к миру, в котором она оказалась. Он будет реагировать на его условия. Мид ясно понимал, что ценность нейронных сетей заключается в том, что они могут облегчить этот тип адаптации. В то время, размышляя об этих амбициях, Мид добавил , что создание адаптации «это вся игра». Эта адаптация необходима, думал он, «из-за природы реального мира», который, как он заключил, «слишком изменчив, чтобы сделать что-либо абсолютным».

С этой проблемой нужно было считаться, тем более, что, по его мнению, «нервная система уже давно разобралась». Эти новаторы не только работали с изображением мозга и его неизвестными, они сочетали это с видением «реального мира» и неопределенностей, неизвестных и изменчивости, которые это приносит. Системы, по мнению Мида, должны быть в состоянии реагировать и адаптироваться к обстоятельствам без инструкций.

Примерно в то же время в 1990-х Стивен Гроссберг — эксперт по когнитивным системам, работающий в области математики, психологии и биомедицинской инженерии, — также утверждал, что адаптация станет важным шагом в долгосрочной перспективе. Гроссберг, работая над моделированием нейронных сетей, подумал про себя, что все это «о том, как биологические системы измерения и управления спроектированы так, чтобы быстро и стабильно адаптироваться в реальном времени к быстро меняющемуся миру». Как мы видели ранее в «мечте» Кохонена о «самоорганизующейся» системе, понятие «реального мира» становится контекстом, в котором реакция и адаптация кодируются в этих системах. То, как этот реальный мир понимается и представляется, несомненно, определяет то, как эти системы предназначены для адаптации.

Скрытые слои

По мере умножения слоев глубокое обучение погружалось в новые глубины. Нейронная сеть обучается с использованием обучающих данных, которые, как объяснил Хардести , «подаются на нижний слой — входной слой — и проходят через последующие слои, умножаясь и складываясь сложным образом, пока, наконец, не прибудут, радикально преобразованные. на выходном слое». Чем больше слоев, тем больше преобразование и тем больше расстояние от входа до выхода. Хардести добавил, что разработка графических процессоров (GPU), например, в играх, «позволила одноуровневым сетям 1960-х и двух- и трехуровневым сетям 1980-х расцвести до десяти, 15 или даже 50». сегодняшних многоуровневых сетей».

Нейронные сети становятся все глубже. Действительно, именно это добавление слоев, по словам Хардести, «то, к чему относится« глубокое »в« глубоком обучении »». Это важно, считает он, потому что «в настоящее время глубокое обучение отвечает за самые эффективные системы почти во всех областях исследований искусственного интеллекта».

Но тайна становится еще глубже. По мере того, как слои нейронных сетей накапливались выше, их сложность росла. Это также привело к росту так называемых «скрытых слоев» в этих глубинах. Обсуждение оптимального количества скрытых слоев в нейронной сети продолжается. Медиа-теоретик Беатрис Фази писала, что «из-за того, как работает глубокая нейронная сеть, полагаясь на скрытые нейронные слои, зажатые между первым слоем нейронов (входным слоем) и последним слоем (выходным слоем), методы глубокого обучения не работают. часто непрозрачны или неразборчивы даже для программистов, которые изначально их настроили».

По мере увеличения слоев (включая те скрытые слои) они становятся еще менее объяснимыми — даже, как выясняется, опять же, для тех, кто их создает. Сделав аналогичный вывод, видный и междисциплинарный мыслитель в области новых медиа Кэтрин Хейлс также отметила , что существуют пределы того, «сколько мы можем знать о системе, результат, относящийся к« скрытому слою »в нейронной сети и алгоритмы глубокого обучения».

В погоне за необъяснимым

В совокупности эти длительные разработки являются частью того, что социолог технологий Тайна Бухер назвала «проблематикой неизвестного». Расширяя свое влиятельное исследование научных знаний в области ИИ, Гарри Коллинз указал, что цель нейронных сетей состоит в том, чтобы они могли быть созданы человеком, по крайней мере, изначально, но «однажды написанная программа живет своей собственной жизнью, поскольку так оно и было; без огромных усилий то, как именно работает программа, может оставаться загадкой». В этом есть отголоски тех давних мечтаний о самоорганизующейся системе.

Я бы добавил к этому, что неизвестное и, возможно, даже непознаваемое рассматривалось как фундаментальная часть этих систем с их самых ранних стадий. Вполне вероятно, что чем большее влияние искусственный интеллект окажет на нашу жизнь, тем меньше мы будем понимать, как и почему.

Но сегодня это многих не устраивает. Мы хотим знать, как работает ИИ и как он приводит к решениям и результатам, влияющим на нас. По мере того как разработки в области ИИ продолжают формировать наши знания и понимание мира, того, что мы открываем, как с нами обращаются, как мы учимся, потребляем и взаимодействуем, этот импульс к пониманию будет расти. Когда дело доходит до объяснимого и прозрачного ИИ, история нейронных сетей говорит нам о том, что в будущем мы, скорее всего, отдалимся от этой цели, а не приблизимся к ней.