В 1946 году New York Times раскрыла один из главных секретов Второй мировой войны — «удивительную машину, которая впервые применяет электронные скорости к математическим задачам, которые до сих пор были слишком сложными и громоздкими для решения». Один из создателей машины предположил, что ее цель — « заменить, насколько это возможно, человеческий мозг ». Хотя эта ранняя версия компьютера не заменила человеческий мозг, она открыла новую эру, в которой, по словам историка Джилл Лепор , «технологические изменения значительно превзошли человеческую способность к моральным расчетам».

Эта эпоха продолжается с применением машинного обучения к вопросам управления и контроля. Применение машинного обучения в некоторых областях уже стало реальностью — например, военно-воздушные силы США использовали его в качестве « рабочего члена экипажа » на военном самолете, а армия США использует его для выбора подходящего «стрелка». для цели, идентифицированной верхним датчиком. Военные делают успехи в использовании алгоритмов машинного обучения для управления роботизированными системами, анализа больших наборов данных, прогнозирования угроз и формирования стратегии. Использование алгоритмов в этих и других областях открывает потрясающие военные возможности — от экономии человеко-часов при планировании до превосходства над пилотами-людьми в воздушных боях.к использованию « семантического двигателя множества гипотез » для улучшения нашего понимания глобальных событий и тенденций. Тем не менее, с возможностью машинного обучения возникает этический риск — военные могут отдать выбор жизни и смерти алгоритмам, а отказ от выбора лишает себя статуса морального деятеля.

До сих пор споры о роли алгоритмов в выборе поля битвы были либо — либо : либо алгоритмы должны делать выбор жизни и смерти, потому что нет другого способа идти в ногу на все более автономном поле битвы, либо люди должны создавать жизнь и -смерть выбора, потому что нет другого способа сохранить моральное положение на войне. Это ложная дихотомия. Выбор — это не единственная вещь, которую можно передать ни алгоритмам, ни людям. На всех уровнях принятия решений (т. Е. Тактическом, оперативном и стратегическом) выбор является результатом процесса, состоящего из нескольких этапов. Вопрос не в том , должны ли алгоритмы или люди делать выбор жизни и смерти, а в том, какие шаги в этом процессе.каждый должен нести ответственность. Разбивая выбор на составные части — и обучая военнослужащих науке о принятии решений, — военные могут как увеличить скорость принятия решений, так и сохранить моральный авторитет. В этой статье предлагается, как это сделать. В нем описываются составные компоненты выбора, а затем обсуждается, какие из этих компонентов должны выполняться алгоритмами машинного обучения, а какие требуют участия человека.

Какие бывают решения и что нужно для их принятия

Представьте себе летчика-истребителя, охотящегося за ракетами земля-воздух. Когда пилот атакует, он определяет, что его выбор, по сравнению с другими возможностями перед ним, максимизирует ожидаемую чистую выгоду или полезность. Она может неосознанно обрабатывать решение в этих условиях и может не делать расчет идеально, но, тем не менее, она определяет, какое решение оптимизирует ожидаемые затраты и выгоды. Чтобы было ясно, пример летчика-истребителя не ограничивает обсуждение. Базовый концептуальный процесс одинаков, независимо от того, являются ли лица, принимающие решения, спусковыми крючками на передовой или командирами в удаленных операционных центрах. Масштабы и особенности решения меняются на более высоких уровнях ответственности, конечно, от риска одной единицы к многим или риска жизни одного постороннего к риску сотен.

Первый шаг — перечислить альтернативы, доступные лицу, принимающему решение. У пилота-истребителя, опять же, например, может быть две альтернативы: атаковать ракетную систему с относительно более безопасного дальнего приближения или атаковать с близкого расстояния с большим риском, но с большей вероятностью успешной атаки. Второй шаг — выбрать каждую из этих альтернатив и определить соответствующие возможные результаты . В этом случае соответствующие результаты пилота могут включать в себя уничтожение ракеты при выживании, уничтожение ракеты без выживания, неспособность убить систему, но выживание, и, наконец, неспособность убить ракету, но также и неспособность выжить.

Третий шаг — сделать оценку условной вероятности или оценку вероятности каждого результата, предполагающего данную альтернативу. Если пилот подойдет близко, какова вероятность, что он убьет ракету и выживет? Какова такая же вероятность атаки с большого расстояния? И так для каждого исхода каждой альтернативы.

Пока пилот определила, что она может сделать, что может произойти в результате и насколько вероятен каждый результат. Теперь ей нужно сказать, насколько она ценит каждый результат. Для этого ей нужно определить, насколько она заботится о каждом измерении ценности, которое играет в выборе, что, в очень упрощенном виде, является преимуществом для миссии, которое происходит от уничтожения ракеты, и ценой, которую приносит в жертву своей жизнью, жизни выбранных комбатантов и посторонних лиц. Недостаточно сказать, что уничтожение ракеты выгодно, а жертва жизни стоит дорого. Ей нужно объединить выгоды и затраты в одну общую метрику, иногда называемую полезностью, чтобы можно было напрямую сравнивать ценность одного со значением другого. Это относительное сравнение называется ценностным компромиссом., четвертый шаг в этом процессе. Независимо от того, находится ли лицо, принимающее решения, на тактическом преимуществе или принимает решения на высоком уровне, компромисс принимает одну и ту же базовую форму: лицо, принимающее решения, взвешивает ценность достижения военной цели с ценой долларов и жизней (дружественный, противник , и гражданское) необходимо для его достижения. Этот компромисс является одновременно этическим и военным суждением: он ставит цену за жизнь, в то же время как за военную цель.

После того, как эти четыре шага выполнены, рациональный выбор — вопрос довольно простой математики. Коммунальные услуги взвешиваются по вероятности исхода — результаты с высокой вероятностью приобретают больший вес и с большей вероятностью повлияют на окончательный выбор.

Важно отметить, что как для людей, так и для машин, принимающих решения, «рациональный» не обязательно то же самое, что «этический» или «успешный». Процесс рационального выбора — лучший способ в условиях неопределенности оптимизировать то, что, по словам лиц, принимающих решения, они ценят. Это не способ сказать, что у человека правильные ценности, и это не гарантирует хорошего результата. Хорошие решения все равно иногда приводят к плохим результатам, но этот процесс принятия решений оптимизирует результаты в долгосрочной перспективе.

По крайней мере, в ВВС США пилоты сознательно не выполняют ожидаемые расчеты полезности в кабине. Также неразумно предполагать, что они должны — выполнение миссии достаточно сложно. Для людей, принимающих решения, явная проработка этапов расчетов ожидаемой полезности непрактична, по крайней мере, на поле боя. А вот с машинами — другая история. Если военные хотят использовать алгоритмы для достижения скорости принятия решений в бою, им необходимо сделать компоненты решения вычислительно управляемыми, то есть четыре вышеуказанных шага необходимо свести к цифрам. Возникает вопрос, можно ли представить числа таким образом, чтобы объединить скорость, которую могут принести машины, с этическим суждением, которое могут предоставить только люди.

Где алгоритмы лучше и где необходимо человеческое суждение

Компьютерным наукам и наукам о данных предстоит пройти долгий путь, чтобы реализовать предполагаемые здесь возможности машинного обучения и представления данных. Министерству обороны следует продолжать вкладывать значительные средства в исследования и разработку возможностей моделирования и симуляции. Однако при этом мы предлагаем, чтобы алгоритмы составляли список альтернатив, определяли соответствующие возможные результаты и давали оценки условной вероятности (первые три шага рационального принятия решений) с периодическим вмешательством человека. Четвертый шаг определения ценности должен оставаться исключительной сферой человеческого суждения.

Машины должны генерировать альтернативы и результаты, потому что они лучше всего подходят для сложности и обработки на основе правил, которые требуются для этих шагов. В приведенном выше упрощенном примере было только две возможные альтернативы (атака с близкого или дальнего расстояния) с четырьмя возможными исходами (убить ракету и выжить, убить ракету и не выжить, не убить ракету и выжить, и не действовать). t убить ракету и не выжить). Реальность будущего боя, конечно, будет намного сложнее. Машины будут лучше подходить для преодоления этой сложности, изучения множества решений и освещения вариантов, которые военные, возможно, не рассматривали. Однако это не означает, что люди не будут играть никакой роли на этих этапах. Машины должны будут делать предположения и выбирать отправные точки при создании альтернатив и результатов.

Машины явно лучше подходят для третьего шага — оценки вероятностей различных результатов. Человеческие суждения о вероятности обычно основываются на эвристике , например, о том, как доступные примеры хранятся в памяти, а не на более точных показателях, таких как соответствующие базовые ставки или как часто данное событие исторически происходило. Люди еще хуже, когда дело доходит до понимания вероятностей цепочки событий. Даже относительно простая комбинация двух условных вероятностей недостижима.большинства людей. Когда нерепрезентативные обучающие данные кодируют предвзятость в результирующих алгоритмах, люди могут лучше подготовиться для распознавания и исправления. Но даже в этом случае отклонения должны быть незначительными, а не полный отказ от алгоритмических оценок в пользу интуиции. Вероятность, как и деление в столбик, лучше оставить машинам.

В то время как машины берут на себя инициативу, когда на этапах с первого по третий время от времени участвует человек, на четвертом этапе — компромиссах — все наоборот. Это связано с тем, что компромисс между ценностями учитывает как этическую, так и военную сложность, как уже знают многие командиры. Даже при наличии точной информации (например, миссия будет успешной, но это будет стоить жизни пилоту) командиры все еще не могут решить, какое решение принять. Действительно, следует ли и как идти на такие компромиссы, — это суть этических теорий, таких как деонтология или консеквенциализм . И приоритезация которых военные цели наиболее эффективно привести к успеху (однако определенного) является всегда конфликтной и важной частью военного планирования.

Пока командиры и операторы несут ответственность за компромиссы, они могут сохранять контроль и ответственность за этичность решения, даже если они становятся менее вовлеченными в другие компоненты процесса принятия решений. Следует отметить, что этот контроль и ответственность могут быть заранее встроены в функцию полезности, позволяя системам при необходимости работать со скоростью машины.

Путь вперед

Включение машинного обучения и искусственного интеллекта в процессы принятия военных решений будет далеко не простым делом, но это возможно и в военной необходимости. Китай и Россия используют машинное обучение, чтобы ускорить процесс принятия решений , и, если США не поспешат за этим, они рискуют оказаться в очень невыгодном положении на будущих полях сражений.

Военные могут обеспечить успех машинного выбора, убедившись, что соответствующее разделение труда между людьми и машинами хорошо понимается как лицами, принимающими решения, так и разработчиками технологий.

Военным следует начать с расширения программ развивающего обучения, чтобы они строго и постоянно охватывали науку о принятии решений , что ВВС начали делать на своих сессиях Pinnacle, своей образовательной программе для руководителей с двумя и тремя звездами. Лица, принимающие военные решения, должны изучить шаги, описанные выше, а также научиться распознавать и контролировать врожденные предубеждения, которые могут повлиять на решение, если есть место для человеческого вмешательства. Десятилетия научных исследований в области принятия решений показали, что интуитивное принятие решений изобилует систематическими предубеждениями, такими как самоуверенность , иррациональное внимание к невозвратным затратам и изменения в предпочтении риска, основанные только на том, как оформлен выбор. Эти предубеждения не ограничиваются только людьми. Алгоритмы также могут показать их, когда данные обучения отражают предубеждения, типичные для людей. Даже когда алгоритмы и люди разделяют ответственность за решения, правильное принятие решений требует понимания и готовности бороться с влиянием предвзятости.

Военным также следует требовать от разработчиков технологий соблюдения этических норм и ответственности. Разработчики должны быть в состоянии показать, что составленные алгоритмически списки альтернатив, результатов и оценок вероятности не имеют предвзятости, способствующей бессмысленному уничтожению. Кроме того, любая система, нацеленная на целеуказание, или сочетание военных целей с возможными средствами воздействия на эти цели, должна иметь возможность продемонстрировать четкую линию ответственности перед лицом, принимающим решения, ответственным за применение силы. Одним из способов сделать это является разработка систем с поддержкой машинного обучения на основе модели принятия решений, описанной в этой статье, которая поддерживает подотчетность людей, принимающих решения, с помощью их перечисленных ценностей. Для этого командиры должны настаивать на сохранении способности адаптировать вводимые данные. Если возможности ввода не будут интуитивно понятными, командиры и войска вернутся к более простым, проверенным в боях инструментам, с которыми они более удобны — тем же старым радиостанциям или оружию или, для принятия решения, слайд-декам. Разработчики могут помочь сделать оценки вероятностей более интуитивными,предоставление их в наглядной форме . Точно так же они могут сделать ценностные компромиссы более интуитивно понятными, предлагая различные гипотетические ( но реалистичные ) варианты, чтобы помочь лицам, принимающим решения, уточнить свои оценочные суждения.

Незавидная задача командиров состоит в том, чтобы представить ряд потенциальных результатов с учетом их конкретного контекста и присвоить числовую оценку или «полезность», чтобы между ними можно было провести значимые сравнения. Например, командир может оценить 1000 очков за уничтожение авианосца противника и -500 очков за потерю истребителя. Если это точное отражение ценностей командира, ей должно быть безразлично между атакой без потерь истребителей и уничтожением одного вражеского авианосца и атакой, которая уничтожает два авианосца, но стоит ей двух истребителей. Оба оцениваются одинаково в 1000 баллов. Если командир решительно предпочитает один исход другому, тогда баллы следует скорректировать, чтобы лучше отразить ее фактические значения, иначе алгоритм, использующий эту систему баллов, сделает выбор несовместимым со значениями командира. Это всего лишь один пример того, как добиться компромиссов, но ключевым моментом является то, что компромиссы должны быть даны в точных терминах.

Наконец, военные должны уделять особое внимание тому, чтобы помогать лицам, принимающим решения, овладеть своей ролью оценщиков ценностей, особенно в отношении решений, сосредоточенных на том, чьей жизнью рисковать, когда и для какой цели. В парадигме командования и управления в будущем от лиц, принимающих решения, вероятно, потребуется документировать такие компромиссы в явной форме, чтобы машины могли их понять (например, «Я признаю, что существует 12-процентная вероятность, что вы не сможете выжить в этой миссии, но я считаю, что ценность цели стоит риска »).

Если лица, принимающие решения на тактическом, оперативном или стратегическом уровнях, не осознают или не желают платить эти этические издержки, то конструкция машинного выбора рухнет. Он потерпит крах либо потому, что машины не могут помочь человеческому выбору без явных компромиссов, либо потому, что лица, принимающие решения, и их институты будут этически скомпрометированы, позволив машинам скрыть компромиссы, подразумеваемые их моделями ценности. Ни один из результатов не является приемлемым. Скорее, как учреждение, военные должны придерживаться необходимой прозрачности, которая связана с обязанностью выносить перечисленные суждения о жизни и смерти. Парадоксально, но документирование толерантности к риску и присвоения ценностей может способствовать увеличению автономии подчиненных во время конфликта. Основное преимущество формального моделирования компромиссов в отношении ценности лица, принимающего решения, состоит в том, что оно позволяет подчиненным — и, возможно, даже автономным машинам — действовать в отсутствие лица, принимающего решения. Этот автоматизированный процесс принятия решений обеспечивает децентрализованное выполнение в масштабе, который лучше отражает ценности лидера, чем даже самые тщательно разработанные правила ведения боя или намерения командира. До тех пор, пока компромиссы могут быть связаны с лицом, принимающим решения, этическая ответственность лежит на этом лице.

Сохранение выдающихся ценностей

Электронный числовой интегратор и компьютер, ставшие теперь артефактом истории, были «совершенно секретом», раскрытым New York Times в 1946 году. Несмотря на то, что компьютер был важен как машина, истинное значение компьютера заключалось в его символике. Это олицетворяет способность технологий опережать лиц, принимающих решения, и иногда тащить их туда, куда они не хотели.

Военные должны идти вперед, вкладывая средства в машинное обучение, но при этом уделяя особое внимание примату командирских ценностей. Если американские военные хотят идти в ногу с Китаем и Россией в этом вопросе, они не могут позволить себе откладывать разработку машин, предназначенных для выполнения сложных, но не вызывающих возражений компонентов процесса принятия решений — определения альтернатив, результатов и вероятностей. Точно так же, если он хочет сохранить свое моральное положение в этой алгоритмической гонке вооружений, он должен гарантировать, что компромисс между ценностями остается обязанностью командиров. Обучение профессиональному развитию вооруженных сил США должно также начать обучение лиц, принимающих решения, тому, как наиболее эффективно поддерживать ответственность за простые, но неприятные компоненты оценочных суждений в конфликте.

Мы воодушевлены продолжающимися дебатами и тяжелыми дискуссиями о том, как наилучшим образом использовать невероятные достижения в области ИИ, машинного обучения, компьютерного зрения и подобных технологий для раскрытия самой ценной военной системы вооружений — мужчин и женщин, которые служат в военной форме. Военным следует сейчас предпринять шаги для обеспечения того, чтобы эти люди и их ценности оставались ключевыми игроками в войне.

 

Мнения, выраженные здесь, принадлежат исключительно авторам.