Николас Карр - Стеклянная клетка. Автоматизация и мы

Люди сами отнюдь этически не безупречны и часто совершают безнравственные поступки – иногда от беспомощности и безрассудства, иногда – преднамеренно. Это привело некоторых философов к мысли о том, что скорость, с какой роботы могут перебирать возможные решения, вычислять вероятности и взвешивать последствия, позволит машинам более рационально, чем человеку, подходить к выбору возможных действий. В этом взгляде есть зерно истины. В некоторых ситуациях, например там, где речь идет о деньгах и собственности, быстрое вычисление вероятностей оказывается достаточным для выбора действий, ведущих к оптимальному результату. Но вот другой пример: люди несутся через перекресток, когда желтый свет светофора меняется на красный, увеличивая тем самым вероятность дорожно-транспортного происшествия. Компьютер никогда не позволит себе такого опрометчивого действия. Моральные проблемы в большинстве своем намного сложнее. Попытка решить их математически приводит к фундаментальному вопросу: кто может определить «оптимальность» или «рациональность» того или иного действия в морально двусмысленной ситуации? Кто должен программировать совесть роботов? Их производители? Владельцы? Политики и законодатели? Может быть, философы? Страховые агенты?

Совершенных нравственных алгоритмов не существует, в настоящее время нет возможности свести этику к набору правил. Философы пытались сделать это в течение многих столетий, но потерпели фиаско. Любые самые холодные расчеты зависят от ценностей и интересов человека, принимающего решение. Рациональный выбор страховой компании может в случае наезда на собаку не совпасть с решением человека – не важно, сделал он его с расчетом или просто рефлекторно. «В эпоху роботов, – замечает политолог Чарльз Рубин, – люди все чаще будут сталкиваться с требованиями морали» [3].

Тем не менее такие алгоритмы придется – волей-неволей – писать. Мысль о том, что человек сумеет вычислить наиболее достойные выходы из моральных тупиков, может показаться упрощенной или даже отталкивающей, но роботам и программам придется просчитывать способы решения моральных проблем. До тех пор пока искусственный интеллект не обретет некоего подобия сознания и не будет способен чувствовать или хотя бы имитировать такие эмоции, как привязанность или жалость, никаких перспектив у наших электронных родственников не будет. Люди могут сколько угодно горевать о том, что предоставили автоматам возможность принимать морально значимые решения до того, как научили их нравственности, но власть выработанных тысячелетиями этических норм остается доминантой. Если выпустить машины в самостоятельное плавание, то придется перевести моральные коды в коды компьютерных программ.

Вот другой сценарий. Представим себе батальон, составленный из людей и солдат-роботов. В составе батальона есть взвод «компьютерных снайперов», занявших позиции на перекрестках и крышах домов города, который батальон защищает от нападения партизан. Один из роботов берет на лазерный прицел человека в гражданской одежде, держащего в руке мобильный телефон. Человек ведет себя – с точки зрения военного опыта – достаточно подозрительно. Робот, оценив текущую ситуацию и просмотрев базу данных о поведении террористов в таких случаях, мгновенно подсчитывает, что 68 % вероятность того, что это террорист, готовый привести в действие взрыватель бомбы, и 32 % – что это мирный житель, не замышляющий ничего дурного. В этот момент на улицу въезжает бронетранспортер с взводом солдат. Если человек готов взорвать бомбу, то рвануть может в любой момент. Война не имеет кнопки «пауза». Здесь нет места человеческим рассуждениям. Робот должен действовать. Что прикажет программа его винтовке: стрелять или не стрелять?

Если гражданские люди еще могут рассуждать об этических следствиях внедрения самоуправляющихся автомобилей и других самостоятельных роботов, то у военных нет времени на такие размышления. В течение многих лет Министерство обороны и военные академии изучают методы и последствия наделения боевых машин правом принимать решения о жизни и смерти. Ракеты и бомбы, сбрасываемые с беспилотных самолетов, давно уже никого не удивляют, хотя и стали предметом ожесточенных дебатов. У обеих сторон есть веские аргументы. Сторонники наделения машин таким правом утверждают, что беспилотники позволяют уменьшить потери в живой силе, а точность ударов сокращает масштабы разрушений и жертв по сравнению с традиционными способами ведения боевых действий. Противники считают такое бомбометание санкционированным государством массовым убийством. Они утверждают, что ракеты и бомбы часто убивают и ранят мирных жителей. Правда, надо сказать, что такие ракетные удары не являются автоматизированными, они просто подчиняются дистанционному управлению. Самолеты летят самостоятельно и сканируют местность, над которой пролетают, но решение о нанесении удара принимают военнослужащие, сидящие перед мониторами и выполняющие приказы командиров. В их понимании современные беспилотные самолеты-ракетоносцы ничем не отличаются от крылатых ракет и другого вооружения. На гашетку и спусковой крючок нажимают все же люди, а не машины.

Радикальные изменения наступят, когда компьютер начнет нажимать на кнопку. Полностью автоматизированная, управляемая компьютером убивающая машина – то, что военные называют смертоносными автономными роботами. С технической точки зрения сегодня они вполне возможны, и создать их не представляет никакого труда. Уже сейчас с самолетов можно с большим разрешением сканировать поле боя и выявлять возможные цели. Механизмы автоматической стрельбы тоже существуют. Нетрудно написать программы для выполнения орудийного выстрела или пуска ракеты. Для компьютера решение о пуске не отличается от решения продать акцию или отправить полученное письмо в папку «спам». Алгоритм есть алгоритм.

В 2013 году Кристоф Хейнс, южноафриканский правовед, работающий над темой внесудебных решений, издал доклад о статусе и перспективах развития военных роботов [4]. От чтения этого сухого бесстрастного доклада по спине бегут мурашки: «Правительства, способные выпускать смертоносные автономные роботы, – писал Хейнс, – утверждают, что в настоящее время не рассматривается вопрос об их применении в вооруженных конфликтах или в каких-либо иных ситуациях. Однако история вооружений, – продолжает он, – позволяет предположить, что людям не следует слишком серьезно относиться к таким прогнозам. Надо помнить, что аэропланы и беспилотные самолеты поначалу использовались в вооруженных конфликтах только для разведки, а их боевое применение исключалось ввиду возможных негативных последствий. Опыт, однако, подтверждает, что, когда технология позволяет получить преимущество перед противником, подобные рассуждения просто отбрасываются в сторону. Как только появляется новый тип оружия, немедленно начинается гонка вооружений. В этой ситуации сила соблюдения собственных интересов может свести на нет всякие усилия по контролю над вооружением и его боевым применением».