Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня

87. Применение всеподавляющей силы может, как было доказано, быть контрпродуктивным – как, например, в контексте демонстраций, когда, как предупреждают психологи, это может вызывать эскалацию применения контрсилы [67]. В ситуациях военных действий отсутствие у государства, применяющего БАРС, законной человеческой цели на поля боя может выливаться в нападении на гражданское население как на «наилучшие возможные цели», и применение БАРС тем самым может стимулировать ответные действия, возмездие и терроризм [68].

88. Преимущества государств, обладающих БАРС, по сравнению с другими государствами необязательно будут иметь постоянный характер. Существует возможность распространения таких систем и обладания ими другими государствами, причем не только теми, которым первые передадут или продадут их. Другие государства, вероятно, будут разрабатывать свою собственную технологию боевой автономной робототехники, в частности с разной степенью программирования для соблюдения МГП и с потенциальными проблемами совместимости алгоритмов, если БАРС противоборствующих сторон будут противостоять друг другу. Существует также потенциальная опасность приобретения БАРС негосударственными субъектами, которые в меньшей степени будут склонны соблюдать режимы регулирования, обеспечивающие контроль и транспарентность.

G. Исключение человека из процесса принятия решений

89. Исходная посылка большинства правовых, моральных и иных кодексов заключается в том, что когда на карту поставлена жизнь человека или речь идет об иных серьезных последствиях решений для людей, полномочия по принятию решений должны осуществляться людьми. Согласно Гаагской конвенции (IV) любой комбатант должен находиться под командованием «лица, ответственного за своих подчиненных». Клаузулой Мартен-са, давней и имеющей обязательную силу нормой МГП, предусмотрено требование, касающееся применения в вооруженном конфликте «принципа человечности» [69]. Исключение человека из процесса принятия решений создает опасность лишения процесса принятия решений его «человечности».

90. По мнению философа Питера Асаро, в МГП, таким образом, содержится имплицитное требование относительно того, что решения о применении смертоносной силы должны приниматься человеком и что этот процесс не может делегироваться аппаратам. Согласно такой аргументации принятие решения о применении смертоносной силы не человеком является имманентно произвольным и как следствие любая гибель людей в этом случае является произвольным актом лишения жизни [70].

91. Рассмотрение вопроса о БАРС неразрывно связано с вопросом о роли технологии в современном мире. Хотя в современной жизни аппараты помогают принимать многие решения, они в основном используются только в тех случаях, когда есть необходимость обеспечить механическое наблюдение (например, в качестве судьи на линии в спортивных соревнованиях), а не в ситуациях, требующих вынесения ценностных суждений с далеко идущими последствиями (например, в процессе вынесения решений в ходе рассмотрения дел в суде). В качестве более общего доказательства важности прямого контакта между людьми можно сослаться на то, что в правовых системах во всем мире стараются избегать заочных судебных процессов. Разумеется, роботы уже в значительной мере затрагивают нашу жизнь, в том числе и своим воздействием на решения, касающиеся жизни и смерти. Роботизированная хирургия, например, является растущей отраслью медицины, и роботы все шире используются в операциях по спасению жизни после стихийных бедствий [71]. Однако ни в каком из этих случаев роботы не принимают решения, предполагающего убийство, и поэтому БАРС заключают в себе совершенно новую перспективу.

92. Даже если исходить из того, что БАРС – особенно когда они действуют бок о бок с человеком – могут соблюдать требования МПГ, и если можно доказать, что их применение в среднем и в совокупности будет спасать жизни, напрашивается вопрос, не порочно ли изначально оставлять за автономными машинами решение вопроса о том, кого и когда убивать. Озабоченности, изложенные в предшествующих пунктах, связаны прежде всего с защитой гражданского населения. Вопрос в данном случае заключается в том, является ли применение БАРС против кого-либо, включая солдат противника, в принципе приемлемым, поскольку это влечет за собой вынесение решения о применении смертоносной силы автоматизированными системами.

93. Важнейшее соображение состоит в следующем: если ответ на данный вопрос является отрицательным, то никакое другое соображение не может служить обоснованием применения БАРС, независимо от степени технического совершенства их операционных возможностей. Если раньше был выдвинут тот довод, что применение БАРС может привести к вакууму правовой ответственности, то тезис в данном случае заключается в том, что применение БАРС может также имплицировать наличие вакуума моральной ответственности.

94. Такой подход зиждется на убеждении, что решение начать применение смертоносной силы должен где-то принимать человек и в результате субъективизировать (или взять на себя ответственность за) потерю каждой жизни в ходе военных действий как часть дебилеративного процесса человеческого общения. Это справедливо даже для вооруженного конфликта. Делегирование такого процесса машинам еще больше дегуманизи-рует вооруженный конфликт и исключает момент делиберации в тех случаях, когда она может быть практически возможной. Машины лишены нравственности и смертности и в результате не должны иметь власти над людьми при решении вопросов жизни и смерти. Это относится к числу причин, в силу которых были запрещены противопехотные мины [72].

95. Использование таких продиктованных эмоциями терминов, как «роботы-убийцы», вполне можно подвергать критике. Однако нельзя игнорировать силу интуитивных реакций, которые могут быть вызваны применением БАРС. Применение БАРС характеризуют как равносильное отношению к людям, как к «вредителям», подлежащим «истреблению» [73]. Из таких характеристик складывается такой образ БАРС, будто они являются своего рода механизированными пестицидами.

96. Опыт двух мировых войн прошлого столетия может служить объяснением рационального требования, согласно которому люди должны субъек-тивизировать потери во время вооруженного конфликта и тем самым считать себя и свои общества ответственными за такие потери. После этих войн, в ходе которых стало наглядным опустошение, к которому может привести современная технология, люди, лично принимавшие главные военные решения, будучи преисполнены решимости «избавить грядущие поколения от бедствий войны», решили создать Организацию Объединенных Наций в целях обеспечения мира во всем мире и основать ее на принципах прав человека. Хотя вооруженные конфликты сегодня отнюдь не стали явлением прошлого, мир в течение почти 70 лет был избавлен от глобальной войны. Приверженность достижению этой цели можно понимать как следствие долговременного и, по существу, межпоколенческого воздействия настойчивого утверждения принципа ответственности человека за принятие решений, предполагающих совершение убийства.