Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня

32. Вместе с тем широко признается, что существует необходимость проявлять осмотрительность и контролировать в той или иной форме использование государствами такой технологии сверх и помимо того, что предусмотрено уже действующими общими стандартами, предписанными нормами международного права. Обозреватели согласны с тем, что для выработки надлежащего подхода к БАРС требуется проведение международной дискуссии.

33. Как и в случае любой технологии, революционизирующей применение смертоносной силы, может существовать недостаточно знаний относительно связанных с такой технологией потенциальных рисков, пока эта технология не разработана, что затрудняет формулирование надлежащей ответной реакции; однако впоследствии наличие таких систем и могущество влиятельных заинтересованных кругов могут исключить возможность принятия мер, направленных на достижение надлежащего контроля [10]. Эта задача дополнительно усложняется гонкой вооружений, которая может возникнуть в том случае, если только некоторые страны будут обладать подобной оружейной технологией. Лучшего момента, чем сегодня, чтобы заняться решением этих проблем, у нас, возможно, не будет. В отличие от других революционных изменений в военной сфере, когда серьезные размышления в основном начинались после возникновения новых методов и способов ведения войны, сегодня есть возможность коллективно сделать паузу и в упреждающем порядке рассмотреть риски, связанные с БАРС. Настоящий доклад представляет собой призыв взять такую паузу, чтобы можно было серьезно и основательно заняться этим вопросом.

34. Одна из причин неотложности рассмотрения данного вопроса заключается в том, что нынешние оценки будущей роли БАРС будут затрагивать объем финансовых, людских и иных ресурсов, направляемых на разработку этой технологии в течение следующих нескольких лет. Нынешние оценки – или их отсутствие – рискуют тем самым в определенном отношении стать самосбывающимися пророчествами.

35. Предыдущий Специальный докладчик рассматривал вопрос о БАРС в его докладе в 2010 году [11], призвав, в частности, созвать группу экспертов для рассмотрения вопроса о применении робототехники и соблюдении международных норм в сфере прав человека и норм гуманитарного права [12]. В настоящем докладе это предложение поддерживается и подчеркивается, и в нем содержится призыв к государствам объявить национальные моратории на некоторые виды работ, связанных с БАРС.

36. Как и в случае БПЛА и прицельного убийства, БАРС ставят вызывающие беспокойство вопросы, касающиеся защиты жизни в соответствии с системами МППЧ и МГП. Специальный докладчик напоминает о верховенстве не допускающего отступлений права на жизнь в соответствии как с договорным, так и с международным обычным правом [13]. Произвольное лишение жизни является противоправным как в мирное время, так и в условиях вооруженного конфликта.

1. Определения

37. Хотя определения основных терминов могут различаться, нижеследующее объяснение может служить отправным пунктом [14].

38. Согласно широко распространенному определению (с которым, в частности, согласны министерство обороны Соединенных Штатов Америки и «Хьюман райтс уотч» [15]), термин БАРС означает роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара.

39. Роботы нередко характеризуются как механизмы, функционирование которых строится на основе простой парадигмы «зондирование – думанье – действие»: они имеют сенсоры, позволяющие им в определенной мере оценить ситуацию; процессоры, или искусственный интеллект, «принимающий решение» о том, как отреагировать на полученный импульс; и эффекторы, которые исполняют такие «решения» [16]. Степень автономности, которой наделяют роботов процессоры, следует рассматривать в качестве континуума между существенной вовлеченностью человека, с одной стороны, как в случае БПЛА, когда «в контуре управления» задействован человек, и полной автономностью, с другой, как в случае БАРС, когда люди находятся вне «контура управления».

40. В соответствии с предполагаемым сегодня сценарием операторы будут, по крайней мере, оставаться элементом, так сказать, «расширенного контура управления»: они будут программировать конечные цели в роботизированных системах и принимать решение о приведении систем в действие и, если необходимо, деактивировать их, а автономные оружейные системы будут преобразовывать такие цели в задачи и выполнять их, не требуя дальнейшего вмешательства оператора.

41. Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены решения может в реальных условиях быть весьма ограниченной, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может на практике быть недоступной для контролера. В таких условиях люди де-факто находятся вне контура управления, и тогда машины на деле представляют собой БАРС.

42. Термин «автономный» следует отличать от терминов «автоматический» или «автоматизированный». Автоматические системы, такие, как, например, бытовое оборудование, работают в структурированной и предсказуемой среде. Автономные системы могут функционировать в открытой среде в неструктурированных и динамичных условиях. В этом случае их действия (подобно действиям людей) могут в конечном счете быть непредсказуемыми, особенно в таких хаотичных ситуациях, как вооруженный конфликт, и тем более когда их действия зависят от действий других автономных систем.

43. Термины «автономия» и «автономный», как они используются в контексте робототехники, могут вводить в заблуждение. Они не имеют ничего общего со «свободной волей» или «нравственностью», как эти понятия используются в процессе принятия решений людьми. Более того, хотя соответствующие технологии развиваются экспонентным образом, и полная автономия непременно будет означать через 10 лет все меньшую вовлеченность человека по сравнению с сегодняшним днем, о разумных роботах, или мощном искусственном интеллекте, в настоящее время говорить не прихо-дится [17].

2. Современная технология

44. Технология в некоторых отношениях сегодня, возможно, не так развита, как об этом бытуют представления в массовой культуре, в которой роботы нередко наделяются свойствами, аналогичными человеческим, что может создать соблазн у международного сообщества ошибочно полагаться на их способности. Однако следует также напомнить о том, что в некоторых отношениях технология по своим возможностям может значительно превосходить способности человека. Технология развивается экспонентно, и невозможно с уверенностью предсказать будущее. Вследствие этого почти невозможно определить, насколько близко мы подошли к тому моменту, когда будут созданы полностью автономные роботы, готовые к применению.