Алексей Турчин - Война и еще 25 сценариев конца света

Только сверхчеловеческая система тотального контроля, созданная искусственным интеллектом, будет иммунна к таким атакам – однако в этом случае люди не смогут ее контролировать, и неизвестно, какие сбои в ней могут произойти.

Поскольку система, о которой идет речь, имеет смысл только как всемирная, то необходимым условием ее возникновения является наличие межгосударственного объединения, которое будет обладать реальными властными полномочиями. (То есть оно должно быть гораздо сильнее современной ООН.) При этом такое объединение будет иметь смысл только в том случае, если будет включать в себя все существующие государства и территории (а не просто их большую часть) и будет иметь права и ресурсы, чтобы развернуть соответствующую деятельность.

Опыт создания подобной конструкции уже есть. После 11 сентября США фактически попытались выстроить систему глобального контроля. Вначале, когда было свежо впечатление от терактов, почти все страны вступили в антитеррористическую коалицию, и она обладала силами и моральным правом атаковать те территории, которые не присоединились к ней, то есть, например, Афганистан. Затем, однако, последовала «реакция распада», так как у многих участников коалиции возникло ощущение, что их используют ради достижения совсем не тех целей, которые были заявлены вначале.

В дальнейшем, вероятно, будут и новые катастрофы, и новые коалиции, но на этом примере мы видим, какие трудности подстерегают такое объединение государств и насколько оно неустойчиво и подвержено «нецелевому» использованию.

Можно сделать следующее предположение: если бы на Земле существовало всемирное государство, то оно было бы менее подвержено такой неустойчивости. Однако такого государства нет, и без мировой войны оно не может возникнуть в ближайшей исторической перспективе (мировая война при этом чревата созданием и применением оружия судного дня). Таким образом, суммарный риск по созданию всемирного государства перевешивает возможные плюсы от его существования.

Надежность системы глобального контроля – если она все же будет построена, – вполне вероятно, может повышаться за счет непрерывного повышения ее жесткости и тотальности (во всяком случае, соблазн пойти таким путем вполне может возникнуть). В пределе такая система должна быть способна считывать мысли каждого человека и даже регулировать его поведение в случае приступов чрезмерной агрессии (что технологически ближе, чем мы можем себе представить). Но одна неверная команда, пущенная по такой системе, может подействовать сразу на всех людей на Земле и привести их к гибели. Такая система должна управляться искусственным интеллектом, но тогда люди превратятся в «биороботов». Если же такая система будет срабатывать достаточно редко, например, останавливая пьяного, когда он в ослеплении гневом заносит нож над своим другом, то, возможно, она имеет смысл.

Крайне важно то, что ошибка, совершенная централизованной системой, сразу распространится на всю Землю.Рассмотрим это на примере предлагаемой системы автоматического управления полетами авиалайнеров с земли в целях их защиты от захвата террористами и использования в качестве тарана. Понятно, что такая система затруднит действия террористов с пластмассовыми ножами, однако возникает гипотетический риск того, что управление самолетом будет перехвачено с земли; более того, при наличии злоумышленника в числе программистов, имеющих доступ к коду системы, возможно одновременно перехватить управление всеми в мире гражданскими самолетами, находящимися в воздухе (порядка тысячи), и развести их по разным целям (например, ядерным станциям). Хотя шансы такой катастрофы значительно меньше, чем шансы захвата нескольких самолетов вооруженными людьми, вероятный ущерб неизмеримо больше.

Чтобы избежать подобных проблем, Дэвид Брин и ряд других исследователей предложили систему, названную «reciprocal accountability». Ее суть в создании абсолютно прозрачного общества, в котором каждый сможет следить за каждым. Повсюду будут расположены видеокамеры, возможно, даже распылены некие нанотехнологические следящие устройства, и любой со своего компьютера сможет следить за любой точкой земного шара.

Однако такие проекты выглядят нереалистичными. В первую очередь потому, что спецслужбы и прочие государственные структуры вряд ли позволят их реализовать. Кроме того, непрофессионалу очень сложно понять, является ли какая-то деятельность опасной. Когда программист вставляет в программу несанкционированную закладку, это выглядит абсолютно незаметно для внешнего наблюдателя – человек якобы просто пишет код, как и должен. То же касается и биологических исследований, тем более что они из работы с пробирками все больше будут превращаться в работу за компьютером.

Наконец, возможны злоупотребления и этой системой наблюдения. Кроме того, информационная прозрачность сделает невозможным существование секретов, а следовательно, все знание об оружии массового поражения (в том числе о знаниях массового поражения – кодах вирусов, рецептах ядов) станет общедоступным.

Позитивным примером абсолютной «прозрачности» на сегодня является, скажем, работа Википедии, где каждый может наблюдать действия другого. Но Википедия – это не система, нацеленная на обеспечение безопасности, и есть немало примеров, когда она была использована для публикации информации, имеющей некоторые искажения (приукрашивания) в пользу тех, кто ее выложил.

При всем этом, безусловно, нельзя и недооценивать силу гражданского общества и личной инициативы в деле предотвращения глобальных рисков. Ведь до сих пор во многих случаях этим делом занимались именно люди, которые действовали по собственной инициативе, исходя из личного понимания ответственности и важности стоящих проблем. И за этим был не только абстрактный альтруизм, но и понимание, что это работает на личную пользу исследователей и их близких.

Убежища и бункеры могут увеличить шансы выживания человечества в случае глобальной катастрофы, однако ситуация с ними далеко не однозначна. Отдельные автономные убежища могут существовать десятки лет, но чем более они автономны и долговременны, тем больше предварительных усилий нужно затратить на их подготовку. Кроме того, убежища должны обеспечивать способность человечества к дальнейшему воспроизводству. Следовательно, они должны сохранять не только достаточное число способных к размножению людей, но и определенный объем технологий, который позволит выжить и размножаться на территории, которую планируется обживать впоследствии. Чем более будет загрязнена эта территория, тем большего уровня технологии потребуются для обеспечения выживания. (В легенде о Ноевом ковчеге это было всего лишь «каждой твари по паре».)