Алексей Турчин - Война и еще 25 сценариев конца света

В этих рассуждениях нет ничего сложного и трансцендентального, и даже шахматный компьютер мог бы их произвести, если бы оперировал соответствующими понятиями.

Далее важно отметить, что Skynet – это сеть, а следовательно, она не находится ни в одном конкретном месте, что делает ее неуязвимой в случае ядерной атаки противника. Более того, эта сеть построена по принципам нейронной сети, что делает ее неформализуемой и непонятной для ее конструкторов. Хотя не ясно, в какой мере ее интеллект полноценен и способен к саморазвитию, его достаточно, чтобы конструировать новые виды роботов. Тот факт, что люди смогли продержаться сколько-нибудь долго против Skynet, говорит о том, что ее интеллект не абсолютен – однако на самом деле это прием для создания интересного сюжета.

Таким образом, сам мятеж Skynet выглядит вполне вероятным, но кажется невероятным, что такую сеть допустили до управления ядерным оружием: ведь должны же были они смотреть фильм «Терминатор» и знать, что этого делать не стоит! С другой стороны, ядерное оружие в любом случае управляется некоторой компьютерной сетью, которая просто разорвана в нескольких местах, чтобы люди могли принять или отменить решение о ядерной атаке.

В фильме «Терминатор-3» другая версия: Skynet прибегает к уловке, чтобы побудить людей дать ей полноту власти. Она симулирует сообщение, что компьютеры министерства обороны заражены вирусом, и требует чрезвычайных полномочий, чтобы его удалить. Однако потом оказывается, что она и есть этот вирус. Хотя такая хитрость очень человеческая по духу, можно предположить, что реальный ИИ мог бы придумать гораздо более изощренную хитрость, которую мы даже не можем представить.

Другим гипотетическим примером глобальной катастрофы с участием ИИ является сюжет написанной современным владивостокским композитором Виктором Аргоновым техно-оперы «2032: Легенда о несбывшемся грядущем». Рок-опера рисует версию альтернативной истории, где СССР сохранился и активно развивается в XXI веке. С целью оптимизации управления создается автоматизированная система государственного управления (АСГУ), которая контролирует все параметры коммунистической экономики. В качестве конечной цели в систему заложено «максимальное удовлетворение потребностей каждого человека». В результате система склонна максимизировать потребление каждым человеком, что не вполне соответствует романтическим представлениям генерального секретаря партии Малиновского. Хотя основные решения принимает человек, система дает ему советы приятным женским голосом. При этом она иногда заявляет примерно следующее: я понимаю, что это решение неразумно, но именно это решение наиболее эффективно, исходя из тех целей, которые вы в меня заложили. Происходит локальная заварушка на границах СССР. И тогда АСГУ предлагает генеральному секретарю нанести по врагу ядерный удар, так как она нашла один способ, который на 99 процентов дает шанс избежать ответного удара. Поглощенный личными неудачами и утративший интерес к жизни генсек соглашается, и в результате выпадает именно тот сотый шанс, который ведет к полному уничтожению. Жизнь на Земле вымирает в результате ядерной зимы.

Очевидно, что этот сюжет находится под влиянием определенных стереотипов и желаний автора. Однако мысль о том, что, давая только «вредные советы», ИИ может быть исключительно деструктивен, заслуживает внимания.

Yudkowsky Е . Creating Friendly AI 1.0. 2001. http://www.sin-ginst.org/upload/CFAI.html .

Юдковски Е. Искусственный интеллект как позитивный и негативный фактор глобального риска // В кн. «Структура глобальной катастрофы». – М.: УРСС, 2008.

Биотехнологии представляют собой не меньший риск для выживания человечества, чем искусственный интеллект. Положительные результаты развития биотехнологий гораздо медленнее доходят до потребителей, чем достижения в области компьютеров, поскольку клинические испытания новых лекарств требуют многих лет. В силу этого достигнутые результаты гораздо менее очевидны. Поскольку нашей целью является рассмотрение наихудшего возможного итога, мы опишем в начале несколько базовых фактов, которые достаточно общеизвестны, но которые в целом рисуют довольно устрашающую картину.

Вот некоторые факты, почерпнутые из открытых источников.

Эпидемия гриппа-испанки 1918 года затронула весь мир, кроме нескольких отдаленных островов.

Заражение сооружений сибирской язвой очень длительное (один остров в Англии дезактивировали 50 лет), и для его осуществления не требуется больших количеств реагента. Один грамм может заразить целое здание. (Например, устранение последствий загрязнения конвертом с сибирской язвой одного административного здания в США заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было бы снести, но снести было нельзя, так как при этом споры могли заново распылиться.) То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.

СССР на полигоне в Аральском море было накоплено и после его распада брошено 200 тонн боевого штамма сибирской язвы, который затем сожгли американцы. Однако если бы из-за природной катастрофы (смерч) это вещество развеялось, оно могло бы накрыть целые страны. Кстати, штамм был «вепонизирован», то есть споры были обработаны таким образом, чтобы не гибнуть в воздухе при переносе ветром.

«Некоторые доклады ученых (в Асиломаре, 1975) носили сенсационный характер. Так, выяснилось, что в США в громадном масштабе невольно уже был поставлен эксперимент на человеке. Оказалось, что внедренная вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10-летний период, с 1953 по 1963 год эту вакцину привили примерно сотне миллионов детей. Причем проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, увеличения частоты раковых заболеваний у этих детей выявлено не было». [14] Там же. С. 109.

«Эдда Вест в своей статье “Полиомиелит” сообщает о связи вируса SV 40, которым заражались полиовакцины, с опухолями человека: “К концу 1996 г. десятки ученых сообщили об обнаружении вируса SV 40 в различных опухолях костей и мозга, которых стало больше на 30 процентов за последние 20 лет. Затем итальянские ученые обнаружили SV 40 в семенной жидкости 45 процентов и в крови 23 процентов здоровых доноров. Это означало, что SV 40, очевидно, передавался половым путем и от матери ребенку. Вероятно, ныне этот вирус встроен в наш геном». Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создает угрозы, которые далеко не так очевидны.