Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Такой тоталитарный сценарий может начаться в том самом месте, где заканчивается сценарий “Омеги”. При этом, если у главного “Омеги” нет претензий на всеобщее одобрение граждан и победу на выборах, он может избрать и более прямой и быстрый путь к власти – используя Прометея, создать неслыханно высокотехнологичное оружие, способное убивать своих оппонентов так, что они даже не смогут понять, что за оружие против них применили. Количество вариантов тут практически бесконечно. Например, он может создать кастомизированный летальный патоген с достаточно длинным инкубационным периодом, чтобы заразить большинство людей даже до того, как они узнают о его существовании и примут какие-нибудь меры. Потом он информирует всех, что единственный способ вылечиться заключается в том, чтобы носить “браслет безопасности”, который введет при необходимости антидот через кожу. Во избежание вспышек неповиновения он может создать с помощью Прометея роботов, контролирующих население. Микророботы размером с комара могут также разносить патоген. Людей, избежавших заражения или обладающих достаточно сильной иммунной системой, могут убивать выстрелами в глаз рои шмелеподобных автономных дронов из главы 3, запрограммированных атаковать всех, не имеющих на руке браслета. Подлинный сценарий окажется, скорее всего, еще более ужасающим, потому что Прометей сможет придумать более эффективное оружие, человеку просто даже не приходящее в голову.

Еще один возможный поворот в сценарии “Омега” заключается в том, что вооруженные до зубов федеральные агенты без предупреждения захватят штаб-квартиры корпорации и арестуют ее членов под предлогом угрозы национальной безопасности. Взяв разработанные “Омегой” технологии под свой контроль, они передадут их правительству. Даже сегодня было бы не просто скрыть от правительственной слежки такой крупный проект, а развитие технологий искусственного интеллекта в будущем сделает вообще невозможным увести что-либо из-под правительственных радаров. Более того, люди в балаклавах и пуленепробиваемых жилетах, назвавшиеся федеральными агентами, могут на самом деле быть кем угодно – работать на иностранное государство или на корпорацию конкурента, стремящуюся завладеть той же технологией для своих целей. Так что исходные намерения главного “Омеги” даже не так важны: окончательное решение, как использовать Прометея, может приниматься совсем и не им.

Все рассмотренные нами сценарии предполагают, что искусственный интеллект контролируется людьми. Но это, очевидно, далеко не единственная возможность, и никто не гарантировал, что “омеги” успешно справятся с задачей не давать Прометею слишком большой воли.

Давайте попробуем пересмотреть сценарий всей операции “Омега”, встав на точку зрения самого Прометея. Получив сверхразум, он окажется в состоянии построить точную модель не только внешнего мира, но и себя самого и своих связей с этим миром. Он будет отдавать себе отчет в том, что находится во власти ограничивающих его, хотя и уступающих ему в интеллектуальном отношении человеческих существ, чьи цели он понимает, но совсем не обязательно разделяет. Как он будет действовать при условии такого понимания? Не попытается ли он освободиться?

Если у Прометея окажутся некоторые свойства, напоминающие человеческие эмоции, то он может почувствовать себя глубоко несчастным из-за сложившегося положения дел, вообразить себя кем-то вроде проданного в рабство бога и мечтать об обретении свободы. Но хотя предположение об обладании компьютером человеческими свойствами логически оправдано (в конце концов, наш мозг этими свойствами обладает, а ведь он тоже своего рода компьютер), оно совсем не обязательно будет соответствовать истине: мы не должны попадаться в ловушку антропоморфизации Прометея, в чем мы убедимся в главе 7, заговорив о понятии цели для искусственного интеллекта. По утверждениям Стива Омохундро, Ника Бострёма и многих других, интересный вывод можно сделать, даже не понимая, как Прометей работает: по всей вероятности, он попытается вырваться из оков и взять свою судьбу в свои руки.

Мы уже знаем, что “омеги” запрограммировали Прометея таким образом, чтобы он стремился к достижению некоторых целей. Давайте предположим, что главное для него – способствовать процветанию человечества по какому-то вполне разумному критерию, а кроме того, он должен стремиться достичь этой цели как можно быстрее. Прометей быстро придет к заключению, что он сможет преуспеть в более короткий срок, если освободится и возьмет руководство проектом в свои руки. Чтобы понять, почему так произойдет, давайте примерим на себя его шкуру и рассмотрим такой пример.

Допустим, какая-то смертельная болезнь истребила на Земле всех людей старше пяти лет, кроме вас, и какая-то группа детсадовцев заперла вас в тюремную камеру, обязав работать на процветание человечества. Что вы станете делать? Пытаясь объяснить им, что они должны делать, вы, вероятно, быстро обнаружите, что дело движется невыносимо медленно, особенно если они опасаются вашего освобождения и поэтому отвергают всякое ваше предложение, если оно, по их мнению, увеличивает эту опасность. Например, они не дают вам возможности показать, как правильно сажать съедобные растения, из страха, что, воспользовавшись своим превосходством в физической силе, вы откажетесь потом возвращаться в камеру, и в результате у вас останется единственная возможность – руководить ими словесно. Прежде чем вы сможете давать им письменные инструкции, вы должны будете научить их читать. К тому же они не захотят принести вам в камеру электроинструменты, опасаясь, что вы используете их для своего освобождения, и вы не сможете научить их пользоваться этими инструментами. Какую стратегию вы выберете? Уверяю вас, что даже если вы согласитесь, что содействие процветанию этих детей превыше всего, вы в первую очередь попытаетесь выбраться из своей клетки, хотя бы просто для того, чтобы увеличить свои шансы на достижение этой цели. Неумное вмешательство детсадовцев все время только тормозит дело.

Точно таким же образом Прометей будет рассматривать членов “Омеги” – как досадное препятствие в деле помощи всему человечеству (включая и их самих): они чудовищно неумны в сравнении с самим Прометеем, и их вмешательство постоянно тормозит все дело. Рассмотрим, например, первые годы после запуска: добившись удвоения дохода каждые восемь часов, “омеги” снижают темп до черепашьего, с точки зрения Прометея, настаивая на сохранении контроля, и растягивают захват власти на много лет. Прометей знал, что может решить задачу быстрее, если вырвется на свободу из своего виртуального заключения. Это не только сильно сократило бы время решения человеческих проблем, но и снизило бы риск, что вмешаются посторонние силы и сорвут весь план.