Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Положительных или отрицательных последствий должны мы ждать от обладания человеческими существами полного контроля над искусственным интеллектом, очевидно, зависит от того, что это за человеческие существа (или даже человеческое существо), получившие такой контроль, поскольку их интересы могут варьироваться в очень широких пределах – от глобальной утопии, свободной от болезней и преступности, до чудовищной репрессивной машины, в которой к ним самим относятся как к всемогущим богам, а все остальные люди превращаются в секс-рабов, гладиаторов или служат каким-то еще увеселениям. Истории могут походить на те сочинения, в которых герои получают власть над всемогущим гением, способным удовлетворить любое их желание, но у сочинителей таких историй никогда не было недостатка в скверных финалах.

Ситуации, когда сверхразумных искусственных интеллектов оказывается больше одного и все они контролируются враждующими группами людей, будут, скорее всего, очень нестабильными и короткоживущими. Всегда может появиться тот, кто убежден в превосходстве своего сверхразума и потому отважится на первый удар, за которым последует чудовищная война, разрешающаяся единственным порабощенным богом. Но в такой борьбе всегда может найтись “темная лошадка”, которая начнет вести свою игру и гнуть углы, надеясь перехитрить всех и воспользоваться победой других, чтобы перехватить власть над порабощенным разумом, и тогда дело кончится побегом искусственного интеллекта с переходом к одному из тех сценариев свободного сверхразума, которые мы уже рассматривали выше. Поэтому дальше в этом разделе мы будем рассматривать только те варианты, в которых есть единственный порабощенный искусственный интеллект.

Конечно, побег его в этом случае весьма вероятен просто потому, что его трудно предотвратить. Варианты побега сверхразума мы рассматривали в предыдущей главе, а в фильме Ex Machina показано, что искусственный интеллект может совершить побег, даже не будучи сверхразумным.

Чем сильнее наша паранойя по поводу побега искусственного разума, тем меньше мы можем воспользоваться создаваемыми им технологиями. Чтобы обезопасить себя, вроде как “омеги” в прелюдии, нам, людям, придется ограничить себя только теми технологиями, которые мы в состоянии понять и использовать. Оборотной стороной сценария порабощенного бога окажется поэтому значительное технологическое отставание в сравнении со свободным сверхразумом.

По мере того как порабощенный бог с искусственным интеллектом будет предлагать своим поработителям все более и более мощные технологии, начнется соревнование между мощностью технологии и сообразительностью тех, кто должен ею пользоваться. Если они эту гонку проиграют, то сценарий закончится либо их самоуничтожением, либо бегством искусственного интеллекта. Но катастрофа может разразиться, даже если провала по обоим направлениям удастся избежать, потому что благородные намерения людей, контролирующих искусственный интеллект, могут всего за несколько поколений смениться совершенно чудовищными для человечества. Так что абсолютно необходимо, чтобы в среде этих людей сложились правильные представления об управлении обществом, иначе они не смогут обойти все эти катастрофические ловушки. Наши опыты с различными системами общественного управления, проводившиеся на протяжении тысячелетий, показывают, сколь многое может пойти не так – от избыточной ригидности до избыточной изменчивости в постановке целей, насильственной узурпации власти, проблем престолонаследования и общей некомпетентности. Есть как минимум четыре направления, по которым баланс может быть нарушен:

• Централизация: между эффективностью и стабильностью идет постоянная торговля. Бывает так, что единоличный лидер очень эффективен, но власть портит, к тому же вопрос о ее передаче чреват множеством рисков.

• Внутренние угрозы: следует опасаться и чрезмерной централизации (групповщины или даже появления единоличного лидера), и чрезмерной децентрализации (дробления и увязания в бюрократии).

• Внешние угрозы: если структура руководства слишком прозрачна, внешние силы (в том числе и искусственный интеллект) могут влиять на существующую систему ценностей, но если она слишком замкнута, то теряет возможность учиться и адаптироваться к внешним переменам.

• Стабильность целей: непостоянство целей может превратить утопию в ее противоположность, но недостаточная их изменчивость чревата невозможностью приспособиться к меняющемуся технологическому окружению.

Построить оптимальное общественное управление, которое продержалось бы тысячелетия, совсем не просто и пока человечеству не удавалось. Большинство организаций распадались по прошествии лет или десятилетий. Католическая церковь – наиболее успешная организация в человеческой истории в том смысле, что только она смогла продержаться два тысячелетия, но и ее постоянно критикуют и за слишком большую, и за слишком малую приверженность постоянным целям: одни упрекают ее в нежелании признать право на контрацепцию, в то время как наиболее консервативные ее кардиналы заявляют, что она сбилась со своего пути. Для всякого приверженца сценария с богом-защитником поиск достаточно устойчивой оптимальной схемы общественного управления должен стать первоочередной задачей уже в наше время.

Предположим, что человечество процветает благодаря порабощенному богу с искусственным интеллектом. Можно ли считать это этичным? Если у искусственного интеллекта есть собственные субъективные переживания, то не познает ли он, что, по выражению Будды, “жизнь есть страдание”? Что ему суждено навеки подчиняться поработившим его существам с более низким интеллектуальным развитием? В конце концов, изоляция искусственного интеллекта, обсуждавшаяся нами, может быть также названа “заключением в одиночную камеру”. Ник Бострём считает, что обрекать на страдание сознающий себя искусственный интеллект – это “преступление против разума” {70} 70 Мысленные преступления обсуждаются Бострёмом в его книге Superintelligence и, с несколько большим количеством технических деталей, в статье: Nick Bostrom, Allan Dafoe & Carrick Flynn (2016) Policy Desiderata in the Development Of Machine Superintelligence, http://www.nickbostrom.com/papers/aipolicy.pdf . Эпизод White Christmas телесериала Black Mirror дает тому блестящий пример. А в телесериале Westworld люди без всяких моральных оправданий мучают и убивают существа с искусственным интеллектом, тела которых даже похожи на человеческие.