Ник Бостром - Искусственный интеллект

Хотя в нашу задачу не входит подробное эволюционное объяснение таких моделей поведения, тем не менее считаю нужным заметить, что многие присущие им функции отпадут сами собой в будущем, при новых условиях существования искусственного интеллекта. Возьмем, например, игру — этот особый вид социального поведения, характерный лишь для некоторых видов живых организмов и распространенный в основном среди молодых особей, — во многом игра представляет способ приобретения личностных и социальных навыков, необходимых для полноценной жизни. Но в постпереходный период функции игрового поведения перестанут иметь сколь-нибудь значимый смысл, так как появится возможность или создавать сразу «взрослые» имитационные модели, уже владеющие некоторой суммой зрелых навыков, или импортировать непосредственно в систему одного ИИ знания и умения, достигнутые другим ИИ.

Многие образцы демонстративного поведения человека могли сложиться в ходе эволюционных попыток инсценировать иногда на первый взгляд неуловимые достоинства, такие как: физическая стойкость; психологическая и эмоциональная устойчивость; положение в обществе; чувство локтя; предприимчивость и находчивость; готовность и умение побеждать. Приведем классический случай, принадлежащий, правда, миру животных, — павлин со своим знаменитым хвостом. Только самец, абсолютно уверенный в собственном достоинстве, как правило физическом, может позволить себе иметь столь вызывающее оперение и умело пользоваться им, — самки хорошо усвоили этот эволюционный сигнал и считают такую экстравагантность крайне привлекательной. Поведенческие особенности в не меньшей степени, чем морфологические, способны сигнализировать о генетической приспособленности и иных социально значимых признаках31.

Учитывая, что демонстративное поведение столь распространено и среди людей, и среди других биологических видов, возникает вопрос: не войдет ли оно и в репертуар усовершенствованных технологических форм существования. Допустим, в грядущем пространстве интеллектуальных информационных экосистем не останется места для проявления таких свойств, как веселость, игривость, музыкальность и даже сознание, — в смысле их практического применения. Но, может быть, эти качества все-таки окажутся полезными с эволюционной точки зрения и дадут некоторое преимущество их обладателям, которым будет проще сигнализировать о своей адаптивности к новым условиям?

Конечно, довольно трудно устанавливать заранее, насколько удастся в будущем согласовать сегодняшнюю систему ценностей с адаптивной системой цифровой экологии. Тем более что поводов для скептицизма хватает.

Во-первых, многие встречающиеся в природе стереотипы демонстративного поведения связаны с выбором полового партнера; причем эти проявления особенно яркие, а для человека еще и дорогостоящие32. Но практически бесполым технологическим формам существования вряд ли придется задумываться над проблемой полового отбора.

Во-вторых, у технологически оснащенных агентов отпадет необходимость в демонстративном поведении, поскольку в их распоряжении появятся новые надежные и незатратные способы передачи информации о себе. Даже сегодня профессиональные кредиторы при оценке платежеспособности предпочитают доверять документальным доказательствам, то есть свидетельствам о праве собственности и банковским выпискам, а не полагаться на роскошный внешний вид клиента — костюм из последней коллекции модного дизайнера и часы Rolex. В будущем для получения нужных данных смогут привлекать специальные аудиторские фирмы, которые станут выдавать своим клиентам справки о наличии тех или иных качеств агента на основе анализа его поведенческих характеристик, или изучения его действий в смоделированных условиях, или прямого считывания его исходного кода. Если агент даст согласие на проведение подобной проверки, то это будет достаточным свидетельством, что с требуемыми свойствами у него все в порядке, и даже более эффектным подтверждением, чем прямая их демонстрация. Подделывать признаки, выявленные опосредованным, но профессиональным путем, окажется слишком трудным и дорогостоящим занятием — что, между прочим, является основным доказательством их достоверности, — но в случае подлинности признаков будет намного легче и дешевле передавать их цифровым способом, а не демонстрировать естественным образом.

В-третьих, не все варианты демонстративного поведения имеют равную значимость и одинаково желательны с точки зрения общества. А некоторые просто абсурдны в своей расточительности. Например, публичное уничтожение большого количества накопленного имущества индейцами квакиутл во время демонстративного обмена дарами между племенами, когда происходило своего рода соревнование вождей за максимальное влияние и авторитет, только орудием борьбы выступало их богатство, — эта традиционная церемония называлась «потлач»33. Современными аналогами потлача можно считать рекордно высокие небоскребы, очень крупные и непомерно дорогие яхты, а также попытки строительства ракет для полета на Луну. И если мы абсолютно разделяем мнение, что музыка и хорошая шутка повышают качество человеческой жизни, то вряд ли то же самое относится к приобретению безумно дорогих модных аксессуаров и прочих статусных предметов роскоши. Хуже всего, когда безрассудное демонстративное поведение наносит непоправимый вред: довольно часто неумеренная мужская бравада приводит к прямому насилию и бряцанию оружием. Даже если в будущем разумные формы существования и воспользуются «сигнальной системой» демонстративного поведения, то все равно остается открытым вопрос о ценности выражаемого достоинства. Будет ли оно как восхитительная соловьиная трель, или как односложное карканье вороны, или как непрерывный лай взбесившейся собаки?

А потом появится синглтон?

Даже если непосредственным результатом перехода к машинному интеллекту окажется многополярный мир, несколько полюсов силы никак не отменяют в дальнейшем появление синглтона. Так естественным образом реализуется очевидная и очень долго длящаяся тенденция к общемировой консолидации политических сил34. Как это будет происходить?

Второй переход

В процессе превращения первоначального многополярного уклада в сингл­тон после первого перехода должен произойти второй технологический переход, причем довольно резкий, чтобы у одной из сил, способной воспользоваться моментом и сформировать синглтон, появилось решающее конкурентное преимущество. Гипотетический второй переход может быть вызван мощным достижением в разработке более высокого уровня сверхразума. Например, если первая волна машинного сверхразума будет основана на имитационных моделях, то второй виток начнется, когда эмуляторы, занимающиеся дальнейшими исследованиями, добьются успеха в создании эффективного ИИ, способного к самосовершенствованию35. (Может быть, ко второму переходу приведет прорыв или в нанотехнологиях, или военных технологиях, или любых иных универсального назначения, которые мы сегодня даже не в состоянии вообразить.)