Ник Бостром - Искусственный интеллект

Скорость развития первого постпереходного периода, скорее всего, будет чрезвычайно высокой. Поэтому вполне вероятно, что к решающему стратегическому преимуществу, которое образуется у лидирующей силы, может привести даже небольшой разрыв между ней и ее ближайшим конкурентом. Предположим, первый переход был совершен двумя вырвавшимися вперед проектами с разницей в несколько дней, но поскольку сам взлет оказался слишком медленным, то этот небольшой разрыв не обеспечил лидирующему проекту решающего стратегического преимущества. Оба проекта обрели мощь сверхразума, но один из них на несколько дней раньше. Однако теперь исследования идут на временной шкале машинного сверхразума, возможно, в тысячи миллионов раз быстрее, чем когда их проводили ученые-люди. Появление технологии, способной привести ко второму переходу, видимо, произойдет в течение дней, часов или минут. Даже если у лидера был запас всего в несколько дней, этот прорыв способен сработать как катапульта и обеспечить ему абсолютное стратегическое преимущество. Однако обратите внимание: если диффузия технологий (за счет шпионажа или по иным каналам) ускорится так же, как их развитие, эффект молниеносности может сойти на нет. Тогда останется единственный важный фактор — крутизна второго перехода, то есть скорость, с которой он произойдет относительно обычного для постпереходного периода темпа событий. (В этом смысле чем быстрее все происходит после первого перехода, тем менее крутым будет второй.)

Также можно предположить большую вероятность, что в случае второго перехода (или одного из последующих) решающее стратегическое преимущество будет использовано для формирования синглтона. После первого перехода агенты, принимающие решения, будут или сами обладать сверхразумом, или пользоваться советами сверхразума, который проанализирует имеющиеся варианты стратегического выбора. Более того, ситуация, сложившаяся после первого перехода, может быть менее опасной для агрессора с точки зрения нанесения упреждающего удара по конкурентам. Если разум­, принимающий решение после первого перехода, существует в цифровом виде, его легче скопировать и тем самым сделать менее уязвимым для контр­атак. Агрессора не сильно напугает удар возмездия со стороны обороняющихся сил и уничтожение девяти десятых его населения — ведь у него есть возможность немедленно восстановить баланс благодаря резервным копиям. Разрушение инфраструктуры (которая тоже может быть быстро восстановлена) тоже не станет критичным для цифрового разума с практически неограниченным­ жизненным циклом, поскольку он наверняка запланировал и увеличение имеющихся ресурсов, и расширение влияния в космологическом масштабе времени.

Суперорганизмы и эффект масштаба

На размер согласованности институциональных механизмов людей, таких как корпорации или государства, влияет множество параметров: технологических, военных, финансовых и культурных, — которые могут различаться в разные исторические эпохи. Революция машинного интеллекта приведет к глубоким изменениям в этих параметрах. Возможно, такие изменения вызовут формирование синглтона. Хотя, не видя деталей этих потенциальных изменений, нельзя исключить и противоположное — что результатом таких изменений станет фрагментация, а не унификация. Тем не менее стоит заметить, что рост неопределенности, с которой мы здесь имеем дело, сам по себе может быть основанием для большей уверенности в вероятном возникновении синглтона. Революция машинного интеллекта может, так сказать, смешать нам карты и перетасовать колоду так, что сделает реальной геополитическую перестройку, которая иначе вряд ли была бы возможной.

Детальный анализ всех факторов, способных повлиять на масштаб интеграции политических сил, увел бы нас далеко за пределы выбранной темы — один обзор соответствующей политологической и экономической литературы легко потянет на отдельную книгу. Нам придется ограничиться коротким взглядом на несколько аспектов появления цифровых агентов, которые упростят задачу централизации контроля.

Карл Шульман утверждает, что естественный отбор в популяции имитационных моделей мозга приведет к появлению «суперорганизмов», то есть сообществ эмуляторов, готовых пожертвовать собой ради блага их клана36. Суперорганизмам не придется решать агентскую проблему, столь насущную в случае организаций, члены которых преследуют свои собственные интересы. Как клетки в наших организмах или отдельные особи в колониях общественных насекомых, эмуляторы будут абсолютно альтруистичными по отношению к своим братским копиям и смогут сотрудничать друг с другом даже в отсутствие специальных схем мотивации.

Суперорганизмы будут иметь особенно заметное преимущество, если в них есть возможность безвозвратного стирания (или приостановки выполнения) отдельных имитационных моделей без их согласия. Компании и государства, состоящие из эмуляторов, которые настаивают на самосохранении, окажутся под постоянно растущим гнетом обязательств по выплате содержания морально устаревшим или избыточным членам. В отличие от них те организации, где эмуляторы с готовностью уничтожают себя, когда потребность в их услугах исчезает, смогут легче адаптироваться к колебаниям спроса и экспериментировать, множа вариации своих работников и сохраняя из них лишь наиболее продуктивных.

Если возможность принудительного уничтожения отключена, то у эусоциальных[29] эмуляторов будет меньше конкурентных преимуществ, хотя они и сохранятся. Работодатели готовых сотрудничать и принести себя в жертву имитационных моделей по-прежнему получат выигрыш в продуктивности в результате уменьшения остроты агентской проблемы в своей организации, включая отсутствие необходимости бороться с сопротивлением имитационных моделей, возражающих против своего уничтожения. В целом выигрыш в продуктивности за счет наличия работников, готовых пожертвовать своими жизнями ради общего блага, представляет собой особую выгоду организаций, члены которых фанатически им преданы. Такие члены не только готовы долгие часы трудиться за символическую зарплату и даже отправиться ради них в могилу — они никогда не станут плести интриги и постараются действовать исключительно в интересах организации, что уменьшает потребность в контроле и бюрократических ограничениях.

Если единственным способом добиться такой преданности является копирование одного «родителя» (когда все имитационные модели, или эмуляторы, принадлежащие конкретному суперорганизму, получены от единого шаблона), тогда недостатком такого суперорганизма будет более узкий набор навыков, чем у соперников, неясно лишь, перевесит ли этот недостаток преимущество в виде отсутствия внутренних агентских проблем37. Впрочем, частично этот недостаток можно нивелировать, если суперорганизм будет состоять из членов, прошедших обучение по разным программам. Даже если все эмуляторы получены от единого шаблона, в процессе функционирования они смогут вырабатывать отличные друг от друга совокупности навыков. Один шаблон всесторонне развитого эмулятора может породить несколько типов работников, если одна копия проходит обучение на бухгалтера, другая — на инженера и так далее. В результате члены суперорганизма будут обладать различными навыками, но одинаковыми талантами. (Для большего разнообразия может потребоваться больше одного шаблона.)