Ник Бостром - Искусственный интеллект

Глава пятая

Решающее стратегическое преимущество

Помимо вопроса о динамике процесса появления сверхразума, есть еще один, с ним связанный: будет ли создан единственный сверхразум или множество? Наступит ли власть единственного сверхразума или власть многих? Взрывное развитие искусственного интеллекта приведет к тому, что лишь один проект вырвется далеко вперед и продиктует людям их будущее? Или прогресс пойдет более равномерным путем, разворачиваясь широким фронтом, коснется многих разработок, ни одна из которых не обеспечит себе безоговорочного верховенства?

В предыдущей главе был проанализирован один параметр, ключевой с точки зрения определения масштаба возможного разрыва между проектом-лидером и его ближайшими конкурентами, а именно: скорость перехода от интеллекта человеческого уровня к сверхразуму. Она определяет очень многое. Если взлет быстрый (происходит в течение часов, дней или недель), тогда маловероятно, что два независимых проекта осуществят его одновременно: почти наверняка один из проектов завершит свой взлет прежде, чем кто-то еще перейдет к этой стадии. Если взлет медленный (тянется на протяжении многих лет или десятилетий), тогда, вполне возможно, будет несколько проектов, перешедших к этой стадии одновременно, и несмотря на огромные возможности, которые появятся у проектов, завершивших переход, ни у одного из них не будет довольно времени на то, чтобы обойти остальные и получить безусловное преимущество. Умеренный взлет попадает в промежуточную категорию, где вероятны любые варианты: не исключено, что на стадии взлета окажется одновременно несколько проектов, но возможно — всего один1.

Способен ли какой-то из проектов настолько сильно оторваться от конкурентов, что получит решающее стратегическое преимущество — преимущество технологического или любого иного рода, но достаточное для утверждения мирового господства? И далее: получив абсолютное стратегическое преимущество, станет ли этот проект игроком-одиночкой, то есть синглтоном, начнет ли подминать мир под себя, убирая с пути всех конкурентов и формируя новое мироустройство, при котором только он будет принимать решения? Если объявится такой проект-победитель, насколько «великим» он должен быть? Причем не с точки зрения физического размера или величины бюджета, а с точки зрения размаха человеческих желаний, предпочтений и замыслов. Рассмотрим эти вопросы по порядку.

Получит ли лидирующий проект абсолютное преимущество?

Одним из факторов, влияющих на величину разрыва между идущим впереди и следующими за ним, является степень расширения того (может быть все что угодно), что обеспечивает лидеру конкурентное преимущество. Лидеру иногда трудно оторваться от преследователей, если они могут легко копировать его идеи и новшества. Появление суррогатов порождает реальные препятствия, и этот встречный ветер бьет прямо в лицо вырвавшемуся вперед и играет на руку тем, кто находится сзади, особенно если речь идет об интеллектуальной деятельности, права на которую защищены слабо. Кроме того, лидер может быть особенно уязвим с точки зрения отчуждения собственности, повышенного налогообложения или разделения в рамках антимонопольного регулирования.

Было бы ошибкой считать, что сдерживающие факторы должны монотонно возрастать по мере увеличения разрыва между лидером и идущими следом. Разработчик, во всем уступающий технологическому лидеру, может столкнуться с трудностями при попытке воспользоваться его проектами, стоящими на передовом крае науки, — ситуация вполне сравнимая с велогонщиком, сильно отставшим от основной массы соперников и оказавшимся незащищенным от порывов встречного ветра2. Бывает, что разрыв между интеллектуальными и материальными возможностями оказывается слишком большим. Лидер, например, может себе позволить перейти на новейшую технологическую платформу, после чего уже никто из отстающих не будет в состоянии воплотить на своих примитивных платформах его дальнейшие инновации. Когда какой-либо проект вырывается далеко вперед, следует исключить информационные утечки, обеспечить секретность наиболее важных разработок и препятствовать усилиям конкурентов развить собственные материальные возможности.

Если проектом-лидером является ИИ, он может обладать такими атрибутами, которые позволят ему легче развивать свои возможности и при этом снизить риск распространения информации. В организациях, которыми управляют люди, преимущества от экономии на масштабе уравновешиваются бюрократической неэффективностью и агентскими проблемами, в том числе трудностью сохранения коммерческих секретов3. Скорее всего, эти проблемы будут тормозить развитие проектов искусственного интеллекта до тех пор, пока разработками управляют люди. Однако системы ИИ могут избежать некоторых недостатков, связанных с увеличением масштаба проекта, поскольку работники-эмуляции (в отличие от работников-людей) не имеют интересов, отличных от интересов системы в целом. Следовательно, системы ИИ смогут избежать заметного снижения эффективности, характерного для проектов, в которых заняты люди. Благодаря тому же преимуществу — наличию абсолютно лояльных компонентов — системам ИИ гораздо легче обеспечивать секретность. В их случае невозможно появление обиженных сотрудников, готовых перейти к конкуренту или продать коммерческую информацию4.

О том, каким может быть отрыв при разработке различных систем, можно получить представление, обратившись к историческим примерам (см. врезку 5). Похоже, для стратегически важных технологических проектов типичным является диапазон от нескольких месяцев до нескольких лет.

ВРЕЗКА 5. ТЕХНОЛОГИЧЕСКАЯ ГОНКА — НЕСКОЛЬКО ИСТОРИЧЕСКИХ ПРИМЕРОВ

На длинной исторической временной шкале хорошо заметно, как увеличивалась скорость распространения знаний и технологий по всему миру. В результате разрыв между технологическими лидерами и их ближайшими преследователями постоянно сужался.

Свыше двух тысячелетий Китай смог удерживать монополию на производство шелка. Археологические находки говорят о том, что он мог возникнуть около 3000 года до н. э. или даже раньше5. Шелководство было тщательно охраняемым секретом. Разглашение его каралось смертной казнью, как и вывоз шелковичных червей и их яиц за пределы страны. Римляне, несмотря на высокую цену импортного шелка на просторах их империи, так и не овладели искусством шелководства. Только около 300 года­ н. э. одна японская экспедиция смогла захватить несколько яиц шелкопряда и четырех китайских девушек, которых похитители заставили раскрыть секреты мастерства6. Византия присоединилась к клубу производителей шелка только в 522 году. Для истории с производством фарфора тоже характерны длинные временные лаги. Это искусство практиковалось в Китае уже во времена династии Тан, то есть минимум с 600 года (а могло быть известно и раньше, с 200 года), но стало доступно европейцам только в XVII веке7. Колесные повозки появились в нескольких местах Европы и Месопотамии около 3500 года до н. э., но достигли Америки только после ее открытия Колумбом8. Если говорить о более важных событиях, то людям потребовались десятки тысяч лет, чтобы расселиться на большей части земного шара; неолитическая революция шла несколько тысяч лет; промышленная революция — всего сотни лет; информационная революция — десятилетия, хотя, конечно, эти изменения не обязательно были одинаково глубокими. (Видеоигра Dance Dance Revolution появилась в Японии и распространилась в Европе и Северной Америке всего за год!)