Вернор Виндж - Технологическая Сингулярность

Но если технологической Сингулярности суждено быть, то она случится. Даже если все государства мира осознают "угрозу" и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество - экономическое, военное, даже в сфере искусства - любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.

Эрик Дрекслер составил впечатляющие прогнозы развития и совершенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер оспаривает способность человечества удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы можно было оценить и надежно использовать.

Не соглашусь, что сохранение контроля так уж невозможно. Представьте себя запертым в собственном доме при единственном, ограниченном некими вашими хозяевами канале доступа информации извне. Если бы эти хозяева мыслили со скоростью, скажем, в миллион раз медленнее вас, едва ли стоит сомневаться в том, что через несколько лет (вашего времени) вы изобрели бы способ побега. Я называю эту "быстро мыслящую" форму сверхразума "слабым сверхчеловеческим". Такая "слабая сверхчеловеческая сущность" более чем ускорила бы течение времени эквивалентного человеческому ума. Сложно сказать точно, что будет из себя представлять "сильное сверхчеловеческое", но отличие, по-видимому, будет разительным. Вообразите собаку с чрезвычайно ускорившейся работой мысли. Сможет ли тысячелетний опыт собачьего мышления что-то дать человечеству? Многие предположения о сверхразуме, как кажется, основываются на модели "слабого сверхчеловеческого". Я же думаю, что наиболее верные догадки о постсингулярном мире можно строить на предположениях об устройстве "сильного сверхчеловеческого". К этому вопросу мы еще вернемся.

Другим подходом к проблеме сохранения контроля является идея о создании искусственных ограничений свободы действий сконструированной сверхчеловеческой сущности. [например, Законы роботехники у Азимова]. Я полагаю, что любые правила, достаточно строгие, чтобы обеспечить их эффективность, приведут к созданию устройства с возможностями, очевидно более узкими, чем у нестесненных ограничениями версий (таким образом, соревновательность будет способствовать развитию более опасных моделей).

Если Сингулярность нельзя предотвратить или ограничить, насколько жестокой может стать постчеловеческая эра? Что ж, довольно жестокой. Физическое вымирание человеческой расы - одно из возможных следствий. (Или, как сформулировал это Эрик Дрекслер, говоря о нанотехнологиях: со всеми подобными техническими возможностями, вероятно, правительства решат, что простые граждане им больше не нужны). Тем не менее, физическое вымирание может оказаться далеко не самым страшным последствием. Вспомните о разного рода наших отношениях к животным. В постчеловеческом мире по-прежнему останется множество ниш, в которых эквивалентная человеческой автономность будет востребована: встроенные системы в самоуправляющихся устройствах, автономные демоны низшей функциональности в более крупных разумных существах. ("Сильное сверхчеловеческое, по-видимому, будет представлять собой Общность Разума из нескольких очень умных компонентов".) Некоторые из таких человеческих эквивалентов могут использоваться исключительно для цифровой обработки сигналов. Прочие могут остаться весьма человекоподобными, хотя и специализированными, с узким профилированием, из-за которого в наше время их поместили бы в психиатрическую клинику. Несмотря на то что никто из этих существ может не быть уже людьми из плоти и крови, они останутся наиболее близкими к современному нам человеку в том новом окружении.

[Уверен, Ирвингу Гуду было бы, что сказать на этот счет (хоть я и не нашел у него упоминаний чего-то подобного). Гуд предложил золотое метаправило, которое можно переформулировать следующим образом: "Обращайся с братьями меньшими так, как ты хочешь, чтобы старшие братья обращались с тобой". Это чудесный парадокс (и большинство моих друзей этому не верят), так как последствия, подсчитанные согласно теории игр, отчетливо выразить трудно.Тем не менее, если бы мы могли следовать этому правилу, в каком-то смысле это могло бы говорить о распространенности подобных добрых намерений во вселенной.]

Я уже выражал выше сомнение в том, что мы не можем предотвратить Сингулярность, что ее наступление есть неминуемое следствие естественной человеческой соревновательности и возможностей, присущих технологиям. И все же мы - инициаторы. Даже величайшая лавина вызывается мельчайшими действиями. Мы вольны устанавливать начальные условия, чтобы все происходило с наименьшим для нас ущербом.

[Будет ли прок от предвидения и вдумчивого планирования, может зависеть от того, как произойдет технологическая Сингулярность. Будет ли это "резкий переход" или "тихий переход". Резкий переход - это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько сотен часов (как в "Музыке крови" Грега Бэра). Мне представляется, что спланировать что-то в расчете на резкий переход будет чрезвычайно трудно. Он будет подобен лавине, о которой я писал в этом эссе в 1993 году. Наиболее кошмарная форма резкого перехода может произойти из гонки вооружений, когда две державы подстегивают свои отдельные "манхэттенские проекты" с целью добиться сверхчеловеческой мощи. Эквивалент десятилетий шпионажа на человеческом уровне может сжаться в последние несколько часов существования расы, и весь человеческий контроль и рассудительность пасуют перед некими чрезвычайно деструктивными целями.

С другой стороны, "тихий переход" может занять десятки лет, возможно, более века. Такая ситуация кажется более поддающейся планированию и вдумчивому экспериментированию. Ганс Моравец рассматривает такой "плавный переход" в книге "Робот: от простой машины к сверхразуму"].

Конечно (как и в случае с лавинами), нельзя с уверенностью судить, каков именно на самом деле будет тот самый направляющий толчок.

Когда говорят о существах со сверхчеловеческим разумом, обычно имеют в виду проект по созданию искусственного интеллекта. Но как я отметил в начале этой статьи, есть и другие пути к сверхчеловеческому. Компьютерные сети и человеко-машинные интерфейсы представляются более приземленными, нежели ИИ, и все-таки они способны привести к Сингулярности. Я называю этот противоречивый подход Усилением Интеллекта (УИ). УИ протекает вполне естественно, в большинстве случаев его даже не осознают сами разработчики. Однако всякий раз, когда улучшаются наши возможности доступа к информации и передачи ее другим, в каком-то смысле мы достигаем прироста по отношению к природному интеллекту. Сейчас уже дуэт из человека-профессора и хорошей электронной рабочей станции (даже не подключенной к сети), вероятно, может с блеском сдать любой из существующих письменных тестов.