Макс Тегмарк - Наша математическая вселенная

Если так, то появляется возможность примирить долгосрочное сохранение жизни с аргументом Судного дня ( гл. 11 ): то, что кончается, — не сама жизнь, а только наш референтный класс, наблюдательные мгновения самосознания, которые субъективно ощущаются похожими на человеческие сознания. Даже если сложные ульеподобные сознания в течение миллиардов лет населяют Вселенную, мы не в большей мере должны удивляться тому, что не являемся ими, чем тому, что мы не являемся муравьями.

Реакция на сингулярность

Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и всё, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта ( http://intelligence.org ), и многие его сотрудники рассматривают сингулярность как наиболее серьёзную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надёжным человеческим контролем или вовсе не улучшать ИИ.

До сих пор мы обсуждали негативные последствия сингулярности. Рэй Курцвейл, напротив, считает сингулярность огромным благом и даже лучшим, что может случиться с человечеством, поскольку она решит все нынешние человеческие проблемы.

Вдохновляет или ужасает вас идея замены человечества более развитой формой жизни? Это, вероятно, сильно зависит от обстоятельств и, в частности, от того, видите ли вы в преемниках своих потомков или поработителей.

Если ребёнок оказался умнее своих родителей и, став самостоятельным, достиг того, о чём они и не мечтали, то родители, вероятно, будут счастливы и горды им, даже если знают, что самим им не суждено всё это испытать. Родители очень умного человека, устроившего кровавую бойню, чувствуют себя иначе. Мы можем ощущать отношения родитель — ребёнок с ИИ, рассматривая его как наследника наших ценностей. Поэтому имеет огромное значение, станет ли будущая высокоразвитая жизнь хранить верность нашим идеалам.

Другой важный фактор — окажется переход постепенным или резким. Я подозреваю, что мало кто обеспокоен перспективами человечества. Люди за тысячелетия своей эволюции стали умнее, лучше приспосабливаются к изменяющейся окружающей среде и, возможно, меняют свой облик. С другой стороны, многие родители будут испытывать двойственные чувства, если узнают, что ребёнок, о котором они мечтали, будет стоить им жизни. Если технология не заменит нас внезапно, а будет модернизировать и совершенствовать нас, в итоге сливаясь с нами, то может быть обеспечено и сохранение целей, и постепенность, необходимые нам, чтобы рассматривать постсингулярные формы жизни в качестве потомков. Мобильные телефоны и интернет уже расширили наши возможности по достижению того, чего мы хотим, по-видимому, без существенного искажения наших главных ценностей. Так что адепты сингулярности верят, что то же самое будет и с мозговыми имплантатами, устройствами, управляемыми мыслью, и даже с полной загрузкой человеческого сознания в виртуальную реальность.

Более того, это открывает нам космос, последний рубеж. В конце концов, чрезвычайно развитая жизнь, способная распространиться во Вселенной, вероятно, может появиться лишь в результате двухстадиального процесса: сначала разумные существа развиваются в ходе естественного отбора, а затем решают передать факел жизни дальше, сконструировав более совершенное сознание, способное к дальнейшему самосовершенствованию. Освобождённая от ограничений, накладываемых человеческими телами, развитая жизнь может расцвести и в конце концов заселить большую часть наблюдаемой Вселенной. Эту возможность давно изучают писатели-фантасты, энтузиасты ИИ и мыслители-трансгуманисты.

Так наступит ли сингулярность в ближайшие десятилетия? Является ли она чем-то таким, чему мы должны противодействовать? Я думаю, надо честно сказать, что мы очень далеки от консенсуса по обоим вопросам, но это не значит, что разумно ничего не предпринимать. Сингулярность может стать лучшим или худшим событием, произошедшим с человечеством, так что если есть хотя бы 1 % вероятности, что сингулярность случится при нашей жизни, я думаю, разумно было бы потратить 1 % ВВП на изучение этого вопроса и принятие соответствующих решений. Так почему мы этого не делаем?

Глупость космического масштаба

Научная карьера открыла мне космическую перспективу, при которой остро необходимым кажется управление экзистенциальными угрозами ( рис. 13.5 ). Нам, профессорам, приходится ставить оценки. Предположим, я бы читал начальный курс менеджмента риска и должен был бы поставить оценку за первый семестр человечеству, основываясь на том, как мы до сих пор управлялись с экзистенциальными угрозами. Вы, наверное, требовали бы, чтобы я поставил четыре на том основании, что человечество до сих пор не бросило курс. Но я, со своей космологической перспективы, считаю наши результаты неудовлетворительными и не могу поставить выше двойки: долгосрочный потенциал жизни — буквально астрономический, однако люди не имеют разумного плана касательно даже неотложных экзистенциальных угроз и уделяют разработке таких планов лишь ничтожную долю своего внимания. В сравнении с 20 млн долларов, потраченными в прошлом году Союзом обеспокоенных учёных (одной из крупнейших организаций, занимающихся, по крайней мере, некоторыми экзистенциальными угрозами), только Соединённые Штаты потратили почти в 500 раз больше на косметическую хирургию, почти в 1 тыс. раз больше на кондиционирование воздуха для военных, примерно в 5 тыс. раз больше на сигареты и примерно в 35 тыс. раз больше на военные нужды, не считая военного здравоохранения, содержания отставников и процентов по военным кредитам.

Рис. 13.5.Важность разумного отношения к экзистенциальным угрозам становится более очевидной в космической перспективе, поскольку в ней подчёркивается огромный потенциал, который мы рискуем потерять, если разрушим нашу цивилизацию.

Как мы можем быть такими недальновидными? Ну, допустим, эволюция подготовила нас в основном к технологиям вроде палок и камней и, вероятно, мы не должны удивляться, что обращаемся с современными технологиями так неумело, но мы могли хотя бы не усугублять ситуацию. Вот я сижу в большом ящике из дерева и камня и многократно нажимаю маленькие чёрные квадратики, глядя на светящийся прямоугольник перед собой. Я не встретил сегодня ни одного живого организма и часами сижу здесь, освещённый сверху люминесцентной спиралью. Я, несмотря на всё это, чувствую себя счастливым — вот доказательство того, насколько удивительно адаптивным мозгом наделила нас эволюция. (Как и тот факт, что я научился интерпретировать чёрные фигурки на светящемся прямоугольнике как слова, рассказывающие мне истории, и то, что я знаю, как вычислить возраст Вселенной, несмотря на то, что ни один из этих навыков не имел никакой ценности для моих пещерных предков.) Но из того, что мы умеем делать многое, не следует, что мы умеем всё необходимое. Внешние силы медленно меняли окружающую среду последние 100 тыс. лет, и эволюция помогала нам адаптироваться. Но недавно мы сами изменили нашу среду — слишком поспешно, чтобы эволюция могла за нами успеть. Мы усложнили её настолько, что и ведущим экспертам трудно до конца понять узкие аспекты. Так что не удивительно, что мы иногда теряем из виду общую картину и отдаём предпочтение краткосрочным удовольствиям, а не выживанию нашего «космического корабля». Например, эта светящаяся спираль над головой питается от сжигания угля, который превращается в углекислый газ, дающий вклад в перегрев нашего корабля, и сейчас, когда я об этом думаю, я вообще-то давно должен был бы её выключить.