Джеймс Баррат - Последнее изобретение человечества

«Я оптимист. Как изобретатель я просто обязан быть оптимистом».

После выступления Курцвейла мы с ним сидели рядом на металлических стульях в небольшой гостиной этажом выше зала. За дверью возможности пообщаться с ним не было — после меня ожидала съемочная группа какого-то документального фильма. Всего десять лет назад, когда он был не очень знаменитым изобретателем и писателем, я со своей собственной съемочной группой монополизировал его на три очень приятных часа; теперь же он стал фактически символом, и на его внимание я мог рассчитывать ровно до тех пор, пока мне удавалось держать дверь запертой. Я тоже изменился — во время первой встречи меня ошеломила мысль о том, что когда-нибудь станет возможным подключить мой мозг к компьютеру, как описано в «Духовных машинах». Мои вопросы были не жестче мыльных пузырей. Теперь я стал циничнее и мудрее по отношению к опасностям, которые самого мэтра уже не интересуют.

«Я достаточно много говорю об опасности в книге "Сингулярность рядом", — запротестовал Курцвейл, когда я спросил, не делает ли он слишком сильный акцент на позитивных перспективах сингулярности и не преуменьшает ли ее опасности. — В главе 8 речь идет об опасных перспективах переплетенных ГНР [генетики, нанотехнологий и робототехники], и я в милых живописных подробностях описываю отрицательные стороны этих трех областей техники. А отрицательная сторона робототехники, под которой на самом деле подразумевается ИИ, наиболее серьезна, потому что интеллект — самый значительный феномен в мире. Следовательно, от сильного ИИ не существует абсолютно надежной защиты».

В книге Курцвейла действительно подчеркиваются опасности генной инженерии и нанотехнологий, однако мощному ИИ, как раньше называли УЧИ, посвящено всего несколько «беззубых» страниц. Кроме того, в этой главе автор утверждает, что отказ от некоторых слишком опасных технологий, как предлагают Билл Джой и другие, — это идея не просто плохая, а аморальная. Я согласен с тем, что такой отказ практически невозможен. Но аморален ли он?

Отказ от технологий аморален потому, что в этом случае мы отказываемся от громадной пользы. В нашей жизни по-прежнему много страдания, которое можно преодолеть; существует моральный императив преодолеть его. Кроме того, отказ от технологий потребовал бы тоталитарной системы, поскольку только ей под силу обеспечить запрет. И, что самое важное, все равно ничего не получится. Технологии будут просто загнаны в подполье, где у безответственных исследователей вообще не будет никаких ограничений. Ответственные ученые, которым будет поручена разработка защиты, не получат доступ к необходимым для этого инструментам. В результате ситуация окажется еще более опасной.

Курцвейл критикует так называемый Принцип предосторожности, исходящий от движения за охрану окружающей среды; это, как и отказ от технологий, его мишень в нашем разговоре. Но важно точно сформулировать этот принцип и посмотреть, почему в нем нет особого смысла. Принцип предосторожности гласит: «Если последствия некоего действия неизвестны, но некоторые ученые считают, что они, хотя бы с небольшой вероятностью, могут оказаться резко отрицательными, то лучше не производить действие, чреватое отрицательными последствиями». Этот принцип применяется не особенно часто и не особенно строго. Он положил бы конец любой предположительно опасной технологии, если бы «некоторые ученые» опасались ее, даже если бы они не могли точно сформулировать, каким образом это действие приведет к нежелательному результату.

В приложении к УЧИ у Принципа предосторожности и отказа от технологий нет никаких шансов, если исключить вариант катастрофического происшествия на пути к УЧИ, которое испугало бы нас всех до смерти. Лучшие корпоративные и правительственные проекты УЧИ никогда не откажутся от конкурентного преимущества в виде секретности — мы уже видели это на примере стелс-компаний. Мало какая страна или организация откажется от такого преимущества, даже если работа над УЧИ будет объявлена вне закона. (Мало того, та же корпорация Google обладает средствами и влиянием небольшого государства, так что, если хотите понять, что будут делать другие страны, следите за Google.) Технологии, необходимые для создания УЧИ, вездесущи и многосторонни, к тому же постоянно миниатюризируются. Контролировать их развитие чрезвычайно сложно, если не невозможно.

Другой вопрос — действительно ли аморально не развивать УЧИ, как говорит Курцвейл. Во-первых, польза от УЧИ будет громадна, но только в том случае, если человечество уцелеет и сможет ею воспользоваться. И это довольно серьезное если, когда система достаточно продвинута, чтобы инициировать интеллектуальный взрыв. Утверждать, как это делает Курцвейл, что недоказанная польза перевешивает столь же недоказанный риск, на мой взгляд, проблематично. Я бы сказал в ответ на его аргументы, что аморально, на мой взгляд, разрабатывать такие технологии, как УЧИ, и не просвещать одновременно как можно большее количество людей относительно связанных с этим рисков. Я считаю, что катастрофические риски УЧИ, ныне признанные многими известными и уважаемыми исследователями, установлены надежнее, чем предполагаемая польза от сингулярности, — для начала это наноочищение крови, улучшенный, более быстрый мозг и бессмертие. Единственное, что можно наверняка сказать о сингулярности, — это то, что данный термин описывает период времени, в который, согласно Закону прогрессирующей отдачи, быстрые и очень умные компьютеры прочно войдут в нашу жизнь и наши тела. После этого, вполне возможно, чуждый машинный интеллект устроит нашему природному интеллекту веселую жизнь. Понравится нам это или нет, другой вопрос. Если вы внимательно читали Курцвейла, вы понимаете, что польза проистекает в основном от усиления человеческих способностей — усиления, необходимого, чтобы поспевать за изменениями. Как я уже говорил, я считаю, что это приведет к технологическому насилию, а может быть, и к выбраковке.

И это, надо сказать, не главный мой страх, потому что я не думаю, что мы когда-нибудь доживем до подобной ситуации. Я считаю, что нас остановят еще на подходе силы, слишком могущественные, чтобы их можно было контролировать. Я сказал об этом Курцвейлу, и он ответил стандартной заготовкой — тем же оптимистичным, антропоморфным аргументом, что он выдал мне десять лет назад.

Получить сущность чрезвычайно умную, но по каким-то причинам нацеленную на наше уничтожение — это негативный сценарий. Но спросите себя: почему может так случиться? Во- первых, я осмелился бы утверждать, что не существует противостояния между нами и машинами, поскольку машины — не отдельная цивилизация. Это часть нашей цивилизации. Это инструменты, которыми мы пользуемся, и их применение постоянно расширяется; даже если мы станем этими инструментами, все равно эта система развивается из нашей цивилизации. Это не какое-то инопланетное вторжение машин с Марса. Нам не придется гадать, на чем основана их система ценностей.