Джеймс Баррат - Последнее изобретение человечества

Деньги DARPA лежат в основе и Siri, и SyNAPSE — проекта IBM по обратному проектированию человеческого мозга аппаратными методами. Если и когда наступит такое время, что управление УЧИ станет обсуждаться широко и публично, очень может статься, что DARPA как главный заинтересованный участник получит право решающего голоса. А еще вероятнее, в решающий момент результаты работы просто будут засекречены. Почему? Как мы уже обсуждали, УЧИ произведет на глобальную экономику и политику сильнейшее разрушительное действие. Двигаясь стремительно, как он может, к ИСИ, искусственный интеллект изменит баланс сил на планете. В приближении УЧИ правительства и корпоративные разведки мира будут всеми силами стремиться узнать о нем все что можно и получить его спецификации любыми средствами. Из истории холодной войны общеизвестно, что Советский Союз не разрабатывал ядерное оружие с нуля; миллионы долларов были истрачены на развитие агентурных сетей, целью которых было украсть у США планы ядерного оружия. Первые же намеки на прорыв в деле создания УЧИ вызовут всплеск международных интриг.

IBM ведет открытую политику и объявляет обо всех своих достойных упоминания достижениях, поэтому мне кажется, что, когда придет время, эта компания будет вести себя открыто и честно в отношении технических достижений, которые вызывают сомнения. Google, напротив, упорно закручивает гайки и тщательно охраняет секретность и приватность, и притом надо отметить, что не вашу и не мою. Несмотря на неоднократные официальные опровержения, кто сомневается, что эта компания разрабатывает УЧИ? Помимо Рэя Курцвейла Google не так давно взял в штат бывшего директора DARPA Реджайну Дуган.

Может быть, исследователи проснутся вовремя и научатся управлять УЧИ, как утверждает Бен Гертцель. Я уверен, что сначала произойдут несколько ужасных аварий, и нам еще повезет, если мы как вид переживем их, очистившись и изменившись. Психологически и коммерчески сцена полностью подготовлена к катастрофе. Что мы можем сделать, чтобы предотвратить ее?

Рэй Курцвейл напоминает о так называемом Асиломарском моратории как о прецеденте и образце того, как нужно обращаться с УЧИ. Асиломарский мораторий возник около сорока лет назад, когда ученые впервые столкнулись с перспективами и опасностями рекомбинантной ДНК — смешения генетической информации разных организмов и создания новых форм жизни. Исследователи и общество испугались, что патогены- «Франкенштейны» из-за небрежности или в результате диверсии выйдут за пределы лабораторий. В 1975 г. ученые, занятые исследованием ДНК, приостановили работу в лабораториях и собрали 140 биологов, юристов, врачей и журналистов в Асиломарском конференц-центре возле Монтерея (штат Калифорния).

В Асиломаре ученые разработали правила проведения ДНК- исследований и главное — заключили соглашение работать только с теми бактериями, которые не в состоянии выжить вне стен лаборатории. После этого работу возобновили, и в результате сегодня тесты на наследственные болезни и генная терапия никого не удивляют, и в 2010 г. уже 10 % земель на планете были засеяны генетически модифицированными культурами. Асиломарская конференция считается победой научного сообщества и образцом открытого диалога с заинтересованной общественностью. Поэтому ее документы цитируют как пример для обращения с другими технологиями двойного назначения. (Пытаясь укрепить символическую связь с этой важной конференцией, Ассоциация развития искусственного интеллекта — ведущая научная организация по ИИ — провела встречу 2009 г. в Асиломаре.)

Патогены-химеры, убегающие из лабораторий, вызывают в памяти главу 1 и сценарий Busy Child. В случае с УЧИ открытая междисциплинарная конференция в стиле Асиломара действительно могла бы ослабить некоторые источники риска. Участники такой конференции подтолкнули бы друг друга к поиску методов контроля и сдерживания УЧИ. Те, кто предвидит проблемы, могли бы получить консультацию. Масштабная конференция стимулировала бы исследователей из других стран принять в ней участие или созвать собственную аналогичную конференцию. Наконец, этот открытый форум привлек бы внимание публики. Те, кто понимает, что кроме подсчета будущих выгод существуют и серьезные риски, могли бы принять участие в дискуссии хотя бы для того, чтобы сказать политикам, что они не поддерживают ничем не ограниченную разработку УЧИ. Если произойдет, как я предсказываю, ИИ-катастрофа с серьезным ущербом, информированная публика с меньшей вероятностью сочтет себя обманутой или потребует полного отказа от подобных проектов.

Как я уже говорил, в целом я скептически отношусь к планам модифицировать УЧИ в процессе разработки, поскольку считаю, что бесполезно пытаться обуздать исследователей, уверенных, что их конкурентов, в свою очередь, ничто не сдерживает. Однако DARPA и другие крупные спонсоры ИИ могли бы наложить ограничения на получателей своих денег. Чем проще интегрировать эти ограничения в проект, тем выше вероятность, что они будут реализованы.

Одним из ограничений может быть требование о том, что любой мощный ИИ должен содержать компоненты, запрограммированные на «смерть по умолчанию», по аналогии с биологическими системами, в которых система в целом защищается при помощи ликвидации частей на клеточном уровне путем запрограммированной смерти. В биологии это называется апоптозом.

Всякий раз, когда клетка делится, исходная половина получает химический приказ покончить с собой и делает это, если не получает сигнала об отсрочке. Таким путем предотвращается ничем не сдерживаемое размножение клеток, известное как рак. Химические приказы здесь исходят от самой клетки. Клетки нашего тела постоянно делают это; вот почему с кожи постоянно отшелушиваются мертвые клетки. В среднем взрослый человек теряет до 70 млрд клеток в день в результате апоптоза.

Представьте, что процессоры и другие микросхемы аппаратно запрограммированы на гибель. Как только ИИ достигнет некоего рубежа, близкого к прохождению теста Тьюринга, исследователи могут заменить принципиально важные аппаратные элементы на апоптические аналоги. В случае интеллектуального взрыва эти элементы сработают и остановят процесс. Ученые получат возможность вернуть ИИ к докритическому уровню и возобновить исследования. Можно будет постепенно, пошагово повторить развитие или «заморозить» ИИ и подробнейшим образом исследовать. Получается что-то похожее на знакомые всем компьютерные игры, где играющий продвигается вперед, пока его персонаж не погибнет, а затем начинает играть с последнего сохраненного момента.

Несложно понять, что сознающий себя самосовершенствующийся ИИ на пороге человеческого уровня поймет, что в нем имеются апоптические элементы, — это прямо следует из определения самосознания. На дотьюринговой стадии он вряд ли сможет что-то предпринять. И примерно в тот момент, когда ИИ сможет разработать план и придумать, как обойтись без этих самоубийственных элементов, или притвориться мертвым, или еще как-то обмануть своих создателей, — тут-то он и умрет, а экспериментаторы смогут определить, запомнил он или нет, что произошло. Для зарождающегося УЧИ ситуация, наверное, будет выглядеть как какой-то «день сурка», но без обучения.