Алексей Турчин - Российская Академия Наук

Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все возможные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает сумму из 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Особенностью предлагаемой книги является подробный критический обзор разных средств защиты от глобальных рисков. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.

Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.

Термины

В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):

ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку

Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».

Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.

Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.

Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.

Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.

Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.

Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».

Структура катастрофы – взаимосвязь научных заблуждений, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе.

NBIC-конвергенция – означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano-bio-info-cogno.

Пространство возможностей

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности – это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.