Алексей Турчин - Российская Академия Наук

Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, доступных в Интернете.

Рассматриваемый промежуток времени: XXI век

В этой книге анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Но некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Эта граница позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.

Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2108-ым годом – 100 лет от настоящего момента – и 2100-ым годом – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)

Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 20, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, так как есть класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт в первую очередь об опасных приложениях биотехнологий (см. дальше в соответствующей главе). Поэтому возможно, следовало бы говорить о первой половине века. Иначе говоря, глобальные катастрофы могут случиться не с некими абстрактными нашими потомками, а с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

Проблемы численного вычисления вероятностей различных сценариев

Начну с цитаты из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...»

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 %, мы всё равно не узнаем, какова была её исходная вероятность.

Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.