Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Аргумент Гуда, бесспорно, подкрепляется естественной аналогией с химическим взрывом, в котором реакция каждой молекулы высвобождает достаточно энергии, чтобы вызвать более одной дополнительной реакции. В то же время логически возможно, что у взрывоподобного развития интеллекта может быть убывающая отдача и мы получим затухающий процесс вместо взрыва [198] Убывающую отдачу можно проиллюстрировать следующим образом. Предположим, 16 %-ное повышение интеллектуальности дает машину, способную осуществить 8 %-ное повышение, которое, в свою очередь, дает 4 %-ное повышение, и т. д. Этот процесс достигает предела на уровне примерно на 36 % выше исходного. Более развернутое обсуждение этого вопроса см. в отчете: Eliezer Yudkowsky, «Intelligence explosion microeconomics», technical report 2013–1, Machine Intelligence Research Institute, 2013. . Нет очевидного способа доказать, что взрыв обязательно произойдет.

Сценарий убывающей отдачи по-своему интересен. Он мог бы возникнуть, если окажется, что достижение определенного уровня улучшения становится намного сложнее с ростом интеллектуальности машины. (Для упрощения я предполагаю, что универсальный машинный интеллект является измеримым по некоторой линейной шкале, что едва ли может быть верным.) В этом случае люди все равно не смогут создать сверхинтеллектуальность. Если машина, уже обладающая сверхчеловеческими возможностями, «выдыхается» в попытке развить собственный интеллект, значит, люди сойдут с дистанции еще раньше.

Далее, я никогда не слышал серьезного аргумента в пользу того, что создание любого заданного уровня машинного интеллекта попросту не под силу человеческой изобретательности, но думаю, что это следует считать логически возможным. «Логически возможно» и «я готов поставить на это будущее человечества», разумеется, совершенно не одно и то же. Ставить против человеческой изобретательности представляется проигрышной стратегией.

Если взрывоподобное развитие ИИ действительно произойдет и если мы к тому моменту не решим проблему управления машинами с интеллектом, лишь слегка превосходящим человеческий, — например, не сумеем запретить вышеописанное циклическое самосовершенствование, — тогда у нас не останется времени на решение проблемы контроля и все будет кончено. Это сценарий «быстрого взлета» у Бострома, согласно которому интеллектуальность машин ы колоссально возрастает за считаные дни или недели. По словам Тьюринга, «из-за этого, безусловно, есть основания тревожиться».

Возможными ответами на эту опасность представляются:

• отказ от исследования ИИ;

• отрицание того, что разработке продвинутого ИИ сопутствуют неизбежные риски;

• понимание и уменьшение рисков путем разработки ИИ-систем, гарантированно остающихся под контролем человека;

• самоустранение — просто оставление будущего за интеллектуальными машинами.

Отрицание и преуменьшение рисков являются темами оставшихся глав книги. Как я уже утверждал, отказ от исследования ИИ маловероятен (поскольку слишком велики выигрыши от его использования) и очень трудноосуществим. Самоустранение представляется наихудшим выходом. Оно часто сопровождается идеей, что ИИ-системы, более интеллектуальные, чем мы, почему-то заслуживают унаследовать нашу планету, тогда как людям останется «уйти смиренно в сумрак вечной тьмы» {11} 11 Аллюзия на стихотворение Д. Томаса «Do not go gentle into that good night», цитировавшееся в фильме «Интерстеллар». — Прим. пер. , утешаясь мыслью, что наше блистательное электронное потомство решает собственные задачи. Этот взгляд сформулировал робототехник и футурист Ханс Моравек [199] Взгляд на ИИ, при котором люди утрачивают значение: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Harvard University Press, 1988). См. также: Hans Moravec, Robot: Mere Machine to Transcendent Mind (Oxford University Press, 2000). . Он пишет: «Безграничность киберпространства будет наполнена нечеловеческими сверхумами, занятыми делами, которые рядом с человеческими заботами то же самое, что наши рядом с заботами бактерии». Мне кажется, что это ошибка. Ценность для людей определяется, прежде всего, сознательным человеческим существованием. Если нет людей и любых других сознающих сущностей, чей субъективный опыт является значимым для нас, то ничего ценного не происходит.

«Последствия подселения на Землю второго разумного вида являются настолько далеко идущими, что об этом стоит поразмыслить» [200] Серьезная публикация с серьезным анализом книги Бострома «Сверхразумность: пути, опасности, стратегии»: «Clever cogs», Economist , August 9, 2014. . Так заканчивается рецензия журнала The Economist на «Сверхразумность» Ника Бострома. Большинство сочтут эти слова классическим примером британской сдержанности. Безусловно, рассуждаете вы, великие умы современности уже вовсю размышляют над этим вопросом — участвуют в серьезных дебатах, взвешивают риски и выгоды, ищут решения, выявляют слабые места этих решений и т. д. Пока еще нет, насколько мне известно!

Знакомя с этими идеями аудиторию технарей, буквально видишь всплывающие над головами присутствующих мысли, начинающиеся словами «Но ведь…» и заканчивающиеся восклицательными знаками.

Частица «но» имеет несколько смыслов. Первый носит характер отрицания. Отрицающие говорят: «Но это не может быть реальной проблемой по причине XYZ». Некоторые из этих XYZ отражают процесс мышления, который, мягко говоря, можно назвать самообольщением, другие более основательны. Второй тип «но» принимает форму уклонения: все верно, проблемы существуют, но не нужно пытаться их решать, потому ли, что они неразрешимы, или потому, что нашего внимания требуют более важные вещи, чем конец цивилизации, или потому, что лучше о них вообще не упоминать. Третьи «но» — упрощенные быстрые решения: «Но почему бы нам просто не сделать АВС?» Как и в случае отрицания, часть этих АВС попросту никчемны, но некоторые, может быть случайно, приближаются к обнаружению истинной природы проблемы.

Я не утверждаю, что в принципе невозможно рационально опровергнуть мысль о том, что неправильно сконструированные сверхинтеллектуальные машины будут представлять собой серьезный риск для человечества. Я всего лишь пока не слышал рациональных возражений. Поскольку вопрос кажется очень важным, он заслуживает публичного обсуждения самого высокого уровня. Итак, поскольку я заинтересован в подобном обсуждении и надеюсь, что читатель примет в нем участие, позвольте мне кратко охарактеризовать основные моменты, какими они видятся на сегодняшний день.

Отрицание того, что проблема вообще существует, — самый простой путь. Скотт Александер, автор блога Slate Star Codex, начал широко известную статью об опасности ИИ [201] Рассмотрение мифов и заблуждений о рисках, связанных с ИИ: Scott Alexander, «AI researchers on AI risk», Slate Star Codex (blog), May 22, 2015. такими словами: «Я начал интересоваться рисками, которые несет ИИ, еще в 2007 г. В то время реакцией большинства на эту тему были смех и предложение вернуться к ней, когда в нее поверит хоть кто-нибудь, кроме отдельных интернет-психов».