Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Однако в словах Брукса и Пинкера есть рациональное зерно. Действительно, представляется тупостью с нашей стороны допускать, чтобы машина, скажем, меняла цвет неба в качестве побочного эффекта преследования какой-то другой цели, игнорируя очевидные признаки недовольства людей результатом. Это было бы нашей глупостью, потому что мы ориентированы на то, чтобы замечать недовольство людей, и (обычно) имеем стимул этого избегать — даже если прежде не сознавали, что данным людям не все равно, какого цвета небо. А именно: мы, люди, (1) придаем значение предпочтениям других людей и (2) знаем, что не знаем всех этих предпочтений. В следующей главе я утверждаю, что эти характеристики, будучи встроены в машину, могут стать началом решения «проблемы царя Мидаса».

В этой главе мы бросили взгляд на дебаты, ведущиеся в широком сообществе интеллектуалов — между теми, кто указывает на риски, которые несет ИИ, и «скептиками», не замечающими особых рисков. Споры ведутся в книгах, блогах, научных статьях, коллективных обсуждениях, интервью, твитах и газетах. Несмотря на отчаянные усилия, скептики — настаивающие, что опасности ИИ пренебрежимо малы, — так и не смогли объяснить, почему сверхинтеллектуальные ИИ-системы обязательно останутся подконтрольными человеку, и даже не попытались указать причины, по которым сверхинтеллектуальные ИИ-системы никогда не будут созданы.

Под нажимом многие скептики признают, что проблема реальна , хотя и не является непосредственной. Скотт Александер в своем блоге Slate Star Codex блестяще это сформулировал [233] О неожиданном согласии «скептиков» и «верующих» по поводу рисков от ИИ: Alexander, «AI researchers on AI risk». :

Позиция «скептиков» представляется следующей: пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы, но незачем паниковать или пытаться запретить исследования ИИ.

«Верующие» тем временем настаивают, что, хотя незачем паниковать или пытаться запретить исследования ИИ, пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы.

Я был бы счастлив, если бы скептики предложили неоспоримый аргумент, например, в форме простого, с «защитой от дурака» (и зла) решения проблемы контроля ИИ, но мне это кажется весьма маловероятным — не более вероятным, чем открытие простого, с «защитой от дурака», способа получать ядерную энергию с нулевым риском. Вместо того чтобы все глубже погружаться в нашизм с личными нападками и без конца вспоминать сомнительные аргументы, лучше было бы, по словам Александера, начать работать над некоторыми предварительными аспектами проблемы.

Дебаты выявили хаос, с которым мы имеем дело: если мы создаем машины для оптимизации целей, то цели, которые мы ставим перед машинами, должны соответствовать нашим желаниям. Однако мы не умеем полно и точно сформулировать цели человечества. К счастью, есть золотая середина.

После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.

Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.

К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность , с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга [234] Руководство по детальному моделированию деятельности головного мозга, на сегодняшний день немного устаревшее: Anders Sandberg and Nick Bostrom, «Whole brain emulation: A roadmap», technical report 2008–3, Future of Humanity Institute, Oxford University, 2008. — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ [235] Введение в генетическое программирование от ведущего деятеля: John Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection (MIT Press, 1992). . Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.

Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.

Однако по мере того, как машины, построенные по стандартной модели, становятся более интеллектуальными, а их охват — всемирным, данный подход оказывается несостоятельным. Такие машины будут преследовать собственную цель, какой бы неправильной она ни была; они будут сопротивляться попыткам выключить их; наконец, они будут приобретать все ресурсы, требующиеся для достижения их цели. Действительно, оптимальное поведение для машины может включать введение в заблуждение людей, считающих, что поставили перед машиной рациональную задачу, с тем чтобы получить достаточно времени для достижения той самой заданной ей цели. Это не будет «девиантная» или «вредоносная» активность, требующая сознания и свободы воли; это будет всего лишь часть оптимального плана достижения цели.

В главе 1 я ввел понятие полезных машин, а именно — машин, действия которых ожидаемо должны преследовать наши цели, а не свои цели. Моей задачей в этой главе будет объяснить доступным языком, как это можно сделать, несмотря на то очевидное препятствие, что машины не знают, в чем состоят наши задачи. Итоговый подход в конечном счете приведет к появлению машин, не представляющих для нас никакой опасности, какими бы интеллектуальными они ни были.

Мне хотелось бы описать данный подход в форме трех принципов [236] Параллель с Тремя законами робототехники Азимова совершенно случайна. . Помните, что их основное назначение — служить руководством для исследователей и разработчиков ИИ в размышлениях о том, как создать полезные ИИ-системы; они не предлагаются в качестве явно заданных законов, которым должны удовлетворять ИИ-системы [237] То же самое утверждает Элиезер Юдковский: Eliezer Yudkowsky, «Coherent extrapolated volition», technical report, Singularity Institute, 2004. Он полагает, что прямое следование «Четырем великим нравственным принципам, которыми исчерпывается то, что мы должны встроить в ИИ», есть гарантированный путь к уничтожению человечества. Его понятие «когерентного экстраполированного волеизъявления человечества» созвучно первому принципу; идея заключается в том, что сверхинтеллектуальная ИИ-система могла бы обнаружить, чего люди хотят на самом деле. :