Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Насколько мне известно, это первый раз, когда серьезные исследователи ИИ публично озвучили точку зрения, что ИИ человеческого или сверхчеловеческого уровня невозможен, — и это в разгар периода невероятно быстрого прогресса исследований ИИ, когда рушится один барьер за другим. Представьте, что группа ведущих онкологов объявила бы, что все это время они морочили нам голову: они всегда знали, что лекарство от рака никогда не будет создано.

Что могло стать мотивом подобного кульбита? Отчет не приводит никаких аргументов или свидетельств. (Действительно, какие могут быть свидетельства в пользу того, что никакая физически возможная структура атомов не в состоянии превзойти человеческий мозг?) Я подозреваю, тому были две причины. Во-первых, естественное желание опровергнуть существование «проблемы гориллы», открывающей очень неприятную перспективу перед исследователем ИИ. Безусловно, если ИИ человеческого уровня невозможен, «проблема гориллы» попросту самоустраняется. Во-вторых, это синдром «нашизма» — инстинктивное стремление держать круговую оборону против всего, что кажется нападками на ИИ.

Мне кажется странным видеть в утверждении, что сверхинтеллектуальный ИИ возможен, нападки на ИИ, тем более странно защищать ИИ, утверждая, что эта цель никогда не будет достигнута. Невозможно предотвратить будущую катастрофу, просто положившись на недостаточную изобретательность человека.

Мы уже ставили на это прежде и проигрывали. Как обсуждалось в предыдущих главах, физика начала 1930-х гг., олицетворяемая лордом Резерфордом, убедительно говорила о невозможности извлечения атомной энергии, но изобретение Лео Силардом в 1933 г. цепной реакции, инициируемой нейтронами, доказало, что эта убежденность не имела под собой оснований.

Прорыв, совершенный Силардом, пришелся на неудачное время — начало гонки вооружений с нацистской Германией. Тогда не было возможностей развивать атомную технологию во благо. Через несколько лет, продемонстрировав цепную реакцию деления атомных ядер в своей лаборатории, Силард написал: «Мы все выключили и пошли по домам. Той ночью я почти не сомневался, что мир движется к бедствию».

Часто видишь здравомыслящих людей, пытающихся успокоить встревоженное общество утверждениями, что, поскольку ИИ человеческого уровня вряд ли появится еще несколько десятилетий, бояться нечего. Например, как говорится в отчете AI100, «нет причины беспокоиться, что ИИ представляет собой непосредственную угрозу для человечества».

Этот аргумент порочен в двух отношениях. Во-первых, он использует логическую уловку: беспокойство проистекает не из близости катастрофы. Например, Ник Бостром пишет в «Сверхразумности»: «В этой книге никоим образом не утверждается, что мы стоим на пороге большого прорыва в изучении ИИ или что мы можем сколько-нибудь точно предсказать, когда это достижение может произойти». Во-вторых, долгосрочный риск может вызывать тревогу уже сейчас. Верный момент, чтобы начать беспокоиться из-за потенциально серьезной проблемы для человечества, определяется не только моментом ее возникновения, но тем, сколько нужно времени, чтобы подготовить и осуществить ее решение.

Например, если бы мы обнаружили большой астероид, который столкнется с Землей в 2069 г., разве мы бы сказали, что беспокоиться слишком рано? Наоборот! Был бы создан экстренный всемирный проект по разработке средств противодействия угрозе. Мы не стали бы ждать 2068 г., чтобы начать работать над решением, поскольку не могли бы заранее сказать, сколько времени на это потребуется. В действительности проект планетарной защиты NASA уже работает над возможными решениями, хотя «никакой известный астероид не представляет существенной опасности столкновения с Землей в ближайшие 100 лет». Если вас это успокоило, там также сказано: «Около 74 % объектов больше 140 м, приближающихся к Земле, пока остаются необнаруженными».

Если рассматривать риски всемирной катастрофы вследствие изменения климата, которая, по предсказаниям, случится в этом веке, можно ли сказать, что слишком рано действовать по их предупреждению? Напротив, возможно, уже слишком поздно. Соответствующая временная шкала появления сверхчеловеческого ИИ менее предсказуема, но, разумеется, это значит, что он, как и ядерный синтез, может появиться значительно раньше, чем ожидается.

Одна из формулировок аргумента «еще слишком рано беспокоиться», получившая распространение, принадлежит Эндрю Ыну: «Это все равно что бояться перенаселенности Марса» [210] Новостная статья на основе отрицания Эндрю Ыном обусловленных ИИ рисков: Chris Williams, «AI guru Ng: Fearing a rise of killer robots is like worrying about overpopulation on Mars», Register , March 19, 2015. . (В дальнейшем он усилил аргументацию, заменив Марс на альфу Центавра.) Ын, бывший профессор Стэнфорда, является ведущим экспертом по машинному обучению, и его мнение имеет вес. Данная оценка обращается к удобной аналогии: риск является не просто контролируемым и очень отдаленным; прежде всего, крайне маловероятно, что мы вообще попытаемся переселить на Марс миллиарды людей. Однако это ложная аналогия. Мы уже вкладываем огромные научные и технические ресурсы в создание ИИ-систем со все большими возможностями, почти не задумываясь о том, что произойдет, если мы добьемся успеха. Таким образом, более адекватная аналогия — работать над планом переселения человечества на Марс, не задаваясь вопросами о том, чем мы будем дышать, что пить и есть, когда там окажемся. Напротив, можно понять аргумент Ына буквально и ответить, что высадка даже одного человека на Марс будет представлять собой перенаселенность, поскольку Марс способен обеспечить существование нуля человек. Так, группы, в настоящее время планирующие отправить на Марс горстку людей, беспокоятся из-за перенаселенности Марса, потому и разрабатывают системы жизнеобеспечения.

При любом обсуждении технологического риска лагерь сторонников технологии выдвигает аргумент, что все страхи из-за рисков вызываются невежеством. Например, вот что утверждает Орен Эциони, исполнительный директор Института изучения ИИ им. Аллена, видный исследователь в области машинного обучения и понимания естественного языка [211] Пример аргумента «специалистам виднее»: Oren Etzioni, «It’s time to intelligently discuss artificial intelligence», Backchannel , December 9, 2014. :

С возникновением любой технологической инновации люди испытывают страх. От ткачей, швырявших свои башмаки в механические ткацкие станки в начале промышленной эры, и до сегодняшнего страха роботов-убийц нашей реакцией управляет незнание того, как новая технология скажется на нашем самоощущении и хлебе насущном. Если же мы чего-то не знаем, наш испуганный ум достраивает картинку.