Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Попробую объяснить. Предположим, машина имеет задачу приносить кофе. Если она достаточно интеллектуальна, то, безусловно, поймет, что не выполнит задачу, если будет выключена прежде, чем осуществит свою миссию. Итак, задача подать кофе создает необходимую подзадачу — не допустить отключения. То же самое относится к поиску лекарства от рака или вычислению числа пи. Будучи мертвым, решительно ничего невозможно сделать, поэтому следует ожидать, что ИИ-системы будут действовать на упреждение, оберегая свое существование практически перед любой задачей.

Если эта задача противоречит предпочтениям людей, то мы получаем сюжет «2001: Космическая одиссея», где компьютер HAL 9000 убивает четверых из пяти астронавтов на борту корабля, чтобы исключить вмешательство в свою миссию. Дэйв, последний оставшийся астронавт, ухитряется отключить HAL в эпичной битве умов — полагаю, чтобы сюжет был интересным. Если бы HAL действительно был сверхинтеллектуальным, «отключенным» оказался бы Дэйв.

Важно понимать, что самосохранение никоим образом не должно быть встроенным инстинктом или главной директивой машин. (Следовательно, Третий закон робототехники [193] Три закона робототехники Азимова впервые появляются в рассказе Айзека Азимова «Хоровод»: Isaac Asimov, «Runaround», Astounding Science Fiction , March 1942. Вот они: 1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам. Важно понимать, что Азимов предложил эти законы для создания интересных литературных сюжетов, а не в качестве серьезного руководства для будущих инженеров-робототехников. Многие его рассказы, в том числе «Хоровод», иллюстрируют проблемные последствия буквального понимания законов. С точки зрения современного ИИ законы Азимова совершенно не учитывают элемент вероятности и риска: следовательно, неясна допустимость действий робота, подвергающего человека некоторой вероятности вреда, хотя бы ничтожно малой. Айзека Азимова, «Робот должен заботиться о своей безопасности», совершенно излишен.) Во встроенном самосохранении нет необходимости, потому что это инструментальная цель — цель, являющаяся полезной подцелью практически любой исходной задачи [194] Понятие инструментальной цели взято из неопубликованной рукописи: Stephen Omohundro, «The nature of selfimproving artificial intelligence» (unpublished manuscript, 2008). См. также: Stephen Omohundro, «The basic AI drives», in Artificial General Intelligence 2008: Proceedings of the First AGI Conference , ed. Pei Wang, Ben Goertzel, and Stan Franklin (IOS Press, 2008). . Любая сущность, имеющая определенную задачу, будет автоматически действовать так, как если бы имела и инструментальную цель.

Кроме необходимости быть живым, инструментальной целью в нашей нынешней системе является доступ к деньгам. Так, интеллектуальная машина может хотеть денег не из жадности, а потому что деньги полезны для достижения любых целей. В фильме «Превосходство», когда мозг Джонни Деппа загружается в квантовый суперкомпьютер, первое, что делает машина, — копирует себя на миллионы других компьютеров в интернете, чтобы ее не могли отключить. Второе ее действие — быстро обогащается на биржевых операциях, чтобы финансировать свои экспансионистские планы.

В чем именно заключаются эти планы? Они включают разработку и постройку значительно большего квантового суперкомпьютера, проведение исследований в области ИИ и получение нового знания в физике, нейронауке и биологии. Эти ресурсные задачи — вычислительная мощность, алгоритмы и знание — также являются механизмами, полезными для достижения любой приоритетной цели [195] Цель персонажа в исполнении Джонни Деппа, Уилла Кастера, как представляется, состоит в решении проблемы физического воплощения, чтобы он мог воссоединиться со своей женой Эвелин. Это лишь показывает, что характер магистральной цели не играет роли — на инструментальные цели это не влияет. . Они кажутся довольно безопасными, пока не приходит понимание того, что процесс приобретения будет продолжаться беспредельно. Наконец, машина, вооруженная непрерывно совершенствующимися человеческими моделями принятия решений, разумеется, предвосхитит и отразит любой наш ход в этом конфликте.

Ирвинг Джон Гуд, блестящий математик, работал с Аланом Тьюрингом в Блетчли-парке, взламывая шифровальные коды немцев во время Второй мировой войны. Он разделял интерес Тьюринга к машинному интеллекту и статистическому анализу. В 1965 г. он написал самую известную свою статью «Размышления о первой ультраинтеллектуальной машине» [196] Источник идеи о взрывоподобном развитии интеллектуальности: I. J. Good, «Speculations concerning the first ultraintelligent machine», in Advances in Computers , vol. 6, ed. Franz Alt and Morris Rubinoff (Academic Press, 1965). . Первое предложение в работе свидетельствует, что Гуд, встревоженный ядерным противостоянием холодной войны, считал ИИ возможным спасителем человечества: «Выживание человека зависит от быстрого создания ультраинтеллектуальной машины». Далее по тексту статьи, однако, он становится более осмотрительным. Он вводит понятие взрывоподобного развития ИИ , но, как его предшественники Батлер, Тьюринг и Винер, боится утраты контроля:

Определим ультраинтеллектуальную машину как машину, способную далеко обойти интеллектуальные усилия любого человека, сколь угодно умного. Поскольку конструирование машины — одно из таких интеллектуальных усилий, ультраинтеллектуальная машина могла бы сконструировать машины, значительно превосходящие интеллект человека; тогда, безусловно, произошло бы «взрывоподобное развитие ИИ» и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина — это последнее изобретение, которое еще потребуется сделать человеку при условии, что машина достаточно послушна, чтобы сообщить нам, как удерживать ее под контролем. Любопытно, что этот момент так редко рассматривается вне научной фантастики.

Этот абзац описывает суть любого обсуждения сверхинтеллектуального ИИ, хотя сделанное в конце его предостережение обычно отбрасывается. Позицию Гуда можно подкрепить, заметив, что ультраинтеллектуальная машина не только может усовершенствовать свою конструкцию; скорее всего, она сделает это, поскольку, как мы видели, интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения. Возможность взрывоподобного развития ИИ часто упоминается как главный источник опасности для человечества, потому что это дало бы нам совсем мало времени на решение проблемы контроля [197] Пример воздействия идеи о взрывоподобном развитии интеллекта: Люк Мюльхаузер в статье «Перед лицом взрывоподобного роста интеллектуальности» (intelligenceexplosion.com) пишет: «Мысль Гуда переехала меня, как поезд». .