Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В Popular Science вышла статья «Билл Гейтс боится ИИ, но исследователи ИИ осведомлены лучше» [212] Новостная статья с утверждением, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: Erik Sofge, «Bill Gates fears AI, but AI researchers know better», Popular Science , January 30, 2015. :

Если поговорить с исследователями ИИ — опять-таки настоящими исследователями, бьющимися над тем, чтобы заставить системы вообще работать, не говоря уже о том, чтобы работать хорошо, — окажется, что они не беспокоятся, что сверхразумность покончит с ними сейчас или в будущем. В противоположность жутким историям, которые так любит рассказывать Маск, исследователи ИИ не занимаются лихорадочным строительством «чертогов призыва» за крепостными стенами, самоликвидирующихся после обратного отсчета.

Этот вывод опирался на опрос четверых человек, причем все они в действительности сказали в интервью, что тема безопасности ИИ в долгосрочной перспективе является важной.

Дэвид Кенни, в то время вице-президент IBM, обратился к Конгрессу США с письмом в духе, очень близком Popular Science , со следующими успокоительными словами [213] Еще одно заявление, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: David Kenny, «IBM’s open letter to Congress on artificial intelligence», June 27, 2017, ibm.com/blogs/policy/kenny-artificial-intelligence-letter . :

Если вы действительно занимаетесь изучением машинного интеллекта и действительно применяете его в реальном мире к бизнесу и обществу — как мы в IBM, когда создавали свою передовую когнитивную компьютерную систему Watson, — то понимаете, что эта технология не поддерживает нагнетание страхов, обычно сопутствующее сегодняшним дебатам вокруг ИИ.

Во всех трех случаях послание одно и то же: «Не слушайте их, специалисты — мы». Что ж, можно заметить, что это аргумент с переходом на личности, попытка опровергнуть чужое послание, обесценив его автора, но даже если принять этот аргумент за чистую монету, он все равно ничего не доказывает. Илон Маск, Стивен Хокинг и Билл Гейтс, безусловно, очень хорошо владеют научным и технологическим мышлением, а Маск и Гейтс еще и руководили и финансировали многие проекты исследования ИИ. Было бы еще менее обоснованно утверждать, что Алан Тьюринг, И. Дж. Гуд, Норберт Винер и Марвин Минский были не подготовлены обсуждать ИИ. Наконец, запись в вышеупомянутом блоге Скотта Александера, озаглавленная «Исследователи ИИ о риске, который несет ИИ», отмечает, что «исследователи ИИ, в том числе некоторые лидеры этого направления, с самого начала играли ключевую роль в постановке вопроса о рисках ИИ и сверхинтеллектуальности». Он перечисляет еще несколько ученых, а сегодня этот список значительно длиннее.

Другой стандартный риторический ход «защитников ИИ» — представлять своих противников новыми луддитами. Упоминание Орена Эциони о «ткачах, швыряющих свои башмаки в механические ткацкие станки» как раз из этой оперы. Луддиты — это ремесленники-ткачи, протестовавшие в начале XIX в. против внедрения машин, заменивших их квалифицированный труд. В 2015 г. Фонд содействия развитию информационной технологии и инноваций вручил свою ежегодную Премию луддитов «алармистам, предрекающим апокалипсис из-за искусственного интеллекта». Что за странное представление о «луддитах», включая Тьюринга, Винера, Минского, Маска и Гейтса, входящих в число самых видных участников технологического прогресса XX и XXI вв.!

Обличение новых луддитов свидетельствует о непонимании природы опасений и цели высказывания этих опасений. Это все равно что называть луддитами инженеров-ядерщиков, указывающих на необходимость контроля реакции синтеза. Как и в случае странного феномена — исследователей ИИ, вдруг заявивших, что ИИ невозможен, — этот загадочный момент, на мой взгляд, можно объяснить все тем же синдромом «нашизма».

Некоторые комментаторы готовы признать, что риски реальны, но все-таки высказываются за то, чтобы ничего не делать. Их аргументы: ничего сделать невозможно, важно сделать что-то совершенно другое, нужно помалкивать о рисках.

Типичный ответ на предположения, что продвинутый ИИ может быть опасен для человечества, — запретить исследования ИИ невозможно. Обратите внимание на мысленный скачок: «Ага, кто-то заговорил о рисках! Наверняка предложит запретить мое исследование!» Этот скачок может быть уместным при обсуждении рисков с опорой только на «проблему гориллы», и я склонен согласиться, что ее решение путем запрета создания сверхинтеллектуального ИИ потребовало бы наложить определенные ограничения на исследования ИИ.

Однако текущее обсуждение рисков сосредоточено не на носящей общий характер «проблеме гориллы» (пользуясь языком журналистики, противостоянии людей и сверхразума), а на «проблеме царя Мидаса» и ее вариантах. Решение «проблемы царя Мидаса» решает и «проблему гориллы» — не предотвращением появления сверхинтеллектуального ИИ и не обнаружением способа победить его, а исключением самой возможности его конфликта с людьми. Обсуждения «проблемы царя Мидаса» обычно избегают предложения свернуть исследования ИИ. Предлагается лишь уделить внимание вопросу предотвращения отрицательных последствий плохо сконструированных систем. Аналогично разговор о рисках утечки на АЭС нужно рассматривать не как попытку запретить исследования в области ядерной физики, а как предложение направить больше усилий на решение проблемы безопасности.

Имеется очень интересный исторический прецедент сворачивания научного исследования. В начале 1970-х гг. биологи начали понимать, что новые методы рекомбинации ДНК — встраивания генов одного организма в другой — могут нести существенные риски для здоровья человека и мировой экосистемы. Две конференции в калифорнийском Асиломаре в 1973 и 1975 гг. привели сначала к мораторию на подобные эксперименты, а затем к выработке детальных принципов биобезопасности с учетом рисков каждого предлагаемого эксперимента [214] Отчет симпозиума с предложением добровольного введения ограничений на генную инженерию: Paul Berg et al., «Summary statement of the Asilomar Conference on Recombinant DNA Molecules», Proceedings of the National Academy of Sciences 72 (1975): 1981–84. . Некоторые типы опытов, например с использованием генов токсинов, были сочтены слишком опасными, чтобы их разрешить.

Сразу после конференции 1975 г. Национальный институт здравоохранения, финансирующий практически все основные медицинские исследования в США, начал процесс организации Консультативного комитета по рекомбинантной ДНК, который играл важнейшую роль в выработке принципов Национального института здравоохранения, фактически воплощавших рекомендации асиломарских конференций. С 2000 г. эти принципы включают запрет одобрения финансирования любого протокола, предполагающего генеративное изменение человека — модификацию человеческого генома, наследуемую последующими поколениями. За этим запрещением последовали правовые запреты в 50 с лишним странах.