Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

«Улучшение человеческого капитала» являлось одной из заветных целей евгеники, направления конца XIX — начала XX вв. Разработка CRISPR-Cas9, очень точного метода редактирования генома, возродила эту мечту. На международном саммите, проведенном в 2015 г., обсуждались возможности его будущего применения, призвав к сдержанности в случаях, когда отсутствует «широкий общественный консенсус в отношении допустимости предлагаемого применения» [215] Декларация принципов, разработанная вследствие открытия метода редактирования генома CRISPR-Cas9: Organizing Committee for the International Summit on Human Gene Editing, «On human gene editing: International Summit statement», December 3, 2015. . В ноябре 2018 г. китайский ученый Хэ Цзянькуй объявил, что отредактировал геномы трех человеческих эмбрионов, как минимум два из которых развились, что привело к рождению живых младенцев. Разразился международный скандал, и на тот момент, когда я пишу эти строки, Цзянькуй находится под домашним арестом. В марте 2019 г. международная группа из ведущих ученых недвусмысленно потребовала ввести официальный запрет на подобные эксперименты [216] Свежая декларация принципов, предложенная ведущими биологами: Eric Lander et al., «Adopt a moratorium on heritable genome editing», Nature 567 (2019): 165–68. .

Выводы из этих споров вокруг ИИ неоднозначны. С одной стороны, они свидетельствуют о том, что мы можем отказаться от продолжения исследований, имеющих огромный потенциал. Международный консенсус против изменения генома до сих пор был в основном успешным. Страх, что запрет просто заставит ученых уйти в подполье или перебраться в страны без соответствующего законодательного ограничения, оказался безосновательным. С другой стороны, изменение генома — легко выявляемый процесс, случай конкретного применения более общего знания о генетике, требующий специального оборудования и реальных людей-испытуемых. Более того, он относится к области репродуктивной медицины, уже находящейся под пристальным контролем и правовым регулированием. Эти характеристики не относятся к разработке универсального ИИ, и на сегодняшний день никто не предложил реально осуществимой формы законодательного сворачивания исследований ИИ.

С какнасчетизмом меня познакомил консультант британского политика, вынужденный постоянно сталкиваться с этим приемом на встречах с общественностью. Чему бы ни посвящалось выступление, кто-нибудь обязательно задавал вопрос: «А как насчет страданий палестинцев?»

В ответ на любое упоминание о рисках, которые несет продвинутый ИИ, вы, скорее всего, услышите: «А как насчет преимуществ ИИ?» Например, версия Орена Эциони [217] Замечание Эциони, что нельзя говорить о рисках, не упоминая также о выигрышах, приводится в его анализе результатов опроса исследователей ИИ: Oren Etzioni, «No, the experts don’t think superintelligent AI is a threat to humanity», MIT Technology Review , September 20, 2016. Он утверждает, что любому, кто полагает, что создание сверхчеловеческого ИИ займет больше 25 лет, — что относится и к автору этой книги, и к Нику Бострому, — незачем тревожиться из-за рисков от ИИ. :

Апокалипсические пророчества часто не учитывают потенциальной пользы от ИИ в таких областях, как предотвращение медицинских ошибок, снижение аварийности автомобильного транспорта и многих других.

Вот что сказал Марк Цукерберг, исполнительный директор компании Facebook, в недавнем обмене мнениями с Илоном Маском в соцсетях [218] Новостная статья с фрагментами дебатов Маска и Цукерберга: Alanna Petroff, «Elon Musk says Mark Zuckerberg’s understanding of AI is ‘limited,’» CNN Money , July 25, 2017. :

Если вы выступаете против ИИ, значит, вы против более безопасных автомобилей, которые никогда не попадут в аварию, и против способности поставить более точный диагноз заболевшим людям.

Помимо распространенного убеждения, что любой, кто заводит речь о рисках, является «противником ИИ», и Цукерберг, и Эциони утверждают, что обсуждать риски — значит игнорировать потенциальную пользу ИИ или даже отрицать ее.

Все как раз наоборот, и вот почему. Во-первых, если бы ИИ не сулил выгод, не было бы ни экономического, ни социального импульса для его исследования, следовательно, и опасности когда-либо создать ИИ человеческого уровня. Нам просто нечего было бы обсуждать. Во-вторых, если предотвратить риски не удастся, не будет и пользы . Эффект от использования атомной энергии значительно снизился из-за частичного расплавления рабочей зоны АЭС «Три-Майл-Айленд» в 1979 г., неуправляемой реакции и катастрофических выбросов в Чернобыле в 1986 г., а также многочисленных разрушений на Фукусиме в 2011 г. Эти катастрофы серьезно затормозили развитие ядерной промышленности. Италия запрет ила ядерную энергетику в 1990 г., а Бельгия, Германия, Испания и Швейцария заявили о планах запрета. С 1990 г. введение в строй АЭС по всему миру составляет около 1/10 этого показателя до Чернобыля.

Крайняя форма уклонения от проблемы — попросту предложить помалкивать о рисках. Например, упомянутый отчет AI100 включает следующее предостережение:

Если общество относится к этим технологиям, главным образом, со страхом и подозрением, это приведет к ошибочным шагам, которые задержат разработку ИИ или загонят ее в подполье, помешав важной работе по обеспечению безопасности и надежности технологий ИИ.

Роберт Аткинсон, директор Фонда информационной технологии и инноваций (того самого, что вручает Премию луддитов), выдвинул тот же аргумент в дебатах 2015 г. [219] В 2015 г. Фонд информационных технологий и инноваций организовал дебаты «Являются ли сверхинтеллектуальные компьютеры угрозой для человечества?» Роберт Аткинсон, директор фонда, предполагает, что упоминание рисков приведет к сокращению финансирования разработки ИИ. Видео доступно по адресу: itif.org/events/2015/06/30/are-super-intelligent-computers-really-threat-humanity ; обсуждение интересующего нас вопроса начинается на временной отметке 41:30. Несмотря на то что вопросы о том, как следует описывать риски, общаясь со СМИ, вполне адекватны, общий его посыл ясен: «Не упоминайте риски, это помешает финансированию». Разумеется, если бы никто не знал о рисках, не было бы ни финансирования поиска возможностей их снижения, ни причины для кого бы то ни было заниматься этой работой.

Прославленный специалист по когнитивной науке Стивен Пинкер предлагает более оптимистичный вариант аргумента Аткинсона. С его точки зрения, «культура безопасности в развитых обществах» гарантированно исключит любые серьезные риски, которые несет ИИ, следовательно, неуместно и контрпродуктивно привлекать к ним внимание [220] Утверждение, что наша культура безопасности решит проблему контроля ИИ даже без упоминания о ней: Steven Pinker, «Tech prophecy and the underappreciated causal power of ideas», in Possible Minds: Twenty-Five Ways of Looking at AI , ed. John Brockman (Penguin Press, 2019). . Даже если отмахнуться от факта, что наша «продвинутая» культура безопасности привела к Чернобылю, Фукусиме и неуправляемому глобальному потеплению, Пинкер в своей аргументации попадает пальцем в небо. Культура безопасности заключается в людях, указывающих на возможные системные отказы и ищущих пути их предотвращения. (В случае ИИ стандартная модель — обязательно ведет к системному отказу.) Утверждение, будто нелепо привлекать внимание к отказам, поскольку культура безопасности в любом случае их отследит, равнозначно заявлению, что никому из свидетелей наезда на пешехода не следует вызывать скорую помощь, поскольку кто-нибудь так или иначе вызовет скорую помощь все равно.