Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Возможно, вам кажется совершенно очевидным, что создание машин, которые могут принять решение убивать людей, — плохая мысль. Однако «совершенно очевидно» не всегда убедительно для правительств — включая некоторых из перечисленных в предыдущем абзаце, — помешанных на достижении чего-то, что они считают стратегическим превосходством. Более убедительной причиной для запрещения автономного оружия является то, что это масштабируемое оружие массового уничтожения .

Масштабируемый — это термин из области программирования. Процесс является масштабируемым, если вы можете увеличить его в миллион раз, по сути просто купив в миллион раз больше оборудования. Так, Google обрабатывает около 5 млрд поисковых запросов в день силами не миллионов сотрудников, а миллионов компьютеров. При наличии автономного оружия вы можете совершить в миллион раз больше убийств, купив в миллион раз больше оружия, именно потому что оно автономно . В отличие от дронов с дистанционным управлением или АК-47, им не нужно участие человека, чтобы делать свою работу.

Как оружие массового уничтожения масштабируемое автономное оружие имеет преимущества для атакующего перед ядерным оружием и ковровыми бомбардировками: оно не повреждает имущество и может применяться избирательно для уничтожения лишь тех, кто представляет угрозу. Оно, безусловно, может использоваться для того, чтобы целиком смести с лица земли определенную этническую группу или всех последователей какой-либо религии (если у них есть видимые отличительные признаки). Более того, если применение ядерного оружия представляет собой катастрофический рубеж, который нам удается (нередко по чистому везению) не переступить с 1945 г., в отношении масштабируемого автономного вооружения такой рубеж отсутствует. Атаки могут усиливаться постепенно: сначала сотня убитых, потом тысяча, десять тысяч, сто тысяч. В дополнение к реальной атаке сама угроза применения подобного оружия делает его эффективным средством устрашения и подавления. Автономное оружие значительно снизит безопасность человека на всех уровнях: личном, местном, общенациональном и международном.

Это не значит, что автономные системы вооружений станут концом мира в духе фильмов о Терминаторе. Они необязательно должны быть особенно интеллектуальными — самоуправляемый автомобиль, пожалуй, должен быть умнее, — и их миссии будут не из разряда «поработить мир». Экзистенциальный риск, который несет ИИ, проистекает, прежде всего, не из простоватых роботов-убийц. С другой стороны, сверхинтеллектуальные машины в конфликте с человечеством, безусловно, могли бы вооружиться подобным образом, превратив относительно тупых роботов-убийц в физическое продолжение всемирной системы управления.

Тысячи статей в СМИ и авторских колонок, немало книг было посвящено роботам, отнимающим работу у людей. По всему миру возникают исследовательские центры, пытающиеся представить возможное развитие событий [158] Примеры исследовательских центров, изучающих влияние технологии на занятость: Work and Intelligent Tools и Systems group в Беркли, Future of Work и Workers project Центра перспективных исследований в области поведенческих наук в Стэнфорде и Future of Work Initiative в Университете Карнеги — Меллона. . Названия книг Мартина Форда «Роботы наступают. Развитие технологий и будущее без работы» [159] Пессимистическая картина будущей технологической безработицы: Форд М. Роботы наступают. — М.: АНФ, 2019. и Калума Чейса «Экономическая сингулярность: искусственный интеллект и смерть капитализма» [160] Calum Chace, The Economic Singularity: Artificial Intelligence and the Death of Capitalism (Three Cs, 2016). неплохо характеризуют эти опасения. Хотя я, что скоро станет очевидно, никоим образом не являюсь экспертом в вопросе, относящемся к компетенции экономистов, мне он кажется слишком важным, чтобы всецело им доверять [161] Блестящая подборка эссе: Ajay Agrawal, Joshua Gans, and Avi Goldfarb, eds ., The Economics of Artificial Intelligence: An Agenda (National Bureau of Economic Research, 2019). .

Внимание к вопросу технологической безработицы привлекла знаменитая статья Джона Мейнарда Кейнса «Экономические возможности для наших внуков». Она была написана в 1930 г., когда Великая депрессия привела к массовой безработице в Британии, но сама тема имеет значительно более долгую историю. Аристотель в первой книге «Политики» достаточно четко формулирует ее суть:

Если бы каждое орудие могло выполнять свойственную ему работу само, по данному ему приказанию или даже его предвосхищая… если бы ткацкие челноки сами ткали, а плектры сами играли на кифаре, тогда и зодчие не нуждались бы в работниках, и господам не нужны были бы рабы [162] Аристотель. Сочинения: в 4-х т. Т. 4. — М.: Мысль, 1983. .

Каждый согласится с наблюдением Аристотеля, что, если работодатель находит механический метод выполнения работы, которую прежде делал человек, это приводит к немедленному сокращению трудовой занятости. Вопрос в том, будет ли оно впоследствии нивелировано так называемыми компенсационными эффектами, в целом способствующими росту занятости. Оптимисты отвечают утвердительно и в сегодняшних дебатах указывают на новые виды работы, возникшие со времен предшествующих промышленных революций. Пессимисты отвечают отрицательно и утверждают, что машины будут делать и «новую работу». Если машина заменяет физический труд человека, человек может продавать свои умственные способности. Если же машина заменяет и умственный труд, что еще он может продать?

В романе «Жизнь 3.0» Макс Тегмарк изображает предмет этого спора как беседу двух лошадей, обсуждающих в 1900 г. внедрение двигателя внутреннего сгорания. Один собеседник предсказывает «новые виды работы для лошадей… Так всегда случалось прежде, когда, например, изобрели колесо и плуг». Для большинства лошадей, увы, «новый вид работы» заключается в том, чтобы пойти в корм для домашних животных.

Спор ведется тысячелетиями, поскольку эффекты наблюдаются в обоих направлениях. Реальный результат зависит от того, какие из них пересиливают. Рассмотрим, например, что происходит с малярами по мере совершенствования технологии. Для простоты будем считать, что толщина малярной кисти обозначает степень автоматизации:

• Если кисть имеет толщину в один волос (десятая доля миллиметра), требуются тысячи человеко-лет, чтобы покрасить дом, и, в сущности, нет ни одного трудоустроенного маляра.

• При кистях миллиметровой толщины горстка художников создает штучные изысканные росписи в королевском дворце. При толщине в один сантиметр моду на росписи перенимает знать.

• При десяти сантиметрах мы вступаем в область практического применения технологии: большинство домовладельцев заказывают покраску домов внутри и снаружи, хотя, пожалуй, не слишком часто, и тысячи маляров находят работу.