Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Я значительно менее пессимистичен, чем Джевонс и Эрроу. Я подозреваю, что действительно имеет смысл сравнивать полезности индивидов и что шкалы могут отличаться, но не в большой степени, и что машины могут начинать с разумно общих исходных представлений о шкалах человеческих предпочтений и постепенно узнавать больше об индивидуальных шкалах путем наблюдения, возможно соотнося натурные наблюдения с результатами исследований нейробиологов.

Второй предмет дебатов — о сравнении полезности популяций разной величины — имеет значение, если решения влияют на то, кто будет существовать в будущем. Например, в фильме «Мстители: Война бесконечности» Танос формулирует и реализует теорию, что если людей станет в два раза меньше, то оставшиеся будут более чем в два раза счастливее. Это те самые наивные расчеты, из-за которых утилитаризм приобрел дурную славу [296].

Тот же вопрос — только без камней бесконечности {16} и грандиозного бюджета — рассматривался в 1874 г. британским философом Генри Сиджвиком в знаменитом труде «Методы этики» [297]. Сиджвик, очевидно, разделяя убеждение Таноса, пришел к выводу, что правильный выбор состоит в коррекции численности популяции, пока не будет достигнута максимальная совокупная мера счастья. (Очевидно, это не предполагает безграничного увеличения населения, поскольку в какой-то момент все будут обречены на голодную смерть, следовательно, станут весьма несчастными.) В 1984 г. британский философ Дерек Парфит вновь поднял этот вопрос в своей эпохальной работе «Причины и личности» [298]. Парфит утверждает, что в любой ситуации с популяцией из N очень счастливых людей имеется (согласно принципам утилитаризма) предпочитаемая ситуация с 2N человек, совсем немного менее счастливых. Это представляется чрезвычайно правдоподобным. К сожалению, это ведет на скользкую дорогу. Повторяя процесс, мы придем к так называемому Отталкивающему выводу (термин принято писать с большой буквы, вероятно, чтобы подчеркнуть его викторианские корни): самой желательной является ситуация с огромной популяцией, все представители которой вынуждены влачить едва того стоящее существование.

Как вы понимаете, вывод спорный. Сам Парфит больше 30 лет пытался найти выход из тупика, в который зашел, но безуспешно. Я подозреваю, что мы упускаем какие-то фундаментальные аксиомы, аналогичные тем, что связаны с индивидуально рациональными предпочтениями, чтобы иметь возможность выбирать между популяциями разной величины и уровня счастья [299].

Важно решить эту проблему, поскольку машины с достаточной прозорливостью способны рассмотреть планы действий, ведущие к разным размерам популяции, как поступило в 1979 г. китайское правительство, приняв политику «одна семья, один ребенок». Весьма вероятно, например, что мы будем просить у ИИ-систем помощи в поиске решений проблемы глобального изменения климата — и эти решения будут включать меры, ограничивающие или даже сокращающие численность населения [300]. В то же время, если мы решим, что увеличившееся население в действительности лучше, и припишем существенный вес благополучию потенциально многочисленного человечества, которое будет жить спустя столетия, то нам нужно будет намного активнее искать способы выхода за пределы Земли. Если расчеты машин ведут к Отталкивающему выводу или его противоположности — крохотной популяции оптимально счастливых людей, — у нас, возможно, есть повод сожалеть о своей неспособности достичь прогресса в этом вопросе.

Некоторые философы утверждают, что нам, возможно, придется принимать решения в ситуации нравственной неопределенности, — неопределенности в отношении того, какую теорию морали применить при принятии решения [301]. Одним из решений этой проблемы является приписывание определенной вероятности каждой теории морали и принятие решений с использованием «ожидаемой нравственной ценности». Непонятно, однако, имеет ли смысл приписывать вероятности нравственным теориям по аналогии с тем, как мы приписываем вероятности завтрашней погоде. (Какова вероятность, что Танос совершенно прав?) Даже если это имеет смысл, потенциально огромные различия между рекомендациями конкурирующих нравственных теорий означают, что устранение нравственной неопределенности — выяснение того, какие нравственные теории позволяют избежать неприемлемых последствий, — должно произойти до того , как мы примем подобные важные решения или доверим их машинам.

Будем оптимистами и предположим, что постепенно мы решим эти и другие проблемы, вытекающие из существования на Земле более чем одного человека. Достаточно альтруистичные и эгалитарные алгоритмы загружаются в роботов по всему миру. Всеобщее ликование и веселая музыка. Затем Гарриет возвращается домой…

Робби. Добро пожаловать домой! Устала сегодня?

Гарриет. Да, очень много работы, даже перекусить не успела.

Робби. Так ты, наверное, проголодалась!

Гарриет. Умираю с голоду! Можешь приготовить обед?

Робби. Я должен тебе кое-что сказать…

Гарриет. Что? Только не говори, что в холодильнике пусто!

Робби. Нет, но люди в Сомали нуждаются в более срочной помощи. Я отбываю немедленно. Будь добра, приготовь обед сама.

Даже если Гарриет гордится Робби и собственным вкладом в его превращение в столь возвышенную и благородную машину, она не может не удивляться, зачем было выкладывать целое состояние, чтобы купить робота, первым важным действием которого стало исчезновение. На деле, конечно, никто не купит такого робота, следовательно, такие роботы не будут создаваться. Назовем это «проблемой Сомали» . Чтобы вся схема с утилитарными роботами была работоспособной, мы должны найти решение этой проблемы. В частности, Робби должен быть в некоторой мере лоялен по отношению к Гарриет — возможно, пропорционально заплаченной Гарриет за него сумме. Если общество хочет, чтобы Робби помогал и другим людям, кроме Гарриет, оно, вероятно, должно будет компенсировать Гарриет ее потери в ситуациях, когда прибегает к помощи Робби. Весьма вероятно, что роботы будут координировать свои действия, чтобы все они разом не отбыли в Сомали, — а если бы это случилось, Робби вообще не нужно было бы уезжать. Может быть, возникнут экономические отношения совершенно нового типа, способные справиться с присутствием (очевидно, беспрецедентным) миллиардов сугубо альтруистичных агентов в мире.

Предпочтения людей далеко не исчерпываются удовольствием и пиццей. Они, бесспорно, распространяются на благополучие других. Даже Адам Смит, отец экономики, которого часто цитируют, когда нужно оправдать эгоизм, начал свою первую книгу с подчеркивания принципиальной важности заботы о других [302]: