Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

1. Единственная задача машины — в максимальной степени реализовать предпочтения человека.

2. Изначально машина находится в неопределенности относительно того, каковы эти предпочтения.

3. Главнейшим источником информации о предпочтениях человека является поведение человека.

Прежде чем перейти к более подробным объяснениям, важно подчеркнуть широту толкования того, что я в этих принципах называю предпочтениями . Напомню, что я писал в главе 2: если бы вы имели возможность посмотреть два фильма, каждый из которых достаточно детально описывает вашу возможную будущую жизнь, вы могли бы сказать, какой вариант предпочитаете, или выразить незаинтересованность в обоих . Таким образом, предпочтения в данном случае носят всеобъемлющий характер; они охватывают все, что может быть для вас важно в сколь угодно далеком будущем [238] Безусловно, вы можете иметь предпочтение в вопросе о том, достигать реализации своих предпочтений с помощью машины или исключительно собственными силами. Допустим, например, что вы предпочитаете результат А результату Б при прочих равных. Вы не в состоянии достичь результата А без содействия, но все равно предпочитаете самостоятельно добиться Б, чем получить А с помощью машины. В этом случае машина должна принять решение не помогать вам, разве что она может оказать вам помощь совершенно незаметным для вас способом. Вы можете, разумеется, иметь и предпочтения в отношении необнаруживаемой помощи, как и обнаруживаемой. . Причем это ваши предпочтения: машина не пытается идентифицировать или установить один идеальный комплекс предпочтений, но понимает и удовлетворяет (насколько это возможно) предпочтения каждого человека.

Первый принцип, согласно которому единственная задача машины — максимизировать реализацию предпочтений человека, является центральным в понятии полезной машины. Особенно важно, что она будет полезной для людей , а не, допустим, тараканов. Это неотделимо от данного понятия пользы, связанного с ее получателем.

Данный принцип означает, что машина всецело альтруистична, то есть не придает абсолютно никакой внутренней ценности собственному благополучию или даже собственному существованию. Она может защищать себя, чтобы продолжить приносить пользу людям, потому что ее владелец был бы несчастлив, если бы ему пришлось оплачивать ремонт, либо потому, что вид грязного или поврежденного робота может угнетать прохожего, но не потому, что хочет быть живой. Введение любого предпочтения самосохранения создает у робота дополнительный стимул, не вполне совпадающий с благополучием человека.

Формулировка первого принципа поднимает два вопроса фундаментального значения. Каждый сам по себе заслуживает целой книжной полки, по этим вопросам уже написано множество книг.

Первый вопрос: имеют ли люди в действительности предпочтения значимого или устойчивого характера? Честно говоря, понятие «предпочтения» — это идеализация, во многих отношениях расходящаяся с реальностью. Например, мы не рождаемся с предпочтениями, которые имеем во взрослые годы, значит, они обязательно меняются со временем. На данный момент я предположу, что это разумная идеализация. Позднее я рассмотрю, что происходит, если мы отказываемся от идеализации.

Второй вопрос составляет основу социальных наук: с учетом того, что обычно невозможно гарантировать получение каждым своего самого предпочитаемого результата — мы все не можем быть императорами Вселенной, — как машине примирить предпочтения многочисленных людей? Опять-таки пока — обещаю, что вернусь к этому вопросу в следующей главе, — представляется разумным принять простой подход, что все равны. Это заставляет вспомнить о корнях утилитаризма XVIII в. с его идеалом «наибольшее счастье наибольшему числу людей» [239] Фраза «наибольшее счастье наибольшему числу людей» впервые встречается в работе Фрэнсиса Хатчесона: Francis Hutcheson, An Inquiry into the Original of Our Ideas of Beauty and Virtue, In Two Treatises (D. Midwinter et al., 1725). Есть также мнение, что эта формулировка происходит из более раннего высказывания Вильгельма Лейбница; см.: Joachim Hruschka, «The greatest happiness principle and other early German anticipations of utilitarian theory», Utilitas 3 (1991): 165–77. , для практической реализации которого требуется много оговорок и уточнений. Пожалуй, самым важным из всех является вопрос о том, каким образом учесть предпочтения очевидно громадного числа людей, которые еще не родились.

Вопрос о будущих поколениях поднимает следующий, связанный с ним: как учесть предпочтения существ, не являющихся людьми? А именно — должен ли первый принцип включать предпочтения животных? (Возможно, и растений?) Этот вопрос заслуживает обсуждения, но результат едва ли окажет заметное влияние на движение к созданию ИИ. Вообще говоря, человеческие предпочтения могут включать — и включают — условия благополучия животных, а также те аспекты благополучия человека, которые непосредственно выигрывают от существования животных [240] Можно предложить, чтобы машины учитывали в своей целевой функции условия не только для людей, но и для животных. Если веса этих условий соответствуют степени внимания людей к нуждам животных, то конечный результат будет таким же, как если бы машина заботилась о животных только посредством заботы о людях, заботящихся о животных. Придание всем живым существам равных весов в целевой функции машины, безусловно, имело бы катастрофические последствия. Например, в смысле численности антарктическая креветка превосходит человечество в соотношении пятьдесят тысяч к одному, а бактерии — миллиард триллионов к одному. . Сказать, что машина должна уделять внимание предпочтениям животных в дополнение к этому , равносильно утверждению, что люди должны строить машины, больше заботящиеся о животных, чем сами люди, — довольно шаткая позиция. Более устойчивая состоит в том, что наша склонность к ошибочному принятию решений — играющая против наших же интересов — часто приводит к негативным последствиям для окружающей среды и ее обитателей-животных. Машина, принимающая менее близорукие решения, помогла бы людям следовать более осмысленной политике в отношении среды обитания. Если в будущем мы станем придавать значительно большее значение благополучию животных, чем сейчас, — что, по-видимому, требует отказа от части нашего собственного объективного благополучия, — машины соответствующим образом адаптируются к этому изменению.

Второй принцип: машина изначально не уверена , в чем заключаются предпочтения человека, — это ключ к созданию полезных машин.