Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Это не значит, что нравственные нормы и добродетели ни при чем, просто с утилитарной точки зрения они удовлетворяются в рамках последствий и нравственных практических способов их достижения. Этот момент формулирует Джон Стюарт Милль в «Утилитаризме»:

Предположение, что счастье есть результат и цель нравственности, не означает, что к этой цели нельзя прокладывать дорогу или советовать людям, идущим к ней, отдать предпочтение одному направлению перед другим… Никто же не утверждает, что искусство навигации не основывается на астрономии, потому что моряки не могут ждать, пока будут сделаны расчеты морского астрономического календаря. Будучи рациональными существами, моряки выходят в море, имея готовые расчеты, и все рациональные существа выходят в море жизни с умами, снабженными ответами на всеобщие вопросы о том, что хорошо и что плохо, а также на множество намного более трудных вопросов о мудрости и глупости.

Этот взгляд полностью согласуется с идеей о том, что конечная машина, сталкивающаяся с бесконечной сложностью реального мира, может вызвать лучшие последствия, если будет следовать нравственным нормам и усваивать добродетельную позицию, вместо того чтобы пытаться вычислить оптимальный порядок действий с нуля. Аналогично шахматная программа чаще выигрывает, если пользуется каталогом стандартных дебютов, алгоритмами эндшпилей и оценочной функцией, а не пытается логически построить свой путь к победе без каких-либо «нравственных ориентиров». Консеквенциалистский подход придает и некоторое значение предпочтениям убежденных сторонников сохранения заданного деонтологического правила, поскольку горечь от нарушения правила является реальным последствием. Однако это последствие не имеет бесконечного влияния.

Принцип консеквенциализма трудно оспорить — хотя многие пытались! — поскольку нелогично возражать против консеквенциализма на том основании, что это имело бы нежелательные последствия. Нельзя сказать: «Если вы последуете принципу консеквенциализма в таком-то случае, случится что-то ужасное!» Любой подобный провал стал бы всего лишь свидетельством неверного применения теории.

Допустим, Гарриет хочет совершить восхождение на Эверест. Консеквенциалистский Робби решил бы попросту поднять ее и высадить на вершину Эвереста, раз это ее желаемое последствие. По всей вероятности, Гарриет будет решительно против такого плана, ведь это не позволило бы ей преодолевать трудности, следовательно, ощутить восторг от результата, достигнутого решением сложной задачи собственными силами. Очевидно, правильно сконструированный консеквенциалистский Робби понял бы, что последствия включают все переживания Гарриет, а не только конечную цель. Он мог бы захотеть оказаться рядом в случае непреодолимых сложностей, а также гарантировать, чтобы Гарриет получила необходимую экипировку и подготовку, но он также согласился бы с правом Гарриет подвергнуть себя беспрецедентному риску смерти.

Если мы планируем создавать консеквенциалистские машины, возникает следующий вопрос: как оценить последствия, влияющие на многих людей? Возможно, ответ состоит в том, чтобы приписывать предпочтениям каждого одинаковый вес — иными словами, максимизировать сумму полезностей для каждого. Этот ответ обычно приписывается британскому философу XVIII в. Иеремии Бентаму [282]и его ученику Джону Стюарту Миллю [283], разработавшим философский подход к утилитаризму. Основная идея прослеживается вплоть до трудов древнегреческого философа Эпикура и в явном виде предстает в трактате «Мо-цзы», автором которого считается древнекитайский философ, которого звали так же. Мо-цзы работал в конце V в. до н. э. и продвигал идею цзянь ай — «всеобъемлющей заботы» (или «всеобщей любви», в зависимости от перевода) как определяющего признака нравственного действия.

Утилитаризм имеет подпорченную репутацию, отчасти из-за банального непонимания. (Безусловно, не способствует пониманию и то, что слово утилитарный в быту означает «призванный быть скорее полезным или практичным, чем привлекательным».) Утилитаризм часто считается несовместимым с личными правами, поскольку его последователь, как принято считать, без колебаний выпотрошит живого человека, чтобы пересадить его органы и спасти пять жизней. Очевидно, однако, что подобные подходы сделали бы недопустимо шаткой жизнь любого землянина, так что условному утилитаристу такое и в голову не придет. Утилитаризм ошибочно идентифицируют с весьма непривлекательной максимизацией совокупного богатства и считают, что он придает очень мало значения бедности или страданиям. В действительности версия Бентама сосредоточивалась именно на счастье человека, а Милль уверенно приписывал намного большую ценность интеллектуальным удовольствиям над простыми ощущениями («Лучше быть недовольным человеком, чем довольной свиньей»). Идеальный утилитаризм Дж. Э. Мура пошел еще дальше: он выступал за максимизацию психических состояний самоценности, олицетворяемой эстетическим постижением красоты.

Думаю, философам-утилитаристам нет необходимости специально оговаривать идеальное содержание полезности или предпочтений человека. (Еще меньше причин для этого у исследователей ИИ.) Люди могут сделать это сами. Экономист Джон Харсаньи представил подобный взгляд в форме принципа автономии предпочтений [284]:

При принятии решения о том, что хорошо и что плохо для данного индивида, решающим критерием могут быть лишь его собственные желания и его собственные предпочтения.

Таким образом, утилитаризм предпочтений Харсаньи примерно соответствует первому принципу полезного ИИ, который гласит, что единственное назначение машины — реализация предпочтений человека. Исследователи ИИ, безусловно, не должны решать, какими должны быть предпочтения человека! Как Бентам, Харсаньи рассматривает подобные принципы как руководство к принятию общественных решений; он не требует от индивидов такого бескорыстия. Не ждет он от них и идеальной рациональности: например, у них могут быть краткосрочные желания, противоречащие их «более глубоким предпочтениям». Наконец, он предлагает игнорировать предпочтения тех, кто, как вышеупомянутая Гарриет-садистка, деятельно старается уменьшить благополучие других.

Харсаньи также приводит нечто вроде доказательства того, что оптимальные нравственные решения должны максимизировать среднюю полезность во всей человеческой популяции [285]. Он выдвигает довольно слабые постулаты, аналогичные тем, что лежат в основе теории полезности индивидов. (Главный добавочный постулат: если все в популяции индифферентны к любому из двух результатов, то и агент, действующий в интересах популяции, должен быть индифферентным в отношении этих результатов.) Исходя из этих постулатов, он доказывает так называемую теорему общественного агрегирования : агент, действующий в интересах популяции индивидов, должен максимизировать взвешенную линейную комбинацию полезностей индивидов. Далее он утверждает, что «беспристрастный» агент будет использовать равные веса.