Ник Бостром - Искусственный интеллект

19.См.: [Bostrom et al. 2013].

20.Если у морального суждения, которое мы делаем, есть некий (довольно четко выраженный) смысл, понятный другим, сверхразум сможет определить его значение. Если суждение обладает свойствами высказывания (то есть имеет пропозициональный, или истинностный, характер, позволяющий ему быть истинным или ложным), сверхразум все равно сможет отыскать истинное значение, выраженное в виде: «агент Х должен сейчас сделать О ». Так или иначе, но с подобной задачей он справится лучше нас. Даже не имеющий изначально способностей к оценке моральных суждений ИИ может ими овладеть, если обладает сверхмощью в области совершенствования интеллекта. Один из способов сделать это — разобраться, как функционирует этот механизм в человеческом мозгу, и разработать аналогичный, но более быстрый, действующий с более точной фактической информацией.

21.В силу неопределенности вопроса, связанного с метаэтикой, нужно решить, что должен делать ИИ, если не выполняются предварительные условия МП. Один из вариантов — постановить, что ИИ должен отключиться, если присвоит довольно высокую вероятность тому, что когнитивизм не работает или что подходящих абсолютных моральных истин не существует. Или предложить ему воспользоваться каким-то альтернативным методом вроде КЭВ.

Можно также уточнить метод МП, чтобы было понятнее, как поступать в различных неоднозначных или вырожденных случаях. Например, если теория ошибок верна (и, как следствие, любые утвердительные моральные суждения вида «я должен сейчас делать Т » ложны), тогда должна реализовываться запасная стратегия (например, отключение). Нам также нужно указать, как поступать, если существует несколько возможных действий, каждое из которых будет отвечать критерию моральной правоты. Например, можно сказать, что в таких случаях ИИ следует выполнить одно из возможных действий, которые предпочла бы коллективная экстраполяция человечества. Можно также оговорить, что произойдет, если в базовом словаре истинной этической теории не окажется терминов вроде «моральная правота». Например, в рамках консеквенциалистской теории одни действия могут считаться лучше других, но отсутствовать такое понятие, как «морально правильное действие». Тогда следует сказать, что в случае истинности такой теории ИИ следует выполнить одно из действий, наиболее приемлемых с моральной точки зрения, если таковое имеется; если приемлемых действий бесконечно много и для каждого из них есть лучшее с моральной точки зрения, тогда ИИ следует выполнить любое из тех действий, которое лучше лучшего действия, выбранного в такой ситуации человеком; если такового нет, то действие, которое как минимум не хуже того лучшего действия, выбранного в такой ситуации человеком.

Размышляя, как можно уточнить метод МП, нужно помнить о нескольких важных моментах. Во-первых, следует придерживаться консервативного подхода и использовать запасной вариант практически во всех случаях, оставив вариант «моральной правоты» только для тех ситуаций, которые мы полностью понимаем. Во-вторых, определение МП следует дополнить общим модулятором, что оно «должно трактоваться доброжелательно и пересматриваться так же, как его пересмотрели бы люди, если могли бы долго и глубоко размышлять над ним, прежде чем его сформулировать, и т. д.».

22.Из этих терминов лишь «знания» кажется наиболее подходящим для формального анализа (в информационно-теоретическом смысле). Однако чтобы представить, что означает для человека «знать что-то», сверхразуму может потребоваться изощренный набор представлений, связанных со сложными психологическими свойствами. Человек не «знает» всю информацию, которая хранится в его мозгу.

23.Одним из косвенных показателей меньшей непрозрачности (в очень незначительной степени) терминологии КЭВ является факт, что для анализа модели МП не существует терминологической базы даже такого уровня. Если МП когда-нибудь обрастет «своей» терминологией, то с философской точки зрения это будет огромным прорывом. На самом деле теория идеального наблюдателя — одно из основных направлений в метаэтике — как раз и выполняет функцию описания. См., например: [Smith et al. 1989].

24.Это требует решения проблемы фундаментальной нормативной неопределенности. Можно показать, что не всегда приемлемо действовать в соответствии с той этической теорией, которая имеет максимальную вероятность оказаться истинной. Можно также показать, что не всегда приемлемо выполнять действие, которое имеет максимальную вероятность быть правильным. Похоже, необходимо как-то корректировать вероятности на «степень неприемлемости» результата и важность того, что поставлено на кон. Некоторые идеи см.: [Bostrom 2009 a].

25.Можно даже заявить, что любое определение моральной правоты должно отвечать некоторому условию адекватности, например чтобы даже средний гражданин мог разобраться, что хорошо, а что плохо.

26.Первая опасность состоит в том, что, создавая ИИ, в котором используется модель МП, у нас нет уверенности в своей абсолютной моральной правоте, даже если мы исходим из того, что сам ИИ всегда будет действовать правильно с этической точки зрения. Возможно, с нашей стороны это вообще будет проявлением высокомерия (если учитывать, сколько людей могут не одобрять проект разработки ИИ). Отчасти проблему можно решить за счет тонкой настройки модели МП. Предположим, мы оговорим, как ИИ следует действовать, то есть делать то, что было бы морально правильно, только если разработчики были морально правы, создав его, — в противном случае он должен отключиться. Непохоже, что, создавая такой ИИ , мы были бы морально неправы, поскольку даже если разрабатывать его и было неправильно, то единственным последствием нашего труда стало бы его немедленное отключение, если, конечно, до того момента он не успеет совершить никакого мысленного преступления. (И все-таки мы могли бы быть неправы, например, потому что упустили возможность создать другой ИИ.) Вторая опасность — слишком большая «плотность добра». Представьте, что есть множество морально правильных действий, которые мог бы совершить ИИ, — в смысле моральной допустимости, притом что некоторые из них с моральной точки зрения лучше других. Один вариант — чтобы ИИ выбирал в таких случаях лучшее с моральной точки зрения действие (или одно из лучших, если таких несколько). Другой — чтобы он выбирал из одинаково морально допустимых действий такое, которое удовлетворяет какому-то иному (не моральному) критерию. Например, ИИ мог бы выбирать из морально допустимых действий такое, которое было бы предпочтительнее с точки зрения КЭВ. Такой ИИ никогда не совершит ничего морально недопустимого и поэтому лучше защитит наши интересы, чем тот, который ориентируется лишь на лучшие с моральной точки зрения действия.