Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Краткое введение см. в статье: James Gorman, «Learning how little we know about the brain», The New York Times , November 10, 2014. См. также: Tom Siegfried, «There’s a long way to go in understanding the brain», ScienceNews , July 25, 2017. Специальный выпуск журнала Neuron в 2014 г. (vol. 94, pp. 933−1040) дает общее представление о множестве подходов к пониманию головного мозга.

Наличие или отсутствие сознания — активного субъективного опыта — безусловно, принципиально важно для нашего отношения к машинам с точки зрения морали. Даже если бы мы знали достаточно, чтобы сконструировать сознающие машины или обнаружить тот факт, что нам это удалось, то столкнулись бы со множеством серьезных нравственных проблем, к решению большинства из которых не готовы.

Данная статья одной из первой установила четкую связь между алгоритмами обучения с подкреплением и нейрофизиологической регистрацией: Wolfram Schultz, Peter Dayan, and P. Read Montague, «A neural substrate of prediction and reward», Science 275 (1997): 1593–99.

Исследования внутричерепной стимуляции проводились в надежде найти средства лечения различных психических болезней. См., например: Robert Heath, «Electrical self-stimulation of the brain in man», American Journal of Psychiatry 120 (1963): 571–77.

Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, «Biology and conservation of the pygmy sloth, Bradypus pygmaeus», Journal of Mammalogy 96 (2015): 703–7.

Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, «A new factor in evolution», American Naturalist 30 (1896): 441–51.

Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, «How learning can guide evolution», Complex Systems 1 (1987): 495–502.

Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, «Interactions between learning and evolution», in Artificial Life II , ed. Christopher Langton et al. (Addison-Wesley, 1991).

Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус , или «ум», имеющее много связанных друг с другом значений.

Цит. по: Aristotle, Nicomachean Ethics , Book III, 3, 1112b.

Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. — Прим. пер .]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensées (Chez Guillaume Desprez, 1670).

Понятие полезности: Daniel Bernoulli, «Specimen theoriae novae de mensura sortis», Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, «A note on measurement of utility», Review of Economic Studies 4 (1937): 155–61. Если s 0, s 1, … — последовательность состояний, то полезность в этой модели есть U (s 0, s 1, …) = ∑ tƴ tR (s t), где ƴ — коэффициент дисконтирования, а R — функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего вознаграждений. Тщательный анализ см. в статье: Shane Frederick, George Loewenstein, and Ted O’Donoghue, «Time discounting and time preference: A critical review», Journal of Economic Literature 40 (2002): 351–401.

Морис Алле, французский экономист, предложил сценарий принятия решения, в котором человек последовательно нарушает аксиомы фон Неймана — Моргенштерна: Maurice Allais, «Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école américaine», Econometrica 21 (1953): 503–46.

Введение в анализ принятия неколичественных решений см. в: Michael Wellman, «Fundamental concepts of qualitative probabilistic networks», Artificial Intelligence 44 (1990): 257–303.

Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, «Le comportement»; Daniel Ellsberg, Risk, Ambiguity, and Decision (PhD thesis, Harvard University, 1962); Amos Tversky and Daniel Kahneman, «Judgment under uncertainty: Heuristics and biases», Science 185 (1974): 1124–31.

Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой — с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.

Первое упоминание о рандомизированной стратегии в играх: Pierre Rémond de Montmort , Essay d’analyse sur les jeux de hazard , 2nd ed. (Chez Jacques Quillau, 1713). В книге упоминается некий монсеньор де Вальдграв в качестве автора оптимального рандомизированного решения для карточной игры Ле Гер. Сведения о личности Вальдграва раскрываются в статье: David Bellhouse, «The problem of Waldegrave», Electronic Journal for History of Probability and Statistics 3 (2007).

Задача полностью определяется, если задать вероятность того, что Алиса забивает гол в каждом из следующих четырех случаев: если она бьет вправо от Боба, и Боб бросается вправо или влево, и если она бьет влево от Боба, и он бросается вправо или влево. В данном случае эти вероятности составляют 25, 70, 65 % и 10 % соответственно. Предположим, что стратегия Алисы — бить вправо от Боба с вероятностью p и влево с вероятностью 1 — p, тогда как Боб бросается вправо с вероятностью q и влево с вероятностью 1 — q. Выигрыш Алисы: U A= 0,25 pq + 0,70 p (1 − q) + 0,65 (1 − p)q + 0,10 (1 − p) (1 − q), Боба: U B= −U A. В равновесии ∂U A/∂p = 0 and ∂U B/∂q = 0, что дает p = 0,55 и q = 0,60.