Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Об аксиоматических предположениях, обосновывающих репрезентацию полезности как суммы полезностей во времени: Tjalling Koopmans, «Representation of preference orderings over time», in Decision and Organization , ed. C. Bartlett McGuire, Roy Radner, and Kenneth Arrow (North-Holland, 1972).

Люди 2019 г. (которые в 2099 г. могут быть давно мертвы, а могут и оказаться более ранними личностями людей 2099 г.) могут стремиться создать машины в соответствии с имеющимися в 2019 г. предпочтениями людей 2019 г., а не потакать, очевидно, туманным и недостаточно понимаемым предпочтениям людей 2099 г. Это было бы все равно, что писать Конституцию, запрещающую любые поправки. Если люди 2099 г. после должного осмысления придут к выводу, что хотят изменить предпочтения, встроенные в машины людьми 2019 г., представляется разумным, чтобы у них была эта возможность. В конце концов, именно они и их потомки должны будут иметь дело с последствиями.

Я благодарен за это наблюдение Уэнделлу Уоллаку.

Ранняя статья, посвященная изменениям предпочтений со временем: John Harsanyi, «Welfare economics of variable tastes», Review of Economic Studies 21 (1953): 204–13. Более новое (и несколько более техническое) рассмотрение см. в статье: Franz Dietrich and Christian List, «Where do preferences come from ?», International Journal of Game Theory 42 (2013): 613–37. См. также: Laurie Paul, Transformative Experience (Oxford University Press, 2014), и Richard Pettigrew, «Choosing for Changing Selves», philpapers.org/archive/PETCFC.pdf.

Рациональный анализ иррациональности: Jon Elster, Ulysses and the Sirens: Studies in Rationality and Irrationality (Cambridge University Press, 1979).

Талер Р., Санстейн К. Nudge. Архитектура выбора. — М.: Манн, Иванов и Фербер, 2017.

Многообещающие идеи когнитивных протезов для человечества: Falk Lieder, «Beyond bounded rationality: Reverse-engineering and enhancing human intelligence» (PhD thesis, University of California, Berkeley, 2018).

О следствиях игр в помощника для вождения: Dorsa Sadigh et al., «Planning for cars that coordinate with people», Autonomous Robots 42 (2018): 1405–26.

Любопытно, что в этом списке отсутствует Apple. В компании имеется группа изучения ИИ, которая быстро наращивает свою деятельность. Вследствие традиционной культуры секретности влияние компании на рынке идей пока еще ограниченно.

Из интервью Макса Тегмарка в документальном фильме «Вы доверяете компьютеру?» (Do You Trust This Computer?) 2018 г.

Об оценках потерь от киберпреступлений: «Cybercrime cost $ 600 billion and targets banks first», Security Magazine , February 21, 2018.

Форстер Э. М. Машина останавливается и др. рассказы. — М.: Астрель, 2014.

Опорный план создания шахматных программ на следующие 60 лет: Claude Shannon, «Programming a computer for playing chess», Philosophical Magazine , 7th ser., 41 (1950): 256–75. Предложение Шеннона опирается на многовековую традицию оценки позиций на шахматной доске путем сложения ценности фигур; см., например: Pietro Carrera, Il gioco degli scacchi (Giovanni de Rossi, 1617).

Описание эпического исследования Самуэлем раннего алгоритма обучения с подкреплением для шахматной программы: Arthur Samuel, «Some studies in machine learning using the game of checkers», IBM Journal of Research and Development 3 (1959): 210–29.

Понятие рационального метарассуждения и его приложение к поиску и играм происходит из диссертационного исследования моего студента Эрика Уифолда, который трагически погиб в автокатастрофе, не успев закончить свою работу; посмертная публикация: Stuart Russell and Eric Wefald, Do the Right Thing: Studies in Limited Rationality (MIT Press, 1991). См. также: Eric Horvitz, «Rational metareasoning and compilation for optimizing decisions under bounded resources», in Computational Intelligence, II: Proceedings of the International Symposium , ed. Francesco Gardin and Giancarlo Mauri (North-Holland, 1990); and Stuart Russell and Eric Wefald, «On optimal game-tree search using rational meta-reasoning», in Proceedings of the 11th International Joint Conference on Artificial Intelligence , ed. Natesa Sridharan (Morgan Kaufmann, 1989).

Пожалуй, первая статья, показывающая, как иерархическая организация снижает комбинаторную сложность планирования: Herbert Simon, «The architecture of complexity», Proceedings of the American Philosophical Society 106 (1962): 467–82. На русском языке статью можно найти в книге: Саймон Г. Науки об искусственном. — М.: Едиториал УРСС, 2004. — Прим. ред.

Каноническая работа по иерархическому планированию: Earl Sacerdoti, «Planning in a hierarchy of abstraction spaces», Artificial Intelligence 5 (1974): 115–35. См. также: Austin Tate, «Generating project networks», in Proceedings of the 5th International Joint Conference on Artificial Intelligence , ed. Raj Reddy (Morgan Kaufmann, 1977).

Формальное определение высокоуровневого действия: Bhaskara Marthi, Stuart Russell, and Jason Wolfe, «Angelic semantics for high-level actions», in Proceedings of the 17th International Conference on Automated Planning and Scheduling , ed. Mark Boddy, Maria Fox, and Sylvie Thiébaux (AAAI Press, 2007).

Едва ли автором этого примера является Аристотель; он может принадлежать Сексту Эмпирику, жившему, предположительно, во II−III вв.

Первый алгоритм доказательства теоремы в логике первого порядка, заключавшийся в сокращении предложений первого порядка до (очень большого числа) пропозиционных предложений: Martin Davis and Hilary Putnam, «A computing procedure for quantification theory», Journal of the ACM 7 (1960): 201–15.

Улучшенный алгоритм пропозиционного вывода: Martin Davis, George Logemann, and Donald Loveland, «A machine program for theorem-proving», Communications of the ACM 5 (1962): 394–97.

Задача выполнимости — принятие решения о том, является ли набор предложений истинным в каком-либо мире, — NP-полная. Задача формирования рассуждения — принятие решения о том, следует ли предложение из известного предложения, — co-NP-полная, то есть относится к классу, считающемуся более сложным, чем класс NP-полных задач.

Из этого правила есть два исключения: запрет повторений (нельзя делать ход, возвращающий положение на доске в ранее существовавшую ситуацию) и запрет самоубийства (нельзя делать ход, при котором выставленный камень сразу же будет захвачен, например, если он уже окружен).

Работа, в которой вводится логика первого порядка в нашем современном понимании ( Begriffsschrift — нем., идеография): Gottlob Frege, Begriffsschrift, eine der arithmetischen nachgebildete Formelsprache des reinen Denkens (Halle, 1879). Предложенная Фреге система записи для логики первого порядка была такой вычурной и неудобочитаемой, что скоро ее заменили системой Джузеппе Пеано, широко используемой и поныне.

Обзор попыток Японии достичь превосходства при помощи систем, основанных на знании: Edward Feigenbaum and Pamela McCorduck, The Fifth Generation: Artificial Intelligence and Japan’s Computer Challenge to the World (Addison-Wesley, 1983).

Попытки США, включая Стратегическую инициативу в области вычислительной техники и образование корпорации Microelectronics and Computer Technology (МСС). См.: Alex Roland and Philip Shiman, Strategic Computing: DARPA and the Quest for Machine Intelligence , 1983–1993 (MIT Press, 2002).

История реакции Британии на возрождение интереса к ИИ в 1980-е гг.: Brian Oakley and Kenneth Owen, Alvey: Britain’s Strategic Computing Initiative (MIT Press, 1990).