Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Исходную задачу теории игр предложили Меррил Флуд и Мелвин Дрешер в RAND Corporation. Такер увидел матрицу выигрышей, зайдя к ним в кабинет, и предложил сопроводить ее «историей».

Специалисты теории игр обычно говорят, что Алиса и Боб смогли сотрудничать друг с другом (отказались давать показания) или предать подельника. Мне эти определения кажутся вводящими в заблуждение, поскольку «сотрудничество друг с другом» не тот выбор, который каждый агент может сделать индивидуально, а также из-за влияния общепринятого выражения «сотрудничать с полицией», когда за сотрудничество можно получить более легкий приговор и т. д.

Интересное решение на основе доверия для дилеммы заключенного и других игр см.: Joshua Letchford, Vincent Conitzer, and Kamal Jain, «An ‘ethical’ game-theoretic solution concept for two-player perfect-information games», in Proceedings of the 4th International Workshop on Web and Internet Economics , ed. Christos Papadimitriou and Shuzhong Zhang (Springer, 2008).

Источник трагедии общих ресурсов : William Forster Lloyd, Two Lectures on the Checks to Population (Oxford University, 1833).

Современное рассмотрение темы в контексте глобальной экологии: Garrett Hardin, «The tragedy of the commons», Science 162 (1968): 1243–48.

Весьма вероятно, что, даже если бы мы попытались создать интеллектуальные машины на основе химических реакций или биологических клеток, объединения этих элементов оказались бы реализацией машины Тьюринга нетрадиционным способом. Вопрос о том, является ли объект универсальным компьютером, никак не связан с вопросом о том, из чего он сделан.

Эпохальная статья Тьюринга дает определение понятию, в настоящее время известному как машина Тьюринга , основополагающему в компьютерной науке. Entscheidungsproblem , или проблема принятия решения , в названии статьи есть проблема выбора следования в логике первого порядка: Alan Turing, «On computable numbers, with an application to the Entscheidungsproblem», Proceedings of the London Mathematical Society , 2nd ser., 42 (1936): 230–65.

Хорошее исследование отрицательной емкости от одного из ее изобретателей: Sayeef Salahuddin, «Review of negative capacitance transistors», in International Symposium on VLSI Technology, Systems and Application (IEEE Press, 2016).

Намного лучшее объяснение квантовых вычислений см. в кн.: Scott Aaronson, Quantum Computing since Democritus (Cambridge University Press, 2013).

Статья, проводящая четкое различие с точки зрения теории сложности между классическими и квантовыми вычислениями: Ethan Bernstein and Umesh Vazirani, «Quantum complexity theory», SIAM Journal on Computing 26 (1997): 1411–73.

Следующая статья известного физика представляет собой хороший обзор современного состояния теоретического понимания и технологии квантовых вычислений: John Preskill, «Quantum computing in the NISQ era and beyond», arXiv:1801.00862 (2018).

О максимальной вычислительной способности килограммового объекта: Seth Lloyd, «Ultimate physical limits to computation», Nature 406 (2000): 1047–54.

Пример предположения, что люди могут представлять собой вершину физически достижимой разумности, см. в статье: Kevin Kelly, «The myth of a superhuman AI», Wired , April 25, 2017: «Мы склонны верить, что предел далеко от нас, далеко „впереди“ нас, как мы „впереди“ муравья… Что доказывает, что не мы являемся этим пределом?»

Если вам интересно, можно ли решить проблему остановки простой хитростью: очевидный метод просто выполнять программу, чтобы узнать, завершится ли она, не работает, потому что необязательно имеет конец. Вы можете прождать миллион лет, но так и не узнать, застряла программа в бесконечном цикле или ей просто нужно время.

Доказательство того, что проблема остановки неразрешима, очень изящно. Вопрос: возможна ли программа проверки циклов LoopChecker (Р, Х), которая для любой программы Р и любого входа Х верно определяет за конечный промежуток времени, остановится ли Р, примененная к Х, выдав результат, или будет выполняться вечно? Допустим, программа LoopChecker существует. Напишем программу Q, использующую LoopChecker как подпрограмму с самой Q и Х в качестве входа и выполняющую противоположное тому, что предсказывает LoopChecker (Q, Х). Тогда, если LoopChecker сообщает, что Q остановится, Q не останавливается, и наоборот. Таким образом, предположение, что LoopChecker существует, приводит к противоречию, следовательно, LoopChecker не существует.

Я говорю «как представляется», потому что на сегодняшний день утверждение, что класс неполиномиальных задач требует сверхполиномиального времени (принятое обозначение: P ≠ NP), остается недоказанным. После почти 50 лет исследований, однако, почти все математики и специалисты в области компьютерных наук убеждены в его истинности.

Записи Лавлейс о вычислениях содержатся по большей части в ее примечаниях к собственному переводу комментариев итальянского инженера по поводу машины Бэббиджа: L. F. Menabrea, «Sketch of the Analytical Engine invented by Charles Babbage», trans. Ada, Countess of Lovelace, in Scientific Memoirs , vol. III, ed. R. Taylor (R. and J. E. Taylor, 1843). Оригинальная статья Менабреа, написанная на французском языке на основе лекций, с которыми Бэббидж выступал в 1840 г., вышла в издании Bibliothèque Universelle de Genève 82 (1842).

Одна из ранних эпохальных статей о возможности искусственного интеллекта: Alan Turing, «Computing machinery and intelligence», Mind 59 (1950): 433–60.

Проект «Шейки» Стэнфордского исследовательского института описан в воспоминаниях одного из его руководителей: Nils Nilsson, «Shakey the robot», technical note 323 (SRI International, 1984). В 1969 г. был снят 24-минутный фильм «Шейки: эксперименты по обучению и планированию в робототехнике», вызвавший общенациональный интерес.

Книга, ознаменовавшая начало разработки современного, вероятностного ИИ: Judea Pearl , Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).

Строго говоря, шахматы не являются полностью наблюдаемыми. Программе все-таки приходится помнить небольшой объем информации, чтобы устанавливать допустимость рокировок и взятий на проходе и определять ничьи троекратным повторением позиции или правилом 50 ходов.

Полное описание см. в главе 2 кн.: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach , 3rd ed. (Pearson, 2010).

Размер пространства состояний в StarCraft рассматривается в статье: Santiago Ontañon et al., «A survey of real-time strategy game AI research and competition in StarCraft», IEEE Transactions on Computational Intelligence and AI in Games 5 (2013): 293–311. Огромное количество ходов возможно, потому что игрок может перемещать все юниты одновременно. Число ходов снижается с введением ограничений относительно того, сколько юнитов или их групп могут быть перемещены одновременно.

О состязании человека и машины в StarCraft: Tom Simonite, «DeepMind beats pros at StarCraft in another triumph for bots», Wired , January 25, 2019.