Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

AlphaZero описана в: David Silver et al., «Mastering chess and shogi by self-play with a general reinforcement learning algorithm», arXiv:1712.01815 (2017).

Оптимальные маршруты определяются с помощью А алгоритма и множества производных от него: Peter Hart, Nils Nilsson, and Bertram Raphael, «A formal basis for the heuristic determination of minimum cost paths », IEEE Transactions on Systems Science and Cybernetics SSC- 4 (1968): 100–107.

Статья, представившая программу Advice Taker и системы знания на основе логики: John McCarthy, «Programs with common sense», in Proceedings of the Symposium on Mechanisation of Thought Processes (Her Majesty’s Stationery Office, 1958).

Чтобы составить некоторое представление о значимости систем на основе знания, рассмотрим системы баз данных. База данных содержит четкие отдельные факты вроде местоположения моих ключей и личностей четырех моих друзей в Facebook. Системы баз данных не могут хранить общие правила, например правила игры в шахматы или юридическое определение британского гражданства. Они могут сосчитать, сколько людей по имени Алиса имеют друзей, которые носят имя Боб, но не способны определить, отвечает ли конкретная Алиса условиям предоставления британского гражданства, или приведет ли к победе определенная последовательность шахматных ходов. Системы баз данных не могут соединить два фрагмента знания, чтобы получить третий: они поддерживают функцию запоминания, но не мышления. (Действительно, многие современные системы баз данных дают возможность добавлять правила и использовать эти правила для получения новых фактов; в той мере, в которой они это делают, они являются системами на основе знания.) Хотя они представляют собой ограниченные версии систем на основе знания, системы баз данных лежат в основе большей части сегодняшней коммерческой деятельности и приносят сотни миллиардов долларов ежегодно.

Оригинальная статья, описывающая теорему о полноте для логики первого порядка: Kurt Gödel, «Die Vollständigkeit der Axiome des logischen Funktionenkalküls», Monatshefte für Mathematik 37 (1930): 349–60.

Алгоритм рассуждения в логике первого порядка тем не менее имеет недостаток: если ответа нет — то есть если доступного знания недостаточно, чтобы дать ответ, — то алгоритм может никогда не завершиться. Этого невозможно избежать: математически невозможно , чтобы верный алгоритм всегда прерывался, отвечая «я не знаю», в сущности, по той же причине, по которой ни один алгоритм не может решить проблему остановки.

Первый алгоритм доказательства теорем в логике первого порядка, занимающийся сокращением предложений первого порядка до (очень многочисленных) пропозиционных предложений: Martin Davis and Hilary Putnam, «A computing procedure for quantification theory», Journal of the ACM 7 (1960): 201–15. Алгоритм разрешения Робинсона выполнял действия непосредственно над логическими предложениями первого порядка, используя «унификацию» для сопоставления комплексных выражений, содержащих логические переменные: J. Alan Robinson, «A machine-oriented logic based on the resolution principle», Journal of the ACM 12 (1965): 23–41.

Возникает вопрос, как логический робот Shekey вообще приходил к каким-либо определенным выводам о том, что делать. Ответ прост: база знаний Shekey включала ложные предположения. Например, он был убежден, что, если выполнить «протолкнуть объект А через дверь Г в комнату Б», то объект А в результате окажется в комнате Б. Это было ложное убеждение, потому что Shekey мог застрять в дверях, промахнуться мимо двери, или кто-то мог коварно похитить объект А у него из захвата. Его модуль выполнения плана был способен зарегистрировать провал плана и провести соответствующее перепланирование, так что, строго говоря, Shekey не был чисто логической системой.

Ранние замечания о роли вероятности в человеческом мышлении: Pierre-Simon Laplace , Essai philosophique sur les probabilités (Mme. Ve. Courcier, 1814).

Описание Байесовой логики доступным языком: Stuart Russell, «Unifying logic and probability», Communications of the ACM 58 (2015): 88–97. Статья опирается на исследование моего бывшего студента Брайана Милча, проведенное в ходе работы над диссертацией на соискание звания доктора философии.

Источник теоремы Байеса: Thomas Bayes and Richard Price, «An essay towards solving a problem in the doctrine of chances », Philosophical Transactions of the Royal Society of London 53 (1763): 370–418.

Строго говоря, программа Самуэля не рассматривает выигрыш и проигрыш как абсолютные вознаграждения; однако, фиксируя стоимость материала как положительную, программа в общем склонна действовать на достижение победы.

Применение обучения с подкреплением для создания программы, играющей в нарды на мировом уровне: Gerald Tesauro, «Temporal difference learning and TD-Gammon », Communications of the ACM 38 (1995): 58–68.

Система DQN, которая учится играть в широкий спектр видеоигр с использованием глубокого обучения с подкреплением: Volodymyr Mnih et al., «Human-level control through deep reinforcement learning», Nature 518 (2015): 529–33.

Высказывания Билла Гейтса об ИИ Dota 2: Catherine Clifford, «Bill Gates says gamer bots from Elon Musk-backed nonprofit are ‘huge milestone’ in A. I»., CNBC , June 28, 2018.

Отчет о победе OpenAI Five над людьми — чемпионами мира по Dota 2: Kelsey Piper, «AI triumphs against the world’s top pro team in strategy game Dota 2», Vox , April 13, 2019.

Собрание примеров из литературы, когда неверное определение функции вознаграждения приводило к неожиданному поведению: Victoria Krakovna, «Specification gaming examples in AI», Deep Safety (blog), April 2, 2018.

Случай, когда функция эволюционной пригодности, определенная через максимальную скорость передвижения, привела к очень неожиданным результатам: Karl Sims, «Evolving virtual creatures», in Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques (ACM, 1994).

Захватывающее знакомство с возможностями рефлекторных агентов: Valentino Braitenberg, Vehicles: Experiments in Synthetic Psychology (MIT Press, 1984).

Газетная статья об аварии со смертельным исходом с участием автомобиля в режиме самоуправления, который сбил пешехода: Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch , May 24, 2018.

Об алгоритмах рулевого управления см., например: Jarrod Snider, «Automatic steering methods for autonomous automobile path tracking», technical report CMU-RI-TR-09–08, Robotics Institute, Carnegie Mellon University, 2009.

Норфолкский и норвичский терьеры — две категории из базы данных ImageNet. Они печально знамениты тем, что их трудно различить и до 1964 г. считались одной породой.

Глубоко прискорбный инцидент с аннотированием изображений: Daniel Howley, «Google Photos mislabels 2 black Americans as gorillas», Yahoo Tech , June 29, 2015.

Последующая статья о Google и гориллах: Tom Simonite, «When it comes to gorillas, Google Photos remains blind», Wired , January 11, 2018.

Базовый план игровых алгоритмов был разработан Клодом Шэнноном: Claude Shannon, «Programming a computer for playing chess», Philosophical Magazine , 7th ser., 41 (1950): 256–75.