Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Люк Мюльхаузер много писал о предсказаниях в области ИИ, и я благодарен ему за то, что он нашел первоисточники последующих цитат. См.: Luke Muehlhauser, «What should we learn from past AI forecasts?» Open Philanthropy Project report, 2016.

Прогноз появления ИИ человеческого уровня в течение 20 лет: Herbert Simon, The New Science of Management Decision (Harper & Row, 1960).

Прогноз появления ИИ человеческого уровня в течение жизни одного поколения: Marvin Minsky, Computation: Finite and Infinite Machines (Prentice Hall, 1967).

Прогноз Джона Маккарти о появлении ИИ человеческого уровня в интервале «от пяти до пятисот лет»: Ian Shenker, «Brainy robots in our future, experts think», Detroit Free Press , September 30, 1977.

Обзор исследований специалистов по ИИ их собственных прогнозов появления ИИ человеческого уровня см. на сайте aiimpacts.org. Подробное рассмотрение результатов исследования проблематики ИИ человеческого уровня см. в статье: Katja Grace et al., «When will AI exceed human performance? Evidence from AI experts», arXiv:1705.08807v3 (2018).

Сравнение вычислительной мощности компьютера и возможностей человеческого мозга на графиках: Ray Kurzweil, «The law of accelerating returns», Kurzweilai.net, March 7, 2001.

Проект Aristo Института изучения ИИ им. Аллена: allenai.org/aristo.

Анализ знания, необходимого для получения хороших результатов в тесте для четвертого класса на понимание и здравый смысл: Peter Clark et al., «Automatic construction of inference-supporting knowledge bases», in Proceedings of the Workshop on Automated Knowledge Base Construction (2014), akbc.ws/2014.

Проект машинного чтения NELL описан в статье: Tom Mitchell et al., «Neverending learning», Communications of the ACM 61 (2018): 103–15.

Идея самостоятельного получения выводов из текста принадлежит Сергею Брину: «Extracting patterns and relations from the World Wide Web», in The World Wide Web and Databases , ed. Paolo Atzeni, Alberto Mendelzon, and Giansalvatore Mecca (Springer, 1998).

Визуализация слияния черных дыр, зарегистрированного LIGO: LIGO Lab Caltech, «Warped space and time around colliding black holes», February 11, 2016, youtube.com/watch?v=1agm33iEAuo.

Первая публикация с описанием наблюдения гравитационных волн: Ben Abbott et al., «Observation of gravitational waves from a binary black hole merger», Physical Review Letters 116 (2016): 061102.

О детях как ученых: Alison Gopnik, Andrew Meltzoff, and Patricia Kuhl, The Scientist in the Crib: Minds, Brains, and How Children Learn (William Morrow, 1999).

Краткое описание нескольких проектов автоматизированного научного анализа экспериментальных данных с целью открытия законов: Patrick Langley et al., Scientific Discovery: Computational Explorations of the Creative Processes (MIT Press, 1987).

Некоторые ранние работы о машинном обучении, управляемом ранее предшествующим знанием: Stuart Russell, The Use of Knowledge in Analogy and Induction (Pitman, 1989).

Философский анализ индукции Гудменом остается источником вдохновения: Nelson Goodman, Fact, Fiction, and Forecast (University of London Press, 1954).

Ветеран исследования ИИ жалуется на мистицизм философии науки: Herbert Simon, «Explaining the ineffable: AI on the topics of intuition, insight and inspiration», in Proceedings of the 14th International Conference on Artificial Intelligence , ed. Chris Mellish (Morgan Kaufmann, 1995).

Обзор индуктивного логического программирования от двух родоначальников этого направления: Stephen Muggleton and Luc de Raedt, «Inductive logic programming: Theory and methods», Journal of Logic Programming 19–20 (1994): 629–79.

Раннее упоминание важности использования комплексных операций как новых примитивных действий см. в кн.: Alfred North Whitehead, An Introduction to Mathematics (Henry Holt, 1911).

Работа, демонстрирующая, что смоделированный робот способен совершенно самостоятельно научиться вставать: John Schulman et al., «High-dimensional continuous control using generalized advantage estimation», arXiv:1506.02438 (2015). Видеодемонстрация доступна на YouTube: youtube.com/watch?v=SHLuf2ZBQSw.

Описание системы обучения с подкреплением, которая учится играть в видеоигру «Захват флага»: Max Jaderberg et al., «Human-level performance in first-person multiplayer games with population-based deep reinforcement learning», arXiv:1807.01281 (2018).

Мнение о прогрессе в разработке ИИ в ближайшие несколько лет: Peter Stone et al., «Artificial intelligence and life in 2030 », One Hundred Year Study on Artificial Intelligence , report of the 2015 Study Panel, 2016.

Подпитываемый СМИ спор Илона Маска и Марка Цукерберга: Peter Holley, «Billionaire burn: Musk says Zuckerberg’s understanding of AI threat ‘is limited,’» The Washington Post , July 25, 2017.

О ценности поисковых машин для отдельных пользователей: Erik Brynjolfsson, Felix Eggers, and Avinash Gannamaneni, «Using massive online choice experiments to measure changes in well-being», working paper no. 24514, National Bureau of Economic Research, 2018.

Пенициллин был открыт несколько раз, и его фармакологические свойства описывались в медицинских изданиях, но никто, судя по всему, не обращал на них внимания. См.: en.wikipedia.org/wikiHistory_of_penicillin.

Обсуждение некоторых новых эзотерических рисков, связанных со всезнающими, провидческими ИИ-системами: David Auerbach, «The most terrifying thought experiment of all time», Slate , July 17, 2014.

Анализ некоторых потенциальных заблуждений в представлениях о продвинутом ИИ: Kevin Kelly, «The myth of a superhuman AI», Wired , April 25, 2017.

Машины могут делиться с людьми некоторыми аспектами когнитивной структуры, особенно теми, которые связаны с восприятием физического мира и манипуляциями в нем, а также концептуальными структурами, сопутствующими пониманию естественного языка. Их совещательные процессы, скорее всего, будут заметно отличаться от наших вследствие колоссального неравенства аппаратной части.

Согласно данным исследования 2016 г., 88-й процентиль соответствует $100 000 в год: American Community Survey, US Census Bureau, www.census.gov/programs-surveys/acs. В том же году среднемировой ВВП на душу населения составлял $10,133: National Accounts Main Aggregates Database, UN Statistics Division, unstats.un.org/unsd/snaama.

Если фаза роста ВВП составляет 10 или 20 лет, он составляет $9400 трлн или $6800 трлн соответственно — в любом случае совсем неплохо. Примечательный исторический факт: И. Дж. Гуд, предсказавший взрывное развитие интеллекта (с. 187), оценивал ценность ИИ человеческого уровня минимум в «один мегаКейнс», имея в виду прославленного экономиста Джона Мейнарда Кейнса. Вклад Кейнса в 1963 г. был оценен в 100 млрд, таким образом, мегаКейнс составляет около $2 200 000 трлн (по курсу 2016 г.). Гуд связывал ценность ИИ, в первую очередь, с его потенциальной способностью гарантировать бесконечное выживание человеческой расы. Позднее он стал задаваться вопросом, не следует ли ему добавить знак минус.

ЕС объявил о планах потратить на НИОКР в период 2019−2020 гг. $24 млрд. См.: European Commission, «Artificial intelligence: Commission outlines a European approach to boost investment and set ethical guidelines», press release, April 25, 2018. Долгосрочный план инвестиций Китая в сферу ИИ, озвученный в 2017 г., предполагает, что основная часть индустрии ИИ к 2030 г. будет ежегодно приносить $150 млрд. См., например: Paul Mozur, «Beijing wants A. I. to be made in China by 2030», The New York Times , July 20, 2017.