Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Серьезная публикация с серьезным анализом книги Бострома «Сверхразумность: пути, опасности, стратегии»: «Clever cogs», Economist , August 9, 2014.

Рассмотрение мифов и заблуждений о рисках, связанных с ИИ: Scott Alexander, «AI researchers on AI risk», Slate Star Codex (blog), May 22, 2015.

Классическая работа о многочисленных характеристиках интеллекта: Howard Gardner, Frames of Mind: The Theory of Multiple Intelligences (Basic Books, 1983).

О следствиях множественности характеристик интеллекта в отношении возможности сверхчеловеческого ИИ: Kevin Kelly, «The myth of a superhuman AI», Wired , April 25, 2017.

Свидетельство того, что шимпанзе обладают лучшей краткосрочной памятью, чем люди: Sana Inoue and Tetsuro Matsuzawa, «Working memory of numerals in chimpanzees», Current Biology 17 (2007), R1004–5.

Важная ранняя работа, поставившая под сомнение перспективы систем, основанных на дедукции: Hubert Dreyfus, What Computers Can’t Do (MIT Press, 1972).

Первая в серии книг, посвященных поиску физической природы сознания и вызвавших споры о способности ИИ-систем достичь подлинной интеллектуальности: Roger Penrose, The Emperor’s New Mind: Concerning Computers, Minds, and the Laws of Physics (Oxford University Press, 1989).

Активизация критики ИИ на основе теоремы о неполноте: Luciano Floridi, «Should we be afraid of AI?» Aeon , May 9, 2016.

Активизация критики ИИ на основе аргументации о китайской комнате (мысленный образ компьютера, производящего иероглифы в ответ на иероглифы): John Searle, «What your computer can’t know», The New York Review of Books , October 9, 2014.

Отчет видных исследователей ИИ, утверждающих, что сверхчеловеческий ИИ, скорее всего, невозможен: Peter Stone et al., «Artificial intelligence and life in 2030», One Hundred Year Study on Artificial Intelligence, report of the 2015 Study Panel, 2016.

Новостная статья на основе отрицания Эндрю Ыном обусловленных ИИ рисков: Chris Williams, «AI guru Ng: Fearing a rise of killer robots is like worrying about overpopulation on Mars», Register , March 19, 2015.

Пример аргумента «специалистам виднее»: Oren Etzioni, «It’s time to intelligently discuss artificial intelligence», Backchannel , December 9, 2014.

Новостная статья с утверждением, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: Erik Sofge, «Bill Gates fears AI, but AI researchers know better», Popular Science , January 30, 2015.

Еще одно заявление, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: David Kenny, «IBM’s open letter to Congress on artificial intelligence», June 27, 2017, ibm.com/blogs/policy/kenny-artificial-intelligence-letter.

Отчет симпозиума с предложением добровольного введения ограничений на генную инженерию: Paul Berg et al., «Summary statement of the Asilomar Conference on Recombinant DNA Molecules», Proceedings of the National Academy of Sciences 72 (1975): 1981–84.

Декларация принципов, разработанная вследствие открытия метода редактирования генома CRISPR-Cas9: Organizing Committee for the International Summit on Human Gene Editing, «On human gene editing: International Summit statement», December 3, 2015.

Свежая декларация принципов, предложенная ведущими биологами: Eric Lander et al., «Adopt a moratorium on heritable genome editing», Nature 567 (2019): 165–68.

Замечание Эциони, что нельзя говорить о рисках, не упоминая также о выигрышах, приводится в его анализе результатов опроса исследователей ИИ: Oren Etzioni, «No, the experts don’t think superintelligent AI is a threat to humanity», MIT Technology Review , September 20, 2016. Он утверждает, что любому, кто полагает, что создание сверхчеловеческого ИИ займет больше 25 лет, — что относится и к автору этой книги, и к Нику Бострому, — незачем тревожиться из-за рисков от ИИ.

Новостная статья с фрагментами дебатов Маска и Цукерберга: Alanna Petroff, «Elon Musk says Mark Zuckerberg’s understanding of AI is ‘limited,’» CNN Money , July 25, 2017.

В 2015 г. Фонд информационных технологий и инноваций организовал дебаты «Являются ли сверхинтеллектуальные компьютеры угрозой для человечества?» Роберт Аткинсон, директор фонда, предполагает, что упоминание рисков приведет к сокращению финансирования разработки ИИ. Видео доступно по адресу: itif.org/events/2015/06/30/are-super-intelligent-computers-really-threat-humanity; обсуждение интересующего нас вопроса начинается на временной отметке 41:30.

Утверждение, что наша культура безопасности решит проблему контроля ИИ даже без упоминания о ней: Steven Pinker, «Tech prophecy and the underappreciated causal power of ideas», in Possible Minds: Twenty-Five Ways of Looking at AI , ed. John Brockman (Penguin Press, 2019).

Интересный анализ см. в статье: Oracle AI: Stuart Armstrong, Anders Sandberg, and Nick Bostrom, «Thinking inside the box: Controlling and using an Oracle AI», Minds and Machines 22 (2012): 299–324.

Мнения о том, почему ИИ не лишит нас работы: Kenny, «IBM’s open letter».

Пример положительного отношения Курцвейла к слиянию человеческого мозга с ИИ: Ray Kurzweil, interview by Bob Pisani, June 5, 2015, Exponential Finance Summit, New York, NY.

Статья, цитирующая слова Илона Маска о нейронном кружеве: Tim Urban, «Neuralinkf and the brain’s magical future», Wait But Why, April 20, 2017.

Новейшие достижения проекта «нейронной пыли» в Беркли: David Piech et al., «StimDust: A 1.7 mm3, implantable wireless precision neural stimulator with ultrasonic power and communication», arXiv: 1807.07590 (2018).

Сьюзан Шнайдер в книге «Искусственный Вы» (Susan Schneider, Artificial You: AI and the Future of Your Mind (Princeton University Press, 2019)) указывает на риски невежества, сопутствующие таким потенциальным технологиям, как загрузка информации в мозг и нейропротезирование: в отсутствии реального понимания, могут ли электронные устройства обладать сознанием, и с учетом постоянных блужданий философии в вопросе об устойчивой личной идентичности мы рискуем непреднамеренно покончить с собственным сознательным существованием или заставить страдать сознающие машины, не понимая, что они обладают сознанием.

Интервью Яна Лекуна о рисках ИИ: Guia Marie Del Prado, «Here’s what Facebook’s artificial intelligence expert thinks about the future», Business Insider , September 23, 2015.

Вывод о существовании проблем контроля ИИ, вытекающих из избытка тестостерона: Steven Pinker, «Thinking does not imply subjugating», in What to Think About Machines That Think , ed. John Brockman (Harper Perennial, 2015). 30.

Эпохальный труд по многим философским вопросам, в том числе о возможности постижения морального долга из мира природы: Юм Д. О человеческой природе. — М.: Азбука, 2017.

Аргумент, что достаточно интеллектуальная машина не может не преследовать цели человека: Rodney Brooks, «The seven deadly sins of AI predictions», MIT Technology Review , October 6, 2017.

Pinker, «Thinking does not imply subjugating».

Оптимистический взгляд, что проблемы безопасности ИИ неизбежно решатся в нашу пользу: Steven Pinker, «Tech prophecy».

О неожиданном согласии «скептиков» и «верующих» по поводу рисков от ИИ: Alexander, «AI researchers on AI risk».

Руководство по детальному моделированию деятельности головного мозга, на сегодняшний день немного устаревшее: Anders Sandberg and Nick Bostrom, «Whole brain emulation: A roadmap», technical report 2008–3, Future of Humanity Institute, Oxford University, 2008.