Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Рис. 2: (б) © The Sun / News Licensing; публикуется с разрешения Архивов Смитсоновского института.

Рис. 4: SRI International.creativecommons.org/licenses/by/3.0/legalcode.

Рис. 5: (слева) © Berkeley AI Research Lab; (справа) Boston Dynamics.

Рис. 6: © The Saul Steinberg Foundation / Artists Rights Society (ARS), New York.

Рис. 7: (слева) © Noam Eshel, Defense Update; (справа) © Future of Life Institute / Stuart Russell.

Рис. 10: (слева) AFP; (справа) публикуется с разрешения Хенрика Соренсена.

Рис. 11: Elysium © 2013 MRC II Distribution Company L. P. All Rights Reserved. Courtesy of Columbia Pictures.

Рис. 14: © OpenStreetMap contributors. OpenStreetMap.org. creativecommons.org/licenses/by/2.0/legalcode.

Рис. 19: фото местности, DigitalGlobe via Getty Images.

Рис. 20: (справа) публикуется с разрешения управления полиции Темпе.

Рис. 24: © Jessica Mullen / Deep Dreamscope.creativecommons.org/licenses/by/2.0/legalcode.

Цит. в пер. Н. Брагинской. — Прим. пер.

В русскоязычной литературе используется название «узкое исчисление предикатов». — Прим. ред.

Менее двух центов на пассажиро-километр. — Прим. пер .

Разговорное название Королевского института международных отношений (брит.). — Прим. пер.

В России выходит под названием «Своя игра». — Прим. ред.

«Торонто Мейпл Лифс» — профессиональный хоккейный клуб. — Прим. пер.

Министерство государственной безопасности ГДР. — Прим. пер .

Англ. laws — «законы». — Прим. пер.

Страховая дискриминация старых или трущобных районов, часто сопутствующая расовой дискриминации. — Прим. пер.

Англ. Erewhon, анаграмма слова nowhere — «нигде». — Прим. пер.

Аллюзия на стихотворение Д. Томаса «Do not go gentle into that good night», цитировавшееся в фильме «Интерстеллар». — Прим. пер.

В русскоязычной традиции — «принцип Юма». — Прим. пер.

Замечу, что в теории принятия решений уже полвека проводятся исследования по оптимизации неизвестной или неопределенной целевой функции. Простейший пример — задачи оптимизации предпочтений ЛПР (лица, принимающего решения) в ситуации, когда эти предпочтения неизвестны и выявляются в диалоге с ЛПР. — Прим. науч. ред.

Люди у которых гендерная идентичность совпадает с полом. — Прим. ред.

Смысл существования (фр.). — Прим. пер.

Шесть камней огромной силы из комиксов и фильмов Marvel. Если их собрать вместе, можно менять реальность по своему желанию. — Прим. ред.

Аллюзия к очень популярной в США детской книге Доктора Сьюза «Зеленые яйца и ветчина», написанной в 1960 г. — Прим. ред.

Из трактата «Левиафан» английского философа-материалиста XVI в. Томаса Гоббса. — Прим. ред.

Знак 4-Way Stops — аналог российского «Движение без остановки запрещено», но устанавливается со всех четырех направлений перекрестка и работает по правилу «кто первый встал на стоп-линии, тот первый и проезжает». Если встали одновременно двое, вступает в силу правило «помеха справа». Знак широко используется в США, Канаде и ЮАР. — Прим. ред.

В битве при Эшдауне, остановившей захват английских королевств Великой армией датчан и спасшей Уэссекс от разграбления, младший брат короля Альфред, увидев, что противник занимает выгодную позицию на вершине холма, в нарушение приказа совершил превентивную атаку, оттянул на себя основные силы врагов и обеспечил саксам победу. — Прим. пер.

Храм на вершине холма Монмартр в Париже. — Прим. науч. ред.

Первое издание моего учебника по ИИ, написанного в соавторстве с Питером Норвигом, в настоящее время директором Google по науке: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach , 1st ed. (Prentice Hall, 1995).

Робинсон разработал алгоритм разрешения , который может, при наличии времени, доказать любое логическое следствие из комплекса логических утверждений первого порядка. В отличие от предыдущих алгоритмов, он не требует преобразования в пропозиционную логику. J. Alan Robinson, «A machine-oriented logic based on the resolution principle», Journal of the ACM 12 (1965): 23–41.

Артур Самуэль, американский первопроходец компьютерной эры, начал карьеру в IBM. В статье, посвященной его работе с шашками, впервые был использован термин машинное обучение , хотя Алан Тьюринг еще в 1947 г. говорил о «машине, способной учиться на опыте». Arthur Samuel, «Some studies in machine learning using the game of checkers», IBM Journal of Research and Development 3 (1959): 210−29.

Так называемый Отчет Лайтхилла привел к отмене финансирования исследования ИИ везде, кроме Эдинбургского и Сассекского университетов: Michael James Lighthill, «Artificial intelligence: A general survey», in Artificial Intelligence: A Paper Symposium (Science Research Council of Great Britain, 1973).

CDC 6600 занимал целую комнату, а его стоимость была эквивалентна $20 млн. Для своего времени он был невероятно мощным, хотя и в миллион раз менее мощным, чем iPhone.

После победы DeepBlue над Каспаровым по крайней мере один комментатор предсказал, что в го подобное произойдет не раньше чем через сто лет: George Johnson, «To test a powerful computer, play an ancient game », The New York Times , July 29, 1997.

Очень легкое для понимания описание развития ядерной технологии см. в: Richard Rhodes, The Making of the Atomic Bomb (Simon & Schuster, 1987).

Простой алгоритм контролируемого обучения может не обладать таким эффектом, если не имеет оболочки в виде платформы A/B тестирования (обычного инструмента онлайнового маркетинга). Алгоритмы решения проблемы многорукого бандита и алгоритмы обучения с подкреплением окажут это воздействие, если будут работать с явным представлением состояния пользователя или неявным представлением в плане истории взаимодействий с пользователем.

Некоторые считают, что корпорации, ориентированные на максимизацию прибыли, уже являются вышедшими из-под контроля искусственными сущностями. См., например: Charles Stross, «Dude, you broke the future!» (keynote, 34th Chaos Communications Congress, 2017). См. также: Ted Chiang, «Silicon Valley is turning into its own worst fear», Buzzfeed , December 18, 2017. Эта мысль углубленно исследуется в сб.: Daniel Hillis, «The first machine intelligences», in Possible Minds: Twenty-Five Ways of Looking at AI , ed. John Brockman (Penguin Press, 2019).

Для своего времени статья Винера была редким примером расхождения с господствующим представлением, что любой технологический прогресс во благо: Norbert Wiener, «Some moral and technical consequences of automation», Science 131 (1960): 1355–58.

Сантьяго Рамон-и-Кахаль в 1894 г. предположил, что изменения синапсов являются признаком обучения, но эта гипотеза была экспериментально подтверждена только в конце 1960-х гг. См.: Timothy Bliss and Terje Lomo, «Long-lasting potentiation of synaptic transmission in the dentate area of the anaesthetized rabbit following stimulation of the perforant path», Journal of Physiology 232 (1973): 331–56.