Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Книга, как считается, обнажившая провал обучения грамоте по целым словам и спровоцировавшая десятилетия борьбы двух ведущих школ мысли о чтении: Rudolf Flesch, Why Johnny Can’t Read: And What You Can Do about It (Harper & Bros., 1955).

Об образовательных методах, которые позволят обучающимся адаптироваться к стремительным технологическим и экономическим изменениям в ближайшие десятилетия: Joseph Aoun, Robot-Proof: Higher Education in the Age of Artificial Intelligence (MIT Press, 2017).

Прочитанная по радио лекция, в которой Тьюринг предсказал, что машины обгонят людей: Alan Turing, «Can digital machines think?», May 15, 1951, radio broadcast, BBC Third Programme. Текст выложен на сайте turingarchive.org.

Новостная статья о «натурализации» Софии как гражданки Саудовской Аравии: Dave Gershgorn, «Inside the mechanical brain of the world’s first robot citizen», Quartz , November 12, 2017.

Мнение Яна Лекуна о Софии: Shona Ghosh, «Facebook’s AI boss described Sophia the robot as ‘complete b— t’ and ‘Wizard-of-Oz AI,’» Business Insider , January 6, 2018.

Предложение ЕС о наделении роботов юридическими правами: Committee on Legal Affairs of the European Parliament, «Report with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103 (INL))», 2017.

Предложение Общего регламента по защите персональных данных, связанное с «правом на объяснение» в действительности не ново: оно очень близко статье 15 (1) Директивы о защите данных 1995 г., развитием которой является.

Три свежие статьи с глубоким математическим анализом справедливости: Moritz Hardt, Eric Price, and Nati Srebro, «Equality of opportunity in supervised learning», in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016); Matt Kusner et al., «Counterfactual fairness», in Advances in Neural Information Processing Systems 30, ed. Isabelle Guyon et al. (2017); Jon Kleinberg, Sendhil Mullainathan, and Manish Raghavan, «Inherent trade-offs in the fair determination of risk scores», in 8th Innovations in Theoretical Computer Science Conference , ed. Christos Papadimitriou (Dagstuhl Publishing, 2017).

Новостная статья о последствиях программного сбоя при управлении воздушным движением: Simon Calder, «Thousands stranded by flight cancellations after systems failure at Europe’s air-traffic coordinator», The Independent , April 3, 2018.

Лавлейс писала: «Аналитическая машина никоим образом не притязает на то, чтобы создавать что бы то ни было. Она может делать все, что мы умеем упорядочить с целью выполнения. Она может следовать анализу, но не имеет возможности предвосхищать какие бы то ни было аналитические отношения или истины». Это один из ее аргументов против ИИ, отвергнутый Аланом Тьюрингом: Alan Turing, «Computing machinery and intelligence», Mind 59 (1950): 433–60.

Самая ранняя известная статья об экзистенциальном риске от ИИ была написана Ричардом Торнтоном: Richard Thornton, «The age of machinery», Primitive Expounder IV (1847): 281.

«Книга машин» основывалась на более ранней статье Сэмюэла Батлера «Дарвин среди машин»: Samuel Butler, «Darwin among the machines», The Press (Christchurch, New Zealand), June 13, 1863.

Еще одна лекция, в которой Тьюринг предсказал порабощение человечества: Alan Turing, «Intelligent machinery, a heretical theory» (lecture given to the 51 Society, Manchester, 1951). Текст выложен на сайте turingarchive.org.

Провидческие размышления Винера о власти технологии над человечеством и призыв к сохранению автономии человека: Norbert Wiener, The Human Use of Human Beings (Riverside Press, 1950). В пер. на рус. в сб.: Винер Н. Кибернетика и общество. — М., 1958.

Издательская аннотация на лицевой стороне обложки книги Винера 1950 г. примечательна сходством с девизом Института будущего жизни, организации, посвятившей себя изучению экзистенциальных рисков, с которыми сталкивается человечество: «Технология дарит жизни возможность процветать, как никогда прежде… или самоуничтожиться».

Изменение взглядов Винера произошло вследствие того, что он стал выше оценивать возможность создания интеллектуальных машин: Norbert Wiener, God and Golem, Inc.: A Comment on Certain Points Where Cybernetics Impinges on Religion (MIT Press, 1964).

Винер Н. Акционерное общество «Бог и Голем»: Обсуждение некоторых проблем, в которых кибернетика сталкивается с реальностью. — Сб.: Винер Н. Человек управляющий. — СПб.: Питер, 2001.

Три закона робототехники Азимова впервые появляются в рассказе Айзека Азимова «Хоровод»: Isaac Asimov, «Runaround», Astounding Science Fiction , March 1942. Вот они:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Важно понимать, что Азимов предложил эти законы для создания интересных литературных сюжетов, а не в качестве серьезного руководства для будущих инженеров-робототехников. Многие его рассказы, в том числе «Хоровод», иллюстрируют проблемные последствия буквального понимания законов. С точки зрения современного ИИ законы Азимова совершенно не учитывают элемент вероятности и риска: следовательно, неясна допустимость действий робота, подвергающего человека некоторой вероятности вреда, хотя бы ничтожно малой.

Понятие инструментальной цели взято из неопубликованной рукописи: Stephen Omohundro, «The nature of selfimproving artificial intelligence» (unpublished manuscript, 2008). См. также: Stephen Omohundro, «The basic AI drives», in Artificial General Intelligence 2008: Proceedings of the First AGI Conference , ed. Pei Wang, Ben Goertzel, and Stan Franklin (IOS Press, 2008).

Цель персонажа в исполнении Джонни Деппа, Уилла Кастера, как представляется, состоит в решении проблемы физического воплощения, чтобы он мог воссоединиться со своей женой Эвелин. Это лишь показывает, что характер магистральной цели не играет роли — на инструментальные цели это не влияет.

Источник идеи о взрывоподобном развитии интеллектуальности: I. J. Good, «Speculations concerning the first ultraintelligent machine», in Advances in Computers , vol. 6, ed. Franz Alt and Morris Rubinoff (Academic Press, 1965).

Пример воздействия идеи о взрывоподобном развитии интеллекта: Люк Мюльхаузер в статье «Перед лицом взрывоподобного роста интеллектуальности» (intelligenceexplosion.com) пишет: «Мысль Гуда переехала меня, как поезд».

Убывающую отдачу можно проиллюстрировать следующим образом. Предположим, 16 %-ное повышение интеллектуальности дает машину, способную осуществить 8 %-ное повышение, которое, в свою очередь, дает 4 %-ное повышение, и т. д. Этот процесс достигает предела на уровне примерно на 36 % выше исходного. Более развернутое обсуждение этого вопроса см. в отчете: Eliezer Yudkowsky, «Intelligence explosion microeconomics», technical report 2013–1, Machine Intelligence Research Institute, 2013.

Взгляд на ИИ, при котором люди утрачивают значение: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Harvard University Press, 1988). См. также: Hans Moravec, Robot: Mere Machine to Transcendent Mind (Oxford University Press, 2000).