Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Введение в генетическое программирование от ведущего деятеля: John Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection (MIT Press, 1992).

Параллель с Тремя законами робототехники Азимова совершенно случайна.

То же самое утверждает Элиезер Юдковский: Eliezer Yudkowsky, «Coherent extrapolated volition», technical report, Singularity Institute, 2004. Он полагает, что прямое следование «Четырем великим нравственным принципам, которыми исчерпывается то, что мы должны встроить в ИИ», есть гарантированный путь к уничтожению человечества. Его понятие «когерентного экстраполированного волеизъявления человечества» созвучно первому принципу; идея заключается в том, что сверхинтеллектуальная ИИ-система могла бы обнаружить, чего люди хотят на самом деле.

Безусловно, вы можете иметь предпочтение в вопросе о том, достигать реализации своих предпочтений с помощью машины или исключительно собственными силами. Допустим, например, что вы предпочитаете результат А результату Б при прочих равных. Вы не в состоянии достичь результата А без содействия, но все равно предпочитаете самостоятельно добиться Б, чем получить А с помощью машины. В этом случае машина должна принять решение не помогать вам, разве что она может оказать вам помощь совершенно незаметным для вас способом. Вы можете, разумеется, иметь и предпочтения в отношении необнаруживаемой помощи, как и обнаруживаемой.

Фраза «наибольшее счастье наибольшему числу людей» впервые встречается в работе Фрэнсиса Хатчесона: Francis Hutcheson, An Inquiry into the Original of Our Ideas of Beauty and Virtue, In Two Treatises (D. Midwinter et al., 1725). Есть также мнение, что эта формулировка происходит из более раннего высказывания Вильгельма Лейбница; см.: Joachim Hruschka, «The greatest happiness principle and other early German anticipations of utilitarian theory», Utilitas 3 (1991): 165–77.

Можно предложить, чтобы машины учитывали в своей целевой функции условия не только для людей, но и для животных. Если веса этих условий соответствуют степени внимания людей к нуждам животных, то конечный результат будет таким же, как если бы машина заботилась о животных только посредством заботы о людях, заботящихся о животных. Придание всем живым существам равных весов в целевой функции машины, безусловно, имело бы катастрофические последствия. Например, в смысле численности антарктическая креветка превосходит человечество в соотношении пятьдесят тысяч к одному, а бактерии — миллиард триллионов к одному.

Специалист по философии морали Тоби Орд привел тот же довод, комментируя ранний вариант этой книги: «Примечательно, что это справедливо и в исследовании философии морали. Неопределенность в отношении нравственной ценности результатов почти совершенно упускалась из виду философией морали вплоть до самого недавнего времени. Между тем именно неопределенность в нравственных вопросах заставляет людей обращаться к другим за советом в этой сфере, да и вообще заниматься исследованиями в области философии морали!»

Одним из оправданий пренебрежения неопределенностью в плане предпочтений является то, что формально она эквивалентна обычной неопределенности в следующем смысле: не знать точно, чего я хочу, равносильно точному знанию о том, что мне нравятся нравящиеся вещи, и незнанию того, что это за вещи. Это всего лишь уловка, переносящая неопределенность в мир, делая «привлекательность для меня» свойством объектов, а не моим свойством В теории игр эта уловка полностью узаконена с 1960-х гг. после цикла статей моего покойного коллеги, нобелевского лауреата Джона Харсаньи: John Harsanyi: «Games with incomplete information played by ‘Bayesian’ players, Parts I–III», Management Science 14 (1967, 1968): 159–82, 320–34, 486–502. В теории принятия решений эталон задан следующей публикацией: Richard Cyert and Morris de Groot, «Adaptive utility», in Expected Utility Hypotheses and the Allais Paradox , ed. Maurice Allais and Ole Hagen (D. Reidel, 1979).

Очевидное исключение — исследователи ИИ, работающие в сфере выявления предпочтений. См., например: Craig Boutilier, «On the foundations of expected expected utility», in Proceedings of the 18th International Joint Conference on Artificial Intelligence (Morgan Kaufmann, 2003). См. также: Alan Fern et al., «A decision-theoretic model of assistance», Journal of Artificial Intelligence Research 50 (2014): 71–104.

Критика полезного ИИ, исходящая из неверного понимания краткого интервью, взятого журналистом у автора для журнальной статьи: Adam Elkus, «How to be good: Why you can’t teach human values to artificial intelligence», Slate , April 20, 2016.

Первоисточник «проблемы вагонетки»: Frank Sharp, «A study of the influence of custom on the moral judgment», Bulletin of the University of Wisconsin 236 (1908).

Участники движения «антинатализма» считают воспроизводство человечества безнравственным, поскольку жизнь есть страдание, а также из-за огромного негативного воздействия людей на Землю. Если вы считаете существование человечества моральной дилеммой, то я, пожалуй, действительно хочу, чтобы машины разрешили эту дилемму правильно.

Заявление о политике Китая в отношении ИИ, сделанное Фу Ином, вице-председателем Комиссии по иностранным делам Всекитайского собрания народных представителей. В письме участникам Всемирной конференции по ИИ 2018 г. в Шанхае президент КНР Си Цзиньпин писал: «Только более глубокое международное сотрудничество позволит решить новые проблемы в таких сферах, как право, безопасность, трудовая занятость, этика и государственное управление». Я благодарен Брайану Цэ за то, что он обратил мое внимание на эти заявления.

Очень интересная статья о неприродной не-ошибке, показывающая, как можно вывести предпочтения из состояния мира, каким его обустроили люди: Rohin Shah et al., «The implicit preference information in an initial state», in Proceedings of the 7th International Conference on Learning Representations (2019), iclr.cc/Conferences/2019/Schedule.

Ретроспективный взгляд на конференцию в Асиломаре: Paul Berg, «Asilomar 1975: DNA modification secured», Nature 455 (2008): 290–91.

Новостная статья, сообщающая о речи В. Путина об ИИ: «Putin: Leader in artificial intelligence will rule world», Associated Press , September 4, 2017.

Последняя теорема Ферма утверждает, что уравнение an = bn + cn не имеет решения при целочисленных a, b, c и n , являющемся целым числом, большим, чем 2. На полях своего экземпляра «Арифметики» Диофанта Ферма написал: «У меня есть совершенно замечательное доказательство этого утверждения, но оно не поместится на этих полях». Независимо от того, насколько эти слова соответствуют истине, они заставили математиков рьяно искать доказательство в последующие века. Конкретные случаи проверить легко. Например, равно ли 7 3сумме 6 3и 5 3? (Почти равно, потому что 7 3= 343, а 6 3+ 5 3= 341, но «почти» не считается.) Однако конкретных случаев бесконечно много, и все не проверишь, поэтому нам нужны математики, а не только программисты.