Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Цитата, свидетельствующая, что Смит не был настолько одержим эгоистичностью, как это принято считать: Смит А. Теория нравственных чувств. — М.: Республика, 1997.

Введение в экономику альтруизма: Serge-Christophe Kolm and Jean Ythier, eds., Handbook of the Economics of Giving, Altruism and Reciprocity , 2 vols. (North-Holland, 2006).

О благотворительности как проявлении эгоизма: James Andreoni, «Impure altruism and donations to public goods: A theory of warm-glow giving», Economic Journal 100 (1990): 464–77.

Для любителей уравнений. Пусть собственное благополучие Алисы измеряется как w A, а Боба как w B. Тогда полезности для Алисы и Боба будут определяться следующим образом:

U A= w A+ C AB w B

U B= w B+ C BAw A

Некоторые авторы предполагают, что Алису интересует общая полезность Боба U B, а не только его собственное благополучие w B, но это создает, своего рода, замкнутый круг, где полезность Алисы зависит от полезности Боба, которая зависит от полезности Алисы. Иногда можно найти устойчивые решения, но лежащая в основе модель представляется спорной. См., например: Hajime Hori, «Nonpaternalistic altruism and functional interdependence of social preferences», Social Choice and Welfare 32 (2009): 59–77.

Модели, в которых полезность каждого индивида представляет собой линейную комбинацию благополучия всех, являются лишь одним из возможных вариантов. Можно построить и намного более общие модели, например, в которых некоторые индивиды предпочитают избегать огромного неравенства распределения благополучия даже ценой уменьшения совокупного показателя, тогда как другие хотели бы, чтобы никто вообще не имел предпочтений в отношении неравенства. Таким образом, предлагаемый мной общий подход учитывает множественность нравственных теорий, которых придерживаются индивиды. В то же время он не утверждает, что какая бы то ни было из этих теорий верна или должна оказывать большее влияние на результаты для сторонников другой теории. Я признателен Тоби Орду, обратившему мое внимание на эту особенность данного подхода.

Подобные аргументы приводятся против мер, направленных на обеспечение равенства результатов; особо следует упомянуть американского специалиста по философии права Рональда Дворкина. См., например: Ronald Dworkin, «What is equality? Part 1: Equality of welfare», Philosophy and Public Affairs 10 (1981): 185–246. Этой ссылкой я обязан Айсону Гэбриэлу.

Проявление злобности в форме основанного на мести наказания за проступок, безусловно, является общей тенденцией. Хотя она играет определенную социальную роль, удерживая членов сообщества в рамках, ее можно заменить столь же эффективной политикой на основе сдерживания и профилактики, таким образом, соотнося неизбежный вред, сопутствующий наказанию правонарушителя, с пользой для более крупного социума.

Пусть ЕАВ и РАВ — коэффициенты жадности и гордости Алисы соответственно. Предположим также, что они влияют на разницу благополучия. Тогда можно составить следующую (довольно сильно упрощенную) формулу полезности Алисы:

U A= w A+ C ABw B— E AB(w B− w A) + P AB(w A− w B) = (1 + E AB+ P AB) w A+ (C AB— E AB− P AB) w B.

Тогда, если у Алисы положительные коэффициенты гордости и жадности, то они влияют на благополучие Боба точно так же, как коэффициенты садизма и злобы: Алиса становится счастливее, если благополучие Боба снижается, при прочих равных. В реальности гордость и жадность обычно применяются к различиям не в благополучии, а в его видимых проявлениях, таких как статус и собственность. Тяжелый труд, которым Боб добывает свое достояние (понижающий его общее благополучие), может быть невидим для Алисы. Это может вести к проявлениям самозащиты, которые можно обобщенно назвать «Чтобы не хуже, чем у людей».

О социологических аспектах статусного потребления: Thorstein Veblen, The Theory of the Leisure Class: An Economic Study of Institutions (Macmillan, 1899).

Fred Hirsch, The Social Limits to Growth (Routledge & Kegan Paul, 1977).

Я признателен Зияду Марару за то, что он обратил мое внимание на теорию социальной идентичности и ее значимость для понимания мотивации и поведения человека. См., например: Dominic Abrams and Michael Hogg, eds., Social Identity Theory: Constructive and Critical Advances (Springer, 1990). Намного более краткий обзор основных идей: Ziyad Marar, «Social identity», in This Idea Is Brilliant: Lost, Overlooked, and Underappreciated Scientific Concepts Everyone Should Know , ed. John Brockman (Harper Perennial, 2018).

Здесь я не утверждаю, что нам необходимо детальное понимание когнитивной системы на уровне нейронов. Нужна модель уровня «программного обеспечения», описывающая, как предпочтения, как эксплицитные, так и имплицитные, формируют поведение. Такая модель должна включать то, что известно о системе вознаграждения.

Ralph Adolphs and David Anderson, The Neuroscience of Emotion: A New Synthesis (Princeton University Press, 2018).

См., например: Rosalind Picard, Affective Computing , 2nd ed. (MIT Press, 1998).

Восторженные описания прелестей дуриана: Alfred Russel Wallace, The Malay Archipelago: The Land of the Orang-Utan, and the Bird of Paradise (Macmillan, 1869).

Менее восторженный взгляд на дуриан: Alan Davidson, The Oxford Companion to Food (Oxford University Press, 1999). Из-за запаха дуриана приходилось эвакуировать людей из зданий и разворачивать самолеты на полпути.

Написав эту главу, я узнал, что точно с такими же философскими целями дуриан использует Лори Пол: Laurie Paul, Transformative Experience (Oxford University Press, 2014). Пол предполагает, что неопределенность относительно собственных предпочтений представляет собой неустранимую проблему теории принятия решений; противоположный взгляд высказывается в статье: Richard Pettigrew, «Transformative experience and decision theory», Philosophy and Phenomenological Research 91 (2015): 766–74. Ни один из авторов не ссылается на более ранние труды Харсаньи (Harsanyi, «Games with incomplete information, Parts I–III») или: Cyert and de Groot, «Adaptive utility».

Первая статья о помощи людям, которые не знают собственных предпочтений и выясняют их: Lawrence Chan et al., «The assistive multi-armed bandit», in Proceedings of the 14th ACM/IEEE International Conference on Human — Robot Interaction (HRI) , ed. David Sirkin et al. (IEEE, 2019).

Элиезер Юдковски в своей книге Coherent Extrapolated Volition (Singularity Institute, 2004), объединяет все эти аспекты, а также банальную непоследовательность, под общим понятием «сумбур», к сожалению, не прижившимся.

О двух «я», оценивающих опыт: Канеман Д. Думай медленно… решай быстро. — М.: АСТ, 2013.

Гедонометр Эджворта, вымышленное устройство для ежеминутного измерения счастья: Francis Edgeworth, Mathematical Psychics: An Essay on the Application of Mathematics to the Moral Sciences (Kegan Paul, 1881).

Типичная работа о последовательном принятии решений в условиях неопределенности: Martin Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming (Wiley, 1994).