Ник Бостром - Искусственный интеллект

16.Даже при условии, что машины будут намного эффективнее людей, все-таки может сохраниться некоторый уровень зарплат, при котором окажется выгоднее нанимать работников-людей, скажем, за один цент в час. Но если для самих людей это обернется единственным источником дохода, наш род просто вымрет, потому что не сможет прокормить себя на такие суммы. Конечно, у людей останется еще доход на капитал. Если теперь предположить, что население будет расти до тех пор, пока доход на душу населения не дойдет до уровня прожиточного минимума, может показаться, что после этого люди станут работать усерднее. Допустим, прожиточный минимум равен одному доллару в день на человека. Тогда получается, что население будет расти до тех пор, пока он не снизится до девяноста центов, и людям придется работать на десять часов больше, чтобы получить эти недостающие десять центов. Однако это не обязательно так, поскольку прожиточный минимум зависит от количества выполненной работы — люди, занимающиеся трудом, сжигают больше калорий. Представим себе, что каждый час работы увеличивает издержки на питание на два цента. И теперь можно получить модель, в которой человечество находится в равновесии.

17.Может показаться, что такая ситуация невозможна, поскольку «организм, находящийся в подобном овощном состоянии» не сможет голосовать и защищать свои права. Но он может оставить доверенность ИИ на управление делами и защиту его политических интересов. (Все наши предположения исходят из того, что права собственности будут уважаться.)

18.Не очень понятно, какой термин выбрать: слово убивать звучит более жестоко, чем это может оказаться на самом деле; слово отключать звучит, может быть, более приемлемо, но для нашего случая оно слишком упрощает ситуацию. А сложность в том, что фактически речь идет о двух отдельных процедурах: остановке активной деятельности и удалении информационных шаблонов. Смерть человека обычно предполагает одновременно и то и другое, но в случае с эмуляторами эти процедуры могут быть разделены во времени. Мы могли бы сравнить временную остановку программы с обычным человеческим сном, а постоянную остановку — с комой. Еще сильнее усложняет ситуацию возможность копирования эмуляторов и запуск их с различными скоростями — это вообще не имеет прямых аналогий с человеческой жизнью. См.: [Bostrom 2006 b; Bostrom, Yudkowsky 2014].

19.Придется искать компромисс между общей мощностью параллельных вычислений и их скоростью, поскольку высочайшая скорость вычислений достижима только за счет снижения их эффективности. Это будет особенно верно с началом эры обратимых вычислений.

20.Эмуляторы можно испытывать, подвергая их искушению. Путем многократных проверок, как эмулятор, запущенный из состояния готовности, реагирует на различные последовательности стимулов, можно убедиться в его надежности. Но чем дальше в процессе развития он продвигается­ от своего исходного состояния, тем сильнее снижается уверенность в нем работодателя. (Поскольку проницательный эмулятор может догадываться, что работает в режиме имитации, следует быть осторожными, экстраполируя его поведение на ситуации, в которых гипотеза о симуляции будет меньше влиять на принимаемые им решения.)

21.Некоторые эмуляторы скорее будут идентифицировать себя со своим кланом — то есть со всеми копиями и вариациями, полученными из одного шаблона, — чем думать о себе как отдельном субъекте. Такие эмуляторы, скорее всего, не станут считать свое отключение смертью, зная, что другие члены клана выживут. Они могут понимать, что рано или поздно их настройки сбросят к некоторому исходному состоянию и они потеряют память, но будут так же мало беспокоиться об этом, как и любители вечеринок, которые часто не могут вспомнить утром события предыдущей ночи, — считайте это ретроградной амнезией, а не смертью.

22.С этической оценкой можно подходить и ко многим другим факторам. Даже если все работники испытывают «чувство глубокого удовлетворения» от условий своего труда, результат все-таки может быть сомнительным с нравственной точки зрения по другим основаниям, хотя эти основания и являются предметом споров между сторонниками различных этических учений. Однако важнейшим факторов все равно следует считать субъективное ощущение благополучия. См. также: [Bostrom, Yudkowsky 2014].

23.См.: [World Values Survey, 2008].

24.См.: [Helliwell et al. 2012].

25.См.: [Bostrom 2004]; см. также: [Chislenko 1996; Moravec 1988].

26.Будут ли системы для обработки информации, возникшие в рамках этого сценария, обладать сознанием (в смысле наличия квалиа и возможности субъективных переживаний)? Трудно сказать. Отчасти из-за эмпирической неопределенности: какого рода когнитивными субъектами они будут. Отчасти из-за философской неопределенности: какие типы систем обладают сознанием. Можно попытаться переформулировать наш вопрос и спросить: будут ли они иметь моральный статус или будут ли они такими, что у нас появятся предпочтения относительно их «благополучия». Но на эти вопросы ответить не легче, чем на вопрос о сознании. На самом деле может оказаться, что ответы на вопросы и о сознании, и о моральном статусе, и о наших предпочтениях будут зависеть от того, смогут ли обсуждаемые системы субъективно переживать условия, в которых находятся.

27.Свидетельства того, что и в геологической, и человеческой истории прослеживается тенденция в пользу большей сложности, можно найти в книге Роберта Райта «Не ноль. Логика человеческой судьбы» [Wright 2001]. Противоположные аргументы (которые Райт критикует в главе 9 своей книги) см.: [Gould 1990]. См. также: [Pinker 2011], где приведены аргументы в пользу того, что мы являемся свидетелями устойчивой и длительной тенденции снижения уровня насилия и жестокости.

28.Об эффекте выбора наблюдателя см.: [Bostrom 2002 a].

29.См.: [Bostrom 2008 a]. Чтобы исключить влияние эффекта наблюдателя, потребуется гораздо более тщательное изучение деталей нашей эволюционной истории; см., например: [Carter 1983; 1993; Hanson 1998 d; Ćirković et al. 2010].

30.См.: [Kansa 2003].

31.См., например: [Zahavi, Zahavi 1997].

32.См.: [Miller 2000].

33.См.: [Kansa 2003]; см. также: [Frank 1999] — очень интересная книга Роберта Франка «“Роскошная” лихорадка», дающая серьезную пищу для размышлений.

34.В принципе, не вполне ясно, как лучше всего измерять степень глобальной политической интеграции. Можно сравнить эпоху охотничье-собирательской культуры, когда в руководящие структуры в общем входило максимум несколько сот человек, принимающих все решения, и наше время, когда крупнейшие политические структуры в общем насчитывают более миллиарда человек. Это означает разницу в семь порядков, всего на порядок меньше ситуации, в которой единой политической структурой стал бы весь мир. Однако в те времена, когда максимальным уровнем интеграции являлось племя, население планеты было несравнимо меньше. Тогда племя могло включать в себя до тысячной доли всех жителей Земли. Оценка доли населения планеты, вовлеченной в процесс политической интеграции, а не абсолютных цифр, кажется более правильной в современных условиях (особенно учитывая, что переход к искусственному интеллекту может вызвать взрывной рост количества жителей планеты за счет появления имитационных моделей или иных форм цифрового разума). Развиваются принципиально отличные от государственных и других официальных институций глобальные организации и сети, которые тоже следует принимать во внимание.