Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Когда еще не было никаких технологий, люди жили, как большинство животных, на грани голодной смерти. Мы, так сказать, стояли непосредственно на земле. Технология постепенно вознесла нас на вершину пирамиды из машин, увеличив наши возможности оставить свой след как лично, так и всем нашим биологическим видом. Мы по-разному можем построить отношения между людьми и машинами. Если мы организуем их так, чтобы люди сохраняли достаточное понимание, власть и автономию, технологические части системы могут невероятно повысить возможности человека, позволив каждому из нас стоять на огромной пирамиде возможностей — можно сказать, быть полубогом. Взглянем, однако, на упаковщицу со склада онлайнового магазина. Она продуктивнее своих предшественников, потому что пользуется небольшой армией роботов, подносящих ей ячейки хранения, откуда она набирает товары, но она является частью большой системы, управляемой интеллектуальными алгоритмами, которые решают, где ей стоять, какие товары брать и отсылать. Она уже частично погрузилась в пирамиду, а не стоит на ее вершине. Лишь вопрос времени, когда песок заполнит просветы внутри пирамиды и она станет не нужна.

Не нужно особого воображения, чтобы понять: неразумно создавать сущность, более умную, чем мы сами. Мы понимаем, что власть над средой и другими биологическими видами является следствием нашей разумности, и мысль о еще более умной сущности, будь то робот или инопланетянин, тут же вызывает тошнотворное чувство.

Около 10 млн лет назад предки современной гориллы создали (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы» : сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?

Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого [185] Лавлейс писала: «Аналитическая машина никоим образом не притязает на то, чтобы создавать что бы то ни было. Она может делать все, что мы умеем упорядочить с целью выполнения. Она может следовать анализу, но не имеет возможности предвосхищать какие бы то ни было аналитические отношения или истины». Это один из ее аргументов против ИИ, отвергнутый Аланом Тьюрингом: Alan Turing, «Computing machinery and intelligence», Mind 59 (1950): 433–60. . В 1847 г., однако, Ричард Торнтон, редактор религиозного журнала Primitive Expounder , яростно выступил против механических калькуляторов [186] Самая ранняя известная статья об экзистенциальном риске от ИИ была написана Ричардом Торнтоном: Richard Thornton, «The age of machinery», Primitive Expounder IV (1847): 281. :

Ум… опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить … Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!

Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным.

Напротив, роман Сэмюэла Батлера «Эдгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин {10} 10 Англ. Erewhon, анаграмма слова nowhere — «нигде». — Прим. пер. — страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон [187] «Книга машин» основывалась на более ранней статье Сэмюэла Батлера «Дарвин среди машин»: Samuel Butler, «Darwin among the machines», The Press (Christchurch, New Zealand), June 13, 1863. . Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.

Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними:

Разве не создаем мы сами наследников нашего превосходства на земле? Ежедневно увеличивая красоту и тонкость их устройства, ежедневно наделяя их все большими умениями и давая все больше той саморегулирующейся автономной силы, которая лучше любого разума?.. Пройдут века, и мы окажемся подчиненной расой…

Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами… Ярмо будет ложиться на нас мало-помалу и совсем незаметно.

Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.

Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями.

Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».

Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г. [188] Еще одна лекция, в которой Тьюринг предсказал порабощение человечества: Alan Turing, «Intelligent machinery, a heretical theory» (lecture given to the 51 Society, Manchester, 1951). Текст выложен на сайте turingarchive.org . :

Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в «Эдгине» Сэмюэла Батлера.