Коллектив авторов - Что мы думаем о машинах, которые думают [Ведущие мировые ученые об искусственном интеллекте]

А что сделали бы русские или китайцы, если б узнали, что некая компания в Кремниевой долине почти создала сверхразумный УИИ? Эта машина по определению сможет вести военные действия — наземные и кибернетические — беспрецедентных масштабов. Как поведут себя наши противники, обнаружив, что мы на грани беспрецедентного перераспределения сил? Обычные слухи по поводу УИИ легко введут наш вид в состояние берсерка.

Хаос может быть вполне вероятным результатом даже при самом оптимистичном сценарии, при котором УИИ останется совершенно послушным человеку, — признание этого обстоятельства действует отрезвляюще. Но мы, конечно, не имеем права исходить только из наиболее оптимистичного сценария. В действительности проблема контроля, решив которую мы гарантировали бы послушание УИИ, выглядит довольно сложной.

Представьте, например, что вы построили компьютер, который не умнее обычной группы исследователей из Стэнфорда или Массачусетского технологического института, но поскольку он функционирует в цифровых масштабах времени, то работает в миллион раз быстрее, чем разумы, которые его создали. Дадим ему недельку погудеть, и он проделает работу, эквивалентную 20 000 лет интеллектуальной деятельности человека. Каковы шансы, что такая сущность будет подчиняться нашим указаниям? И как можем мы уверенно прогнозировать мысли и действия автономного агента, который глубже нас видит прошлое, настоящее и будущее?

Тот факт, что мы спешно движемся к некоему цифровому апокалипсису, ставит перед нами ряд интеллектуальных и этических проблем. Например, чтобы иметь хоть какую-то надежду на то, что у сверхразумного УИИ будут ценности, согласующиеся с нашими, нам нужно внушить ему эти ценности (или иным образом сделать так, чтобы он смоделировал их). Но «наши» — это чьи именно? У каждого ли должно быть право голоса при создании функции полезности нового колосса? Изобретение УИИ, как минимум, заставит нас пересмотреть ряд очень древних (и занудных) постулатов философии морали.

Однако настоящий УИИ, вероятно, воспримет и какие-то новые ценности или, по крайней мере, выработает новые — и, возможно, опасные — краткосрочные цели. Какие шаги предпримет сверхразум, чтобы обеспечить себе выживание или доступ к вычислительным ресурсам? Будет ли поведение такой машины совместимым с благополучием человека — это может оказаться самым важным вопросом, который когда-либо вставал перед нашим видом.

Однако проблема заключается в том, что лишь немногие из нас в состоянии как следует обдумать этот вопрос. На самом деле момент истины может наступить при обстоятельствах совершенно неформальных и зловещих: представьте себе, как десять молодых мужчин в одной комнате — у некоторых из них синдром Аспергера, но они об этом не знают — пьют Red Bull и думают, не пора ли щелкнуть выключателем. Должна ли одна компания или исследовательская группа решать судьбу человечества? Вопрос практически содержит ответ.

И все же похоже, что несколько умников когда-нибудь решатся пойти на такой риск. Искушение будет понятным. Мы сталкиваемся с проблемами — болезнью Альцгеймера, изменением климата, экономической нестабильностью, для которых сверхчеловеческий интеллект мог бы предложить решения. В действительности единственная вещь, настолько же страшная, как создание УИИ, — перспектива не создать его. Тем не менее на тех, кто ближе других стоит к этой задаче, лежит величайшая ответственность — предупредить связанные с ней опасности. Да, другие области тоже представляют чрезвычайную угрозу, но разница между УИИ и чем-то типа синтетической биологии состоит в том, что для последней наиболее опасные инновации (такие как мутация гамет) не являются наиболее привлекательными с коммерческой или этической точки зрения. В случае с УИИ именно наиболее мощные методы (такие как рекуррентное самосовершенствование) связаны с наибольшими рисками.

Похоже, что мы строим бога. Самое время задуматься, будет ли он (если это возможно) добрым.

Мы, люди, приговорены к тому, чтобы проводить свою жизнь в ловушке внутри собственной головы. Как бы мы ни старались, нам никогда не узнать, каково это — быть кем-то другим. Даже наиболее чуткие из нас неизбежно столкнутся с непреодолимым разрывом между собственным «я» и «другим». Мы можем страдать, увидев, как кто-то ударился пальцем о ножку стула, или узнав о чьем-то горе. Но это будет просто симуляция; переживания других людей не могут ощущаться непосредственно, а потому их нельзя прямо сравнить с нашими переживаниями. Эмпатический разрыв отвечает за большую часть межличностных конфликтов, от прозаичных споров по поводу того, кому мыть посуду, до ожесточенных войн за владение священной землей.

Эта проблема ощущается наиболее остро для моральных дилемм. Этика утилитаризма подразумевает, что базовый критерий этичности — максимизация наибольшего блага для наибольшего числа людей, а для такого расчета необходима возможность сравнивать благо или «полезность» для разных индивидов. Но эмпатический разрыв делает межличностное сравнение делом сложным, а то и вовсе невыполнимым. Вы и я можем оба утверждать, что любим шампанское, но нам никогда не узнать, кто любит его больше, потому что у нас нет общей шкалы для оценки этих субъективных ценностей. В результате у нас нет никакой эмпирической основы, чтобы определить, кому из нас нужнее последний бокал. Иеремия Бентам, основоположник утилитаризма, обратил внимание на эту проблему: «Счастье одного человека никогда не станет счастьем другого; выгода для одного человека не является выгодой для другого. Точно так же можно пытаться сложить двадцать яблок и двадцать груш».

Человеческие мозги не могут решить задачу межличностного сравнения полезности. Нобелевский лауреат Джон Харсаньи работал над ней около двух десятков лет в середине XX века. Его теория считается одной из лучших на сегодняшний день, но ей недостает учета эмпатического разрыва. Теория Харсаньи предполагает наличие идеальной эмпатии, при которой мое представление о вашей функции полезности идентично вашей функции полезности. Но ошибочность человеческой эмпатии неоспорима — об этом говорят данные психологических исследований и наш личный опыт.

Могут ли мыслящие машины справиться с задачей межличностного сравнения полезности? Чтобы преодолеть эмпатический разрыв, требуется способ измерения предпочтений и выражения их в некой единой валюте — это позволило бы проводить сравнение между различными индивидами. Такой алгоритм дал бы нам непротиворечивый набор стандартов, который можно использовать для создания более качественного общественного договора. Представьте себе машину, способную вычислить оптимальное решение для перераспределения материальных благ, учитывая предпочтения каждого субъекта налогообложения, обеспечивая равный вес каждого субъекта и проводя их точное сравнение. Хотя каким конкретно будет решение, пока не ясно, его потенциальная полезность самоочевидна.