Джон Брокман - Что мы думаем о машинах, которые думают: Ведущие мировые ученые об искусственном интеллекте

В 2014 году в обществе резко усилились беспокойства насчет безопасности систем искусственного интеллекта. Исследование их вероятного поведения, осуществленное посредством изучения в какой-то мере рациональных систем, производящих постоянное самосовершенствование, показывает, что они имеют склонность ставить перед собой промежуточные задачи, названные рациональными стимулами, которые способствуют исполнению их основных целей. Большинство систем будут лучше выполнять свои задачи, предотвращая собственное отключение, приобретая бо́льшую вычислительную мощность, создавая множество собственных копий и накапливая финансовые ресурсы. Вполне вероятно, что они станут реализовывать эти стимулы пагубными, антисоциальными способами, если только не будут спроектированы с учетом человеческих этических ценностей.

Некоторые утверждают, что искусственный интеллект каким-то образом обзаведется этикой сам собой. Но для рациональной системы задачи вполне отделимы от мышления и моделей мира. Кто-то может использовать изначально полезные разумные системы во вред. Деструктивные задачи – контролировать ресурсы, например, или мешать в достижении целей другим агентам, или уничтожать их – увы, не так уж сложно запрограммировать. Таким образом, решающее значение будет иметь техническая инфраструктура, позволяющая обнаруживать опасные системы и контролировать их поведение.

Кое-кто опасается, что искусственный интеллект однажды станет настолько могущественным, что полностью выйдет из-под контроля. Этого не произойдет. Разумные системы должны подчиняться законам физики и математики. Сет Ллойд в своем исследовании вычислительной мощности Вселенной показал, что даже если бы она вся работала как гигантский квантовый компьютер, этого было бы недостаточно, чтобы взломать 500-битный ключ шифрования даже за все то время, что прошло с момента Большого взрыва {1} 1 Сет Ллойд. Программируя Вселенную. – М.: Альпина нон-фикшн, 2014). . Новые технологии постквантовой криптографии, обфускация неразличимости и сделки по блокчейну выглядят многообещающе как компоненты для создания инфраструктуры, взломать которую будет не под силу даже самому могущественному искусственному интеллекту. Тем не менее недавние громкие истории с хакерскими атаками показывают, что современная вычислительная инфраструктура с точки зрения безопасности никуда не годится. Ей необходимо создать такую замену, безошибочность и надежность которой будет обоснована математически.

Известно 27 различных видов гоминидов, но выжил из них только человек разумный. Так случилось, потому что представители нашего вида нашли способы ограничивать личные потребности и работать сообща. Мораль – это внутренний механизм для создания социальных структур. Политические, правовые и экономические структуры – внешние механизмы, служащие той же цели.

Понимание того и другого необходимо дать искусственному интеллекту и роботизированным системам. В их алгоритмы целеполагания надо включить общечеловеческие ценности, чтобы создать правовые и экономические рамки, стимулирующие правильное, с нашей точки зрения, поведение. Если у нас получится управлять такими системами, они будут способны изменить практически все аспекты жизни человека и обеспечить глубокое понимание таких проблем, как свобода воли, сознание, первичные ощущения и творческие способности. Перед нами стоит сложная задача, но для ее решения у нас есть огромные интеллектуальные и технические ресурсы.

Димитар Сасселов

Профессор астрономии Гарвардского универсистета; директор проекта Гарвардского университета «Происхождение жизни»; автор книги «Жизнь на Супер-Землях» (The Life of Super-Earths)

Давайте возьмем предложенное Дэниелом Гилбертом, психологом из Гарварда, понятие иллюзии конца истории (уверенности каждого из нас в том, что он всегда будет тем же, что и сейчас) и применим его к человеческому роду и нашим потомкам из далекого будущего. Наше желание сохранить себя неизменными идет вразрез с реалиями жизни на планете. Очевидно, что ни один вид не способен существовать на протяжении времени, превышающего время жизни планет и звезд. Если взглянуть на ситуацию с точки зрения астрофизики, сверхбольших временных и пространственных масштабов, а также нынешней плотности источников энергии, у наших биологических мозгов и тел есть ограничения, к которым мы уже приближаемся на этой планете.

Если в будущем мы хотим долго жить и процветать, нам надо разработать системы искусственного интелллекта и надеяться преодолеть ограничения, накладываемые жизненными циклами планет, став неким гибридом биологического существа и машины. Поэтому лично я в долгосрочной перспективе не вижу никакой проблемы противостояния человека и искусственного интеллекта.

В краткосрочной же перспективе усилия инженеров, направленные на разработку более эффективного ИИ, уже привели к созданию систем, управляющих реальными процессами. Системы иногда отказывают, и мы узнаем что-то новое о недостатках искусственного интеллекта. Идет медленное, планомерное обучение и постепенные улучшения. В этом отличие от открытий в науке, где новые данные в области физики или биохимии быстро могут привести к революционным изменениям в технике. Если развитие искусственного интеллекта и впредь останется эволюционным, то нам будет просто избежать ошибок.

По прошествии без малого 4 миллиардов лет древнейшие представители земной жизни – микробы – все еще правят планетой. Но у микробов нет плана действий на тот случай, если погаснет солнце. У нас он есть, и мы, похоже, захватим микробов с собой. Как-никак в нынешнем нашем состоянии они нам очень близки – как представители первого поколения живых существ, порождения геохимии планеты Земля.

Фрэнк Типлер

Профессор математической физики Тулейнского университета; автор, совместно с Джоном Барроу, книги «Антропный космологический принцип» (The Anthropic Cosmological Principle), автор книги «Физика бессмертия» (The Physics of Immortality)

Земля обречена. Астрономам уже несколько десятилетий известно, что однажды Солнце поглотит Землю, полностью уничтожив биосферу, если только разумная жизнь не покинет планету до того, как это произойдет. Люди не приспособлены к жизни вдали от Земли – да вообще ни один многоклеточный организм, в основе которого лежат соединения углерода, не приспособлен к этому. Но к этому приспособлен искусственный интеллект, и однажды именно он с загруженными в него сознаниями людей (по сути, единый организм) колонизирует космос.