Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Пытаясь представить риски публике и политикам, исследователи ИИ находятся в проигрышном положении по сравнению с ядерными физиками. Физикам не нужно писать книги, объясняющие общественности, что, если собрать критическую массу высокообогащенного урана, это может быть рискованно, поскольку последствия уже были продемонстрированы в Хиросиме и Нагасаки. Не потребовалось особых усилий, чтобы убедить власти и фонды в важности соблюдения безопасности при развитии ядерной энергетики.

В «Эдгине» Батлера сосредоточение на «проблеме гориллы» приводит к незрелому и ложному противостоянию сторонников и противников машин. Сторонники считают опасность господства машин минимальной или несуществующей, противники убеждены, что она непреодолима, пока все машины не уничтожены. Спор принимает фракционный характер, и никто не пытается решить фундаментальную проблему сохранения контроля человека над машинами.

В разной степени обсуждение всех важнейших технологических вопросов XX в. — ядерной энергии, генетически модифицированных организмов и ископаемого топлива — страдает фракционизмом. По каждому вопросу имеется две стороны, за и против. Динамика и результаты во всех случаях разные, но симптомы нашизма одинаковы: взаимное недоверие и очернение, иррациональная аргументация и отказ принимать любой (разумный) довод, который может свидетельствовать в пользу другой фракции. На протехнологической стороне наблюдаем отрицание и сокрытие рисков в сочетании с обвинениями в луддизме, на антитехнологической — убежденность, что риски непреодолимы, а проблема неразрешима. На представителя протехнологической фракции, слишком честно высказывающегося о проблеме, смотрят как на предателя, что особенно прискорбно, поскольку эта фракция включает большинство людей, способных решить эту проблему. Член антитехнологической фракции, обсуждающий возможное уменьшение рисков, — тоже «изменник», поскольку зло видится в технологии как таковой, а не в ее возможных эффектах. Таким образом, лишь крайние маргиналы — у которых меньше всего шансов быть услышанными по обе стороны баррикад — могут высказываться от имени каждой фракции.

Уловив саму идею экзистенциального риска, будь то в форме «проблемы гориллы» или «проблемы царя Мидаса», большинство людей, я в том числе, сразу же начинают искать простое решение. Часто первое, что приходит в голову, — это выключить машину. Например, сам Алан Тьюринг в приведенной ранее цитате рассуждает, что мы можем «удержать машины в подчиненном положении, например отключив питание в критический момент».

Это не поможет по той простой причине, что сверхинтеллектуальная сущность уже подумала об этой возможности и предприняла шаги по ее предотвращению. Она сделает это не из желания остаться живой, а потому что преследует ту или иную цель, которую мы ей дали, и знает, что не сможет ее достичь, если ее отключат.

Уже придуман ряд систем, которые невозможно отключить, не причинив серьезный ущерб нашей цивилизации. Это системы, реализованные в качестве так называемых смарт-контрактов в блокчейне. Блокчейн — высокораспределенная форма выполнения вычислений и хранения данных на основе шифрования, созданная специально для того, чтобы никакую часть данных нельзя было уничтожить и ни один смарт-контракт невозможно было прервать, фактически не взяв под контроль очень большое число машин и не разрушив цепочку, что, в свою очередь, может уничтожить значительную часть интернета и (или) финансовой системы. Ведутся споры, является ли эта невероятная устойчивость «фичей или багом», но, несомненно, это инструмент, с помощью которого сверхинтеллектуальная ИИ-система могла бы себя защитить.

Если невозможно выключить ИИ-систему, нельзя ли окружить машины своего рода брандмауэром, получая от них полезную работу по ответам на вопросы, но не позволяя напрямую влиять на реальный мир? Таков замысел Oracle AI, подробно обсуждаемой в сообществе специалистов по безопасности ИИ [221] Интересный анализ см. в статье: Oracle AI: Stuart Armstrong, Anders Sandberg, and Nick Bostrom, «Thinking inside the box: Controlling and using an Oracle AI», Minds and Machines 22 (2012): 299–324. . Система Oracle AI может быть условно интеллектуальной, но способна отвечать на любой вопрос только «да» или «нет» (или сообщать соответствующие вероятности). Она может иметь доступ ко всей информации, которой обладает человечество, только с помощью чтения, то есть без непосредственного доступа в интернет. Разумеется, это означает отказ от сверхинтеллектуальных роботов, помощников и многих других типов ИИ-систем, но заслуживающая доверия Oracle AI все равно будет иметь колоссальную экономическую ценность, поскольку мы сможем задавать ей важные для нас вопросы, например имеет ли болезнь Альцгеймера инфекционную природу или следует ли запретить автономное оружие. Таким образом, Oracle AI, бесспорно, представляет собой интересную возможность.

К сожалению, здесь имеются серьезные трудности. Во-первых, система Oracle AI будет, по меньшей мере, столь же упорно (как и мы) постигать физическое устройство и происхождение своего мира — вычислительные ресурсы, их режим работы и тех «таинственных сущностей», которые создали информационное хранилище и теперь задают вопросы. Во-вторых, если задача системы Oracle AI заключается в том, чтобы давать точные ответы на вопросы за разумный промежуток времени, у нее будет стимул вырваться из своей клетки, чтобы получить больше вычислительных возможностей и контролировать спрашивающих, заставив их задавать лишь простые вопросы. Наконец, мы пока не изобрели брандмауэр, надежно защищающий от обычных людей, не говоря о сверхинтеллектуальных машинах.

Я думаю, что у части этих проблем могут быть решения, особенно если мы ограничим системы Oracle AI, чтобы они были доказуемо рациональными логическими или Байесовыми калькуляторами. А именно — мы могли бы потребовать, чтобы алгоритм был способен выдать лишь вывод, обусловленный предоставленной информацией, и имели бы возможность проверить математическими методами, что алгоритм удовлетворяет этому условию. При этом все равно остается проблема контроля за процессом принятия решения, какие логические или Байесовы вычисления выполнять, чтобы найти самое сильное решение из возможных, максимально быстро. Поскольку есть стимул для быстрого протекания этого процесса, то имеется и стимул приобретать вычислительные ресурсы и, разумеется, защищать собственное существование.

В 2018 г. Центр исследования совместимого с человеком ИИ в Беркли провел семинар, на котором мы задались вопросом: «Что бы вы сделали, узнав совершенно точно, что сверхинтеллектуальный ИИ будет создан в течение десятилетия?» Мой ответ был следующим: убедить разработчиков повременить с созданием универсального интеллектуального агента — способного самостоятельно выбирать свои действия в реальном мире — и вместо этого создать Oracle AI. Тем временем мы бы трудились над решением проблемы обеспечения максимально возможной доказываемой безопасности систем Oracle AI. Эта стратегия может сработать по двум причинам: во-первых, сверхинтеллектуальная система Oracle AI все равно стоила бы триллионы долларов, и разработчики, возможно, согласились бы с ограничением; во-вторых, контролировать системы Oracle AI почти наверняка проще, чем универсального интеллектуального агента, и у нас было бы больше шансов решить проблему в течение десятилетия.