Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Мысль о том, что существуют приемлемые пути к изменению предпочтений, как представляется, связана с идеей о наличии приемлемых методов модификации поведения, когда, например, наниматель конструирует ситуацию выбора так, чтобы люди делали «лучший» выбор в отношении пенсионных накоплений. Часто это можно сделать, воздействуя на «нерациональные» факторы, влияющие на выбор, а не путем ограничения выбора или «налогообложения» «плохого» выбора. «Подталкивание» [329], книга экономиста Ричарда Талера и правоведа Касса Санстейна, предлагает широкий спектр предположительно приемлемых методов и возможностей «влияния на поведение людей, с тем чтобы они жили дольше, здоровее и счастливее».

Неясно, действительно ли методы модификации поведения изменяют только поведение. Если при устранении «подталкивания» модифицированное поведение сохраняется — что, предположительно, является желаемым результатом такого рода вмешательств, — значит, что-то изменилось в когнитивной архитектуре индивида (именно она превращает глубинные предпочтения в поведение) или в его глубинных предпочтениях. Весьма вероятно сочетание того и другого. Ясно, однако, что стратегия подталкивания предполагает, что все разделяют предпочтение «жить дольше, здоровее и счастливее». Каждое подталкивание опирается на конкретное определение «лучшей» жизни, что, как представляется, противоречит идее автономии предпочтений. Возможно, целесообразнее было бы не подталкивать, а разрабатывать нейтральные в отношении предпочтений вспомогательные процессы, помогающие людям достигать большей согласованности своих решений и когнитивной архитектуры с глубинными предпочтениями. Например, можно разработать когнитивные вспомогательные средства, которые высвечивают долгосрочные последствия решений и учат людей распознавать зерна этих последствий в настоящем [330].

Очевидно, нам нужно лучше понимать процессы возникновения и формирования человеческих предпочтений хотя бы потому, что это помогло бы нам создавать машины, избегающие случайных и нежелательных изменений человеческих предпочтений наподобие тех, что вносят алгоритмы выбора контента социальных сетей. Разумеется, вооружившись этим пониманием, мы замахнемся и на разработку изменений, которые приведут к «лучшему» миру.

Можно заметить, что необходимо предоставить намного больше возможностей для «совершенствующего» опыта, нейтрального в отношении предпочтений, такого как путешествия, дебаты и обучение аналитическому и критическому рассуждению. Мы могли бы, например, дать каждому старшекласснику возможность прожить по несколько месяцев по меньшей мере в двух разных культурах, отличающихся от его культурной среды.

Почти наверняка мы захотим пойти дальше — скажем, провести социальные и образовательные реформы, повышающие коэффициент альтруизма (веса, приписываемого каждым индивидом благополучию других), в то же время снижая коэффициенты садизма, гордости и зависти. Будет ли это хорошей идеей? Следует ли нам привлечь машины для помощи в этом процессе? Это, безусловно, соблазнительно. Сам Аристотель писал: «Главная забота политика — породить определенный характер в гражданах и сделать их добрыми и расположенными к благородным деяниям». Давайте просто признаем, что существуют риски, связанные с преднамеренным конструированием предпочтений в глобальном масштабе. Мы должны действовать крайне осторожно.

Если нам удастся создать доказуемо полезные ИИ-системы, то мы устраним опасность утраты контроля над сверхинтеллектуальными машинами. Человечество могло бы продолжить их разработку и получить невообразимые выгоды от возможности направить намного больший интеллект на развитие нашей цивилизации. Мы освободились бы от векового рабства, поскольку вместе с сельскохозяйственными, промышленными и офисными роботами сумели бы максимально использовать жизненный потенциал. С точки зрения этого золотого века мы оглядывались бы на свое сегодняшнее существование и видели нечто вроде описанной Томасом Гоббсом жизни без государства: одинокой, бедной, ужасной, жестокой и короткой {18} .

Или нет? Что, если хрестоматийные злодеи перехитрили бы наших «телохранителей» и высвободили неконтролируемую силу сверхинтеллекта, против которой у человечества нет защиты? Если бы мы и выжили, то постепенно слабели бы, передавая все больше своих знаний и умений машинам. Машины могли бы посоветовать нам этого не делать, понимая долгосрочную ценность автономии человека, но, вероятно, мы бы настояли на своем.

Стандартная модель, лежащая в основе значительной части технологий XX в., опирается на машины, оптимизирующие фиксированную, поступающую извне целевую функцию. Как мы видели, эта модель имеет фундаментальные недостатки. Она работает, только если задача гарантированно является полной и верной или если оборудование можно легко отключить. Оба эти условия перестанут выполняться по мере роста возможностей ИИ.

Если поступающая извне целевая функция может быть неверной, то для машины не имеет смысла действовать так, словно она всегда верная. Отсюда вытекает мое предложение полезных машин, то есть таких, от которых можно ожидать действий, направленных на достижение наших целей. Поскольку эти цели находятся в нас, а не в них, машинам понадобится больше узнавать о наших реальных желаниях путем наблюдения за тем, что мы выбираем и как. Машины, сконструированные подобным образом, должны быть покорны людям: они будут спрашивать разрешения, действовать с осторожностью в отсутствие четких ориентиров и позволять себя выключить.

Эти начальные условия ориентированы на упрощенную идеализированную среду, но я уверен, что они сохранятся и при переносе в более реалистичное окружение. Мои коллеги уже успешно применили аналогичный подход к таким практическим проблемам, как взаимодействие автономного автомобиля с водителем [331]. Например, машины с автопилотом удручающе плохо воспринимают знак «4 стопа» {19} на перекрестках, если неясно, у кого преимущество. Когда же эта задача формулируется в виде игры в помощника, машина предлагает новаторское решение: она немного сдает назад, чтобы показать, что решительно не намерена двигаться первой. Человек на другой стороне перекрестка понимает этот сигнал и начинает движение, уверенный, что столкновения не будет. Очевидно, мы, эксперты-люди, могли бы подумать об этом решении и запрограммировать его в транспортном средстве, но этого не сделали; машина совершенно самостоятельно изобрела эту форму коммуникации.

Я полагаю, что по мере приобретения большего опыта в других средах мы будем удивлены спектром и гибкостью поведения машин в ходе их взаимодействия с человеком. Мы настолько привыкли к тупости машин, демонстрирующих негибкое, заданное программой поведение или преследующих четкие, но неверные цели, что можем быть поражены тем, насколько чувствительными они становятся. Технология доказуемо полезных машин составляет ядро нового подхода к разработке ИИ и основу новых отношений между людьми и машинами.