Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Как мы убедились, обсуждая инструментальные цели, неважно, встроим ли мы в машину такие «эмоции» или «желания», как самосохранение, получение ресурсов, обретение знания или, в крайнем проявлении, покорение мира. Машина все равно приобретет эти эмоции в качестве подцелей любой задачи, которую мы перед ней все-таки поставим, — причем независимо от своего гендера. Для машины смерть сама по себе не есть зло. Смерти тем не менее нужно избегать, поскольку трудно подать кофе, если ты мертв.

Еще более радикальное решение состоит в том, чтобы вообще не ставить цели перед машинами. Вуаля, проблема решена! Увы, все не так просто. Без цели нет разума: любое действие не хуже и не лучше всякого другого, и машина с тем же успехом может быть просто генератором случайных чисел. Без целей нет и причины, чтобы машина предпочитала человеческий рай планете, превращенной в море скрепок (сценарий, подробно описанный Ником Бостромом). Действительно, последний вариант показался бы утопией поедающей железо бактерии Thiobacillus ferrooxidans . Если отсутствует понимание того, что предпочтения человека важны, как можно утверждать, что бактерия не права?

Распространенной разновидностью идеи «избегания постановки целей» является мысль о том, что интеллектуальная система обязательно — вследствие своей интеллектуальности — сама выработает «правильные» цели. Часто ее сторонники ссылаются на теорию, что более умные люди чаще преследуют альтруистические и благородные цели, — возможно, это убеждение связано с их представлением о самих себе.

Идея, что можно воспринять цели из мира, была подробно рассмотрена знаменитым философом XVIII в. Дэвидом Юмом в «Трактате о человеческой природе» [229] Эпохальный труд по многим философским вопросам, в том числе о возможности постижения морального долга из мира природы: Юм Д. О человеческой природе. — М.: Азбука, 2017. . Он назвал ее проблемой «есть — должно быть» {12} 12 В русскоязычной традиции — «принцип Юма». — Прим. пер. и пришел к выводу, что полагать, будто нравственные императивы могут быть выведены из естественных фактов, — ошибка. Чтобы увидеть это, рассмотрим, к примеру, устройство шахматной доски и шахматные фигуры. Невозможно понять по ним цель шахматной игры, поскольку та же самая доска и фигурки могут использоваться и для игры в поддавки, и для многих других игр, которые еще не изобретены.

Ник Бостром в «Сверхразумности» подает ту же базовую идею в иной форме, называя ее тезисом ортогональности :

Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может, в принципе, комбинироваться с более или менее любой конечной целью.

Здесь ортогональный означает «под прямым углом», в том смысле, что степень интеллекта — это одна ось, определяющая интеллектуальную систему, а ее цели — другая ось, и мы можем независимо менять их значения. Например, автономный автомобиль может получить в качестве места назначения любой конкретный адрес; если мы научим машину лучшему вождению, она не начнет отказываться выезжать по адресам, в которых номера домов кратны 17. Аналогично легко представить, что перед универсальной интеллектуальной системой можно поставить практически любую задачу, в том числе максимизации количества скрепок или известных разрядов числа пи. Именно так работают системы обучения с подкреплением и другие типы оптимизации вознаграждения: алгоритмы являются полностью универсальными и принимают любой вознаграждающий сигнал. Для инженеров и программистов, действующих в рамках стандартной модели, тезис об ортогональности абсолютно очевиден.

Идея о том, что интеллектуальные системы могли бы просто созерцать мир, чтобы понять свою цель, предполагает, что достаточно интеллектуальная система станет естественным образом отбрасывать свою первоначальную цель ради «правильной» цели. Трудно понять, зачем рациональный агент станет это делать. Более того, изначально предполагается, что где-то в мире присутствует «правильная» цель; это должна быть цель, общая и для питающейся железом бактерии, и для человека, и для всех остальных биологических видов, что трудно представить.

Самая явная критика тезиса об ортогональности Бострома исходит от признанного робототехника Родни Брукса, считающего, что программа не может быть «достаточно умной, чтобы найти способы отвратить человеческое общество от достижения целей, поставленных перед ней человечеством, не понимая, каким образом это создало проблемы для тех же самых людей» [230] Аргумент, что достаточно интеллектуальная машина не может не преследовать цели человека: Rodney Brooks, «The seven deadly sins of AI predictions», MIT Technology Review , October 6, 2017. . К сожалению, подобное поведение программы не просто возможно, но на самом деле неизбежно в свете того, как Брукс ставит вопрос. Брукс предполагает, что оптимальный план «достижения целей, поставленных перед машиной человечеством» вызывает проблемы для человечества. Отсюда следует, что эти проблемы отражают нечто ценное для человечества, что было упущено в целях, поставленных им перед системой. Оптимальный план, осуществляемый машиной, вполне может обернуться проблемами для людей, и машина прекрасно может об этом знать. Однако по определению машина не распознает эти проблемы как «проблемные». Ее это не касается.

Стивен Пинкер, судя по всему, соглашается с тезисом об ортогональности Бострома, когда пишет, что «интеллектуальность есть способность применять новые средства для достижения цели; цели являются внешними для интеллекта как такового» [231] Pinker, «Thinking does not imply subjugating». . В то же время он считает неприемлемым, если «ИИ будет столь блистательным, что освоит трансмутацию элементов и перестройку нейронной структуры мозга, и в то же время настолько идиотским, что станет сеять хаос, грубо ошибаясь из-за банального недопонимания» [232] Оптимистический взгляд, что проблемы безопасности ИИ неизбежно решатся в нашу пользу: Steven Pinker, «Tech prophecy». . Он продолжает: «Способность выбирать действие, наиболее подходящее для достижения конфликтующих целей, — это не дополнительная опция, которую инженеры могут позволить себе забыть инсталлировать и протестировать. Это и есть интеллект. Как и способность интерпретировать с учетом контекста намерения пользователя языка». Конечно, «достижение конфликтующих целей» не проблема — это неотъемлемая часть стандартной модели с самого появления теории принятия решений. Проблемой является то, что конфликтующими целями, о которых машина осведомлена, заботы человека не исчерпываются. Более того, в рамках стандартной модели отсутствует утверждение, что машина обязана беспокоиться о целях, о которых ей не велели беспокоиться.