Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Возможность изменения типичных предпочтений человеческой популяции за историческое время естественным образом сосредоточивает внимание на вопросе о том, как формируются предпочтения каждого индивида, и о пластичности предпочтений взрослых людей. На наши предпочтения, безусловно, влияет наш организм: так, мы обычно избегаем боли, голода и жажды. Строение нашего тела, однако, остается практически неизменным, следовательно, остальные предпочтения должны зависеть от влияния культуры и семьи. Весьма вероятно, что дети постоянно осуществляют, в той или иной форме, процесс обучения с подкреплением на основе обратной связи, учась обнаруживать предпочтения родителей и сверстников, чтобы объяснить их поведение. Затем дети усваивают эти предпочтения как собственные. Даже у взрослых предпочтения меняются под влиянием СМИ, властей, друзей, работодателей и собственного непосредственного опыта. Возможно, например, что многие сторонники Третьего рейха начинали не с гедонистического садизма и жажды расовой чистоты.

Изменение предпочтений вызывает трудность для теорий рациональности, на уровне как индивида, так и социума. Например, предложенный Харсаньи принцип автономии предпочтений, как представляется, гласит, что каждый имеет право на свои предпочтения, какими бы они ни были, и никто не смеет на них посягать. Однако предпочтения ни в коей мере не являются неприкасаемыми, они затрагиваются и модифицируются постоянно по мере накопления опыта. Машины не могут не модифицировать человеческие предпочтения, поскольку машины модифицируют человеческий опыт.

Важно, хотя иногда трудно, отделять изменение предпочтений от обновления, которое происходит, когда изначально пребывающая в неопределенности Гарриет больше узнает о собственных предпочтениях посредством опыта. Обновление предпочтений способно заполнять разрывы в самопознании и, возможно, добавлять определенности предпочтениям, которые прежде были туманными и произвольными. Напротив, изменение предпочтений — это не процесс, являющийся следствием получения дополнительных данных о том, в чем предпочтения индивида в действительности заключаются. В крайнем проявлении можно представить его как следствие приема наркотиков и даже операции на мозге — оно происходит вследствие процессов, которые мы даже можем не понимать и не принимать.

Изменение предпочтений сопряжено с проблемами по крайней мере по двум причинам. Во-первых, непонятно, каких предпочтений следует придерживаться при принятии решения — тех, что Гарриет имеет на момент, когда оно принимается, или тех, что будут у нее во время и после событий, вытекающих из этого решения. Например, в биоэтике это очень актуальная дилемма, потому что предпочтения людей в отношении медицинского вмешательства и паллиативного ухода меняются, подчас резко, когда они серьезно заболевают [326]. При условии, что эти изменения не являются следствием снижения интеллекта, какие из этих предпочтений следует признать? [327]

Во-вторых, не просматривается очевидного рационального основания для изменения (в отличие от обновления) предпочтений индивида. Если Гарриет предпочитает А, а не Б, но имеет возможность выбрать опыт, который, как ей известно, может заставить ее отдать предпочтение Б перед А, с какой стати она станет это делать? Ведь в результате она станет выбирать Б, чего сейчас не хочет!

Вопрос об изменении предпочтений в драматической форме представлен в легенде об Одиссее и сиренах. Сирены, мифологические существа, своим пением завлекали мореплавателей на гибельные скалы средиземноморского острова. Одиссей, желая услышать их пение, приказал спутникам закупорить свои уши воском, а его привязать к мачте и ни при каких обстоятельствах не поддаваться, если он станет умолять освободить его. Очевидно, он хотел, чтобы спутники уважали его изначальные предпочтения, а не те, которые появятся у него, когда сирены его зачаруют. Эта легенда дала название книге норвежского философа Юна Эльстера [328], посвященной слабости воли и другим вызовам теоретическому представлению о рациональности.

Зачем интеллектуальным машинам сознательно браться за модификацию предпочтений людей? Ответ прост: чтобы наши предпочтения было проще удовлетворить. Мы видели это в главе 1 на примере оптимизации переходов по ссылкам в социальных сетях. Один из возможных ответов: машины должны считать человеческие предпочтения неприкосновенными — ничто, изменяющее их, не должно быть разрешено. К сожалению, это совершенно невозможно. Само существование такого подспорья, как полезный робот, скорее всего, окажет влияние на предпочтения человека.

Возможное решение состоит в том, чтобы машины изучали человеческие метапредпочтения, а именно — предпочтения в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми. Обратите внимание на использование формулировки «процессы изменения предпочтений», а не «изменения предпочтений». Дело в том, что стремление индивида изменить свои предпочтения в определенном направлении часто равносильно тому, чтобы уже иметь такие предпочтения. В действительности в таких случаях предметом желания является способность лучше реализовывать предпочтения. Например, если Гарриет говорит: «Я хочу, чтобы мои предпочтения изменились так, чтобы я не хотела пирожное так сильно, как сейчас», — значит, она уже предпочитает будущее с меньшим потреблением сладкого; чего она хочет на самом деле, это изменить свою когнитивную архитектуру так, чтобы ее поведение больше соответствовало этому предпочтению.

Под «предпочтениями в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми» я подразумеваю, например, представление о том, что человек может сформировать «лучшие» предпочтения, поездив по миру и познакомившись с большим разнообразием культур, влившись в круг увлеченных интеллектуалов, всесторонне изучающих широкий спектр нравственных традиций, или потратив какое-то время на уединенные размышления о смысле жизни. Я бы назвал эти процессы нейтральными в отношении предпочтений , поскольку не приходится ожидать, что такой процесс изменит предпочтения человека в каком-либо выделенном направлении, хотя и признаю, что некоторые могут решительно со мной не согласиться.

Конечно, не все процессы, нейтральные в отношении предпочтений, желательны. Например, вряд ли кто-нибудь рассчитывает, что разовьет «лучшие» предпочтения путем битья по своей голове. Прохождение приемлемого процесса изменения предпочтений аналогично проведению эксперимента с целью узнать, как функционирует мир: никогда заранее не знаешь, чем обернется эксперимент, но все-таки ждешь, что новое состояние ума принесет тебе пользу.