Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Наконец, методы контроля могут быть прямыми, если правительство способно ввести системы поощрения и наказания на основе поведения. Такая система рассматривает людей как алгоритмы обучения с подкреплением, натаскивая их на оптимизацию достижения цели, установленной го сударством. Государству, особенно построенному на принципе вертикальной социальной инженерии, соблазнительно рассуждать следующим образом: для каждого было бы лучше вести себя хорошо, быть патриотом и способствовать прогрессу своей страны; технология позволяет измерять поведение индивида, его взгляды и вклад в общее дело; следовательно, все только выиграют, если создать технологичную систему мониторинга и контроля, основанную на поощрении и наказании.

Подобная логическая цепочка имеет ряд недостатков. Во-первых, она игнорирует психологические издержки жизни в системе навязанного мониторинга и принуждения. Внешняя гармония, прикрывающая внутреннюю несчастность, едва ли является идеалом. Любое проявление доброты перестает быть проявлением доброты и становится действием по максимизации личного рейтинга и соответственно воспринимается адресатом. Что еще хуже, сама идея проявления альтруизма постепенно превращается в смутное воспоминание о чем-то, что когда-то было нормой. При такой системе, навещая друга в больнице, совершаешь поступок, имеющий не больше нравственного значения и эмоциональной ценности, чем если останавливаешься на красный свет. Во-вторых, эта схема подвержена той же ошибке, что и стандартная модель ИИ, а именно, она предполагает, что заявленная цель действительно является истинной, глубинной целью. Неизбежно восторжествует закон Гудхарта, и индивиды начнут оптимизировать официальные параметры внешнего поведения, как университеты научились оптимизировать «объективные» показатели «качества» из систем университетских рейтингов, вместо того чтобы повышать настоящее (но неизмеряемое) качество [150] Закон Гудхарта: «Когда повышение определенного показателя превращается в самоцель, он перестает быть хорошим показателем». Например, некогда существовала корреляция между профессиональным уровнем преподавателей и их зарплатой, и в рейтингах колледжей US News & World Report качество преподавательского коллектива оценивалось по заработной плате в нем. Это привело к гонке повышения зарплат, что было выгодно преподавателям, но не студентам, которым пришлось ее оплачивать. Гонка меняет уровень заработной платы преподавателей вне зависимости от их уровня, и корреляция начинает исчезать. . Наконец, введение единого параметра добродетельности упускает из виду то, что успешное общество может объединять очень разных индивидов, каждый из которых вносит в него уникальный вклад.

Одним из великих завоеваний цивилизации является постепенное повышение физической безопасности для человека. Большинство из нас могут рассчитывать на спокойную жизнь, не омраченную постоянным страхом ранения и смерти. Статья 3 Всеобщей декларации прав человека 1948 г. гласит: «Каждый имеет право на жизнь, свободу и личную безопасность».

Я полагаю, что каждый также должен иметь право на психическую безопасность — право жить в преимущественно правдивом информационном окружении. Люди склонны верить своим глазам и ушам. Мы даем родственникам, друзьям, учителям и (некоторым) средствам медиа привилегию сообщать нам то, что они считают правдой. Хотя мы не ждем правды от продавцов подержанных машин и политиков, бывает трудно поверить, что можно настолько беспардонно врать. Следовательно, мы крайне уязвимы для технологии дезинформации.

Право на психическую безопасность не предусматривается Всеобщей декларацией. Статьи 18 и 19 утверждают право «свободы мысли» и «свободы мнений и высказываний». Разумеется, мысли и мнения человека отчасти формируются его информационным окружением, которое, в свою очередь, подпадает под действие статьи 19 о «праве… распространять информацию и идеи любыми средствами и независимо от государственных границ». Итак, кто угодно, находящийся где угодно в мире, имеет право сообщать вам ложную информацию. Здесь и коренится проблема: демократические страны, особенно Соединенные Штаты, по большей части не желают — или конституционно не имеют права — препятствовать распространению ложной информации на общественно значимые темы из обоснованных опасений государственного контроля слова. Вместо того чтобы стоять на том, что нет свободы мысли без доступа к истинной информации, демократии держатся наивной веры, будто истина в конце концов восторжествует. Так истина остается без защиты. Германия является исключением; недавно она приняла Закон о сетевой защите, требующий от платформ распространения контента удалять запрещенные ксенофобские высказывания и фейковые новости, который, однако, подвергается серьезной критике как нереализуемый и недемократичный [151] Статья с описанием попыток контроля общественного дискурса в Германии: Bernhard Rohleder, «Germany set out to delete hate speech online. Instead, it made things worse», WorldPost , February 20, 2018. .

Таким образом, на сегодняшний день мы можем ожидать сохранения угрозы нашей психической безопасности, защищаемой, главным образом, коммерческими и волонтерскими силами. Это в том числе сайты проверки фактов, например factcheck.orgи snopes.com, но, разумеется, как грибы после дождя растут другие сайты «проверки фактов», где истина объявляется ложью, а ложь истиной.

Крупнейшие информационные службы, скажем, Google и Facebook, испытывают в Европе и Соединенных Штатах колоссальное давление «что-нибудь с этим сделать». Они экспериментируют с возможностями помечать или дисквалифицировать ложный контент — силами как ИИ, так и сортировщиков-людей — и направлять пользователей к проверенным источникам, противодействуя дезинформации. В конечном счете все подобные меры опираются на круговые системы репутации, а именно, источникам доверяют, потому что пользующиеся доверием источники называют их заслуживающими доверия. При достаточном количестве ложной информации эти системы репутаций могут дать сбой: источники, действительно заслуживающие доверия, могут его лишиться, и наоборот, что и наблюдается сегодня в большинстве медиаисточников, в том числе CNN и Fox News. Авив Овадья, специалист по технологиям, ведущий борьбу с дезинформацией, называет это явление «инфопокалипсис — катастрофическое обрушение рынка идей» [152] Об «инфопокалипсисе»: Aviv Ovadya, «What’s worse than fake news? The distortion of reality itself», WorldPost , February 22, 2018. .

Одним из способов обезопасить системы репутаций является внедрение источников, максимально близких к реальной ситуации. Единственный факт, безусловно, истинный , обесценивает любое количество источников, надежных лишь отчасти, если они распространяют информацию, противоречащую этому факту. Во многих странах нотариусы выступают источниками проверенных фактов, поддерживающими истинную правовую и наследственную информацию; они обычно являются незаинтересованной третьей стороной в любой сделке и получают лицензию правительства или профессиональных объединений. (В лондонском Сити Почтенное сообщество писцов — Worshipful Company of Scriveners — выполняет эту функцию с 1373 г., что свидетельствует о том, что определенная стабильность неотделима от роли глашатая истины.) Если для сайтов по проверке фактов утвердят стандарты, профессиональные квалификации и процедуры лицензирования, это будет способствовать сохранению валидности информационных потоков, от которых мы зависим. Такие организации, как W3C Credible Web group и Credibility Coalition, ставят целью разработку технологических методов и методов краудсорсинга по оценке провайдеров информации, что в дальнейшем позволит пользователям отфильтровывать ненадежные источники.