Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Ministerium für Staatsicherheit, более известное как Штази, многими считается «одним из самых эффективных и репрессивных ведомств разведки и тайной полиции в истории» [143] Статья в «Википедии» о Штази содержит несколько полезных ссылок на материалы о ее сотрудниках и влиянии на жизнь в Восточной Германии. . Оно копило досье на большинство восточногерманских домохозяйств, прослушивало телефонные разговоры, читало письма и ставило скрытые камеры в жилых домах и отелях. Оно с безжалостной эффективностью выявляло и пресекало деятельность диссидентов, отдавая предпочтение психологическому уничтожению перед тюремным заключением или физическим устранением. Однако такой уровень контроля давался большой ценой: по некоторым оценкам, более четверти взрослых работоспособного возраста являлись информаторами Штази. Архивы Штази оцениваются в 20 млрд страниц [144] Подробности об архивах Штази см. в кн.: Cullen Murphy, God’s Jury: The Inquisition and the Making of the Modern World (Houghton Mifflin Harcourt, 2012). , и задача обработки и использования громадных входящих потоков информации начинала превосходить возможности любой организации.

Неудивительно, что разведывательные органы оценили потенциал использования ИИ в своей работе. Долгие годы они применяли простые формы ИИ-технологии, в том числе распознавание голоса и идентификацию ключевых слов и фраз в устной и письменной речи. ИИ-системы все более способны понимать содержание того, что говорят и делают люди, будь то в ходе отслеживания разговоров, текстов или видеоизображения. В странах, где эта технология будет служить задаче контроля, возникнет такая же ситуация, как если бы к каждому гражданину был приставлен личный соглядатай из Штази, следящий за ним 24 часа в сутки [145] Всесторонний анализ систем слежения на основе ИИ см. в кн.: Jay Stanley, The Dawn of Robot Surveillance (American Civil Liberties Union, 2019). .

Даже в гражданской сфере в относительно демократических странах за людьми ведется все более эффективное наблюдение. Корпорации собирают и продают информацию о наших покупках, пользовании интернетом, социальными сетями и электробытовыми приборами, звонках и текстовых сообщениях, трудовой занятости и здоровье. Наше местоположение можно отследить по мобильному телефону и автомобилю, имеющему выход в интернет. Уличные видеокамеры распознают наши лица. Все эти и многие другие данные можно собрать воедино с помощью интеллектуальных информационных систем и получить весьма полную картину того, что каждый из нас делает, как живет, кого любит и кого не любит и за кого станет голосовать [146] Недавние книги о наблюдении и контроле: Shoshana Zuboff, The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power (PublicAffairs, 2019), Roger McNamee, Zucked: Waking Up to the Facebook Catastrophe (Penguin Press, 2019). . По сравнению с этим Штази выглядят жалкими любителями.

Когда возможности слежки реализованы, следующий шаг — изменить ваше поведение так, как нужно тем, кто использует эту технологию. Одним из методов, довольно грубым, является автоматизированное персонализированное вымогательство. Система, понимающая, что вы делаете, — прослушивающая, читающая или наблюдающая за вами визуально — легко заметит, что вы заняты чем-то таким, чего не следовало бы делать. После этого она вступит с вами в переписку и попытается вытрясти из вас как можно больше денег (или принудить вас к определенному действию, если целью является политический контроль или шпионаж). Получение денег служит идеальным вознаграждающим сигналом, подкреплением для обучающегося алгоритма, и следует полагать, что ИИ-системы будут быстро наращивать возможность идентифицировать ненадлежащее поведение и извлекать из него выгоду. Еще в 2015 г. в разговоре со специалистом по компьютерной безопасности я предположил, что скоро можно будет создать автоматизированные системы вымогательства на основе обучения с подкреплением. Он рассмеялся и ответил, что это уже произошло. Первый бот-вымогатель, о котором много говорили, — «Делайла», обнаруженный в 2016 г. [147] Новостная статья о боте-шантажисте: Avivah Litan, «Meet Delilah — the first insider threat Trojan», Gartner Blog Network, July 14, 2016.

Более тонкий способ менять поведение людей состоит в изменении их информационного окружения, так, чтобы они приобрели другие убеждения и принимали иные решения. Рекламодатели делают это не одно столетие, меняя покупательское поведение индивидов. Пропаганда как средство войны и политического господства имеет еще более долгую историю.

Что же изменилось? Во-первых, поскольку ИИ-системы способны отслеживать онлайновые читательские привычки, предпочтения и вероятный уровень знаний индивида, они могут подгонять конкретные сообщения под эти особенности, максимизируя воздействие на человека и сводя к минимуму риск, что информации не поверят. Во-вторых, система ИИ знает, читает ли индивид сообщение, сколько времени на это тратит и переходит ли по дополнительным ссылкам внутри сообщения. Затем она использует эти сигналы как моментальную обратную связь об успехе или неудаче своей попытки повлиять на каждого индивида. Таким образом, она быстро становится более эффективной в решении своей задачи. Именно так алгоритмы выбора контента в социальных сетях исподволь повлияли на политические убеждения.

Еще одно современное достижение, сочетание ИИ, компьютерной графики и синтеза речи, позволяет создавать дипфейки (наглое вранье) — реалистичный видео- и аудиоконтент, в котором практически любой человек может говорить и делать практически все что угодно. Технология требует немногим больше, чем словесное описание желаемого события, так что воспользоваться ею сможет практически любой. Сделанное на мобильный телефон видео с сенатором Х, принимающим взятку торговца кокаином Y, продвигающего сомнительное начинание Z? Легко! Подобный контент может создавать непоколебимую веру в никогда не происходившие события [148] О низкотехнологичном проявлении уязвимости людей к неверной информации в случаях, когда доверчивые индивиды начинают верить, что происходит уничтожение мира ударами метеоритов, см.: Derren Brown: Apocalypse, «Part One», directed by Simon Dinsell, 2012, youtube.com/watch?v=o_CUrMJOxqs . . Кроме того, ИИ-системы способны продуцировать миллионы ложных идентичностей — так называемые армии ботов, ежедневно выдающих миллиарды комментариев, твитов и рекомендаций, и попытки обычных людей обмениваться надежной информацией утонут в этом потоке. Такие онлайновые торговые площадки, как eBay, Taobao и Amazon, обеспечивающие доверие между покупателями и продавцами при помощи систем репутаций [149] Экономический анализ систем репутации и связанных с ними злоупотреблений дается в статье: Steven Tadelis, «Reputation and feedback systems in online platform markets», Annual Review of Economics 8 (2016): 321–40. , постоянно воюют с армиями ботов, создаваемыми для разрушения этих рынков.