Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Второй способ защитить системы репутаций — это сделать распространение ложной информации затратным. Так, некоторые сайты с рейтингами отелей принимают обзоры, посвященные тому или иному отелю, только от людей, забронировавших и оплативших номер в этом отеле через сайт, тогда как другие принимают отклики от кого угодно. Неудивительно, что рейтинги на сайтах первой группы намного более объективны, поскольку предполагают определенные затраты (оплату ненужного номера в отеле) на недобросовестные отзывы [153] О коррупции в сфере онлайновых отзывов об отелях: Dina Mayzlin, Yaniv Dover, and Judith Chevalier, «Promotional reviews: An empirical investigation of online review manipulation», American Economic Review 104 (2014): 2421–55. . Правовые санкции являются намного более спорными: никто не хочет появления Министерства правды, и немецкий Закон о сетевой защите устанавливает наказания только для платформ — распространителей контента, а не для человека, разместившего фейковые новости. Вместе с тем многие страны и многие штаты США запретили запись телефонных разговоров без разрешения, так что можно было бы, по крайней мере, ввести санкции за создание подложных аудио и видеозаписей реальных людей.

Наконец, в нашу пользу играют еще два факта. Во-первых, почти никто не испытывает осознанного желания слушать ложь, зная, что ему лгут. (Это не значит, что родители всегда допытываются, насколько искренни похвалы уму и красоте их детей; они, однако, менее склонны искать подобные подтверждения со стороны заведомых неисправимых лжецов.) Из этого следует, что люди любых политических убеждений имеют стимул принять инструменты, помогающие им отличать правду от лжи. Во-вторых, никто не хочет прослыть лжецом, и меньше всех — новостные источники. Отсюда провайдеры информации — во всяком случае, дорожащие своей репутацией — имеют стимул вступать в профессиональные объединения и подписывать кодексы корпоративной этики, поощряющие говорить правду. В свою очередь, платформы социальных сетей могут предложить пользователям возможность просматривать контент только из проверенных источников, подписавших эти кодексы и согласившихся на независимую проверку истинности фактов.

ООН определяет автономные системы оружия летального действия (Lethal Autonomous Weapons Systems — сокращенно AWS, поскольку LAWS звучит двусмысленно {8} 8 Англ. laws — «законы». — Прим. пер. ) как системы, оснащенные оружием, способные «находить, выбирать и уничтожать живые цели без участия человека». AWS небезосновательно считаются «третьей революцией в области вооружений» после пороха и ядерного оружия.

Возможно, вы читали об AWS в СМИ. Обычно статьи называют такие системы роботами-убийцами и сопровождаются кадрами из «Терминатора». Это вводит в заблуждение по меньшей мере в двух отношениях: во-первых, при этом предполагается, что автономное оружие представляет собой угрозу, поскольку может захватить власть над миром и уничтожить человечество; во-вторых, подразумевается, что автономное оружие будет человекоподобным, обладающим сознанием и агрессивным.

Совместными усилиями СМИ, пишущие на эту тему, придали ей научно-фантастический характер. Даже правительство Германии поддалось общим настроениям и выступило с заявлением [154] Заявление Германии на заседании группы правительственных экспертов, Конвенция о конкретных видах обычного оружия: Женева, 10 апреля 2018 г. о том, что «наличие способности учиться и обретать самосознание представляет собой обязательный атрибут для того, чтобы отдельные функции или оружейные системы можно было определить как автономные». (В этом столько же смысла, сколько в утверждении, что ракета не ракета, если не летит быстрее скорости света.) В действительности автономное оружие будет иметь ту же степень автономии, что и шахматная программа, которая получает задачу выиграть партию и сама решает, куда двигать собственные фигуры и какие фигуры противника брать.

AWS не научная фантастика. Они уже существуют. Вероятно, самым очевидным примером является израильский разведывательно-ударный беспилотник Harop (рис. 7, слева), барражирующий аппарат с размахом крыльев 3 м и боевой частью весом 27 кг. Он до шести часов ведет в заданном географическом районе поиск любой цели, отвечающей указанному критерию, и уничтожает ее. Критерием может быть «излучает сигнал, напоминающий работу РЛС обнаружения воздушных целей» или «похоже на танк».

Если объединить последние достижения в области разработки миниатюрных квадрокоптеров, миниатюрных камер, чипов машинного зрения, алгоритмов навигации и методов обнаружения и слежения за людьми, можно в весьма недалеком будущем создать оружие для поражения личного состава, подобное Slaughterbot [155] Фильм «Скотобойня», снятый на средства Института будущего жизни, вышел в ноябре 2017 г. и доступен по ссылке: youtube.com/watch?v=9CO6M2HsoIA . , изображенному на рис. 7 (справа). Такому оружию можно было бы дать задачу атаковать любого человека, отвечающего определенным визуальным критериям (возраст, пол, униформа, цвет кожи и т. д.), или даже конкретного человека, основываясь на распознавании лиц. Я слышал, что Министерство обороны Швейцарии уже создало и протестировало настоящий Slaughterbot и установило, что, как и ожидалось, технология реализуема и работает как летальное оружие.

С 2014 г. в Женеве на уровне дипломатов ведутся дискуссии, которые могут привести к запрету AWS. В то же время некоторые из основных участников этих дискуссий (США, Китай, Россия, а также, в некоторой степени, Израиль и Великобритания) уже вступили в опасное соревнование по разработке автономного оружия. В США, например, программа «Совместные операции в закрытых зонах» (Collaborative Operations in Denied Environments, CODE) пытается реализовать автономное функционирование, обеспечив возможность работы таких дронов, которые не могут постоянно контактировать с командным пунктом. Дроны будут «охотиться стаями, как волки», утверждает руководитель программы [156] Отчет об одном из самых серьезных ляпов в отношениях военных ведомств с общественностью: Dan Lamothe, «Pentagon agency wants drones to hunt in packs, like wolves», The Washington Post , January 23, 2015. . В 2016 г. ВВС США продемонстрировали развертывание в полете 103 микродронов Perdix с тремя истребителями F/A-18. Согласно сделанному заявлению, «Perdix не являются запрограммированными синхронизированными индивидуальными элементами, это коллективный организм, имеющий один распределенный „мозг“, занимающийся принятием решений и их взаимным приспособлением, как пчелиный рой» [157] Объявление о полномасштабном эксперименте с роем дронов: US Department of Defense, «Department of Defense announces successful micro-drone demonstration», news release no. NR-008–17, January 9, 2017. .