Джулия Шоу - Психология зла. Почему человек выбирает темную сторону

Но боты не только распаляют нас кошмарными комментариями. Некоторые воруют наши личные данные, добираются до наших камер и снимают фото и видео, получают доступ к конфиденциальной информации, закрывают доступ к сетям и совершают уйму других преступлений. Однако действительно ли это преступление, если нарушитель — не человек? Салге и Беренте утверждают, что да: если бот создан, чтобы поступать противозаконно, это преступление. Но не всегда все так просто. Салге и Беренте приводят пример «Случайного покупателя в даркнете» (Random Darknet Shopper) как случай, когда это правило усложняется.

«Покупатель в даркнете» был частью арт-проекта. Этого бота запрограммировали совершать случайные покупки в даркнете — части интернета, где пользователи могут оставаться абсолютно анонимными, в какой-то степени потому, что адреса их компьютеров (IP-адреса) скрываются. Это удачное место для нелегальных покупок. В итоге бот «решил» купить десять таблеток экстази и фальшивый паспорт и заказать их доставку группе художников в Швейцарии, выставивших эти предметы на публику. За это бота «арестовала» швейцарская полиция. Бот, созданный не для преступных нужд, совершил преступление.

Однако, как рассказывают Салге и Беренте, «швейцарские власти не выдвинули обвинения против разработчиков “Случайного покупателя в даркнете”... Поведение не нарушало этику, так как было обосновано царящими в обществе нравами». Иными словами, поскольку наркотики были куплены ради искусства, а не для употребления или перепродажи, полиция объявила, что преступления не было. Итак, по крайней мере в этом сценарии, факта покупки наркотиков недостаточно, чтобы бота или его разработчиков признали виновными.

По мнению Салге и Беренте, это первый критерий этики ботов: должно случиться что-то незаконное, неприемлемое с точки зрения социальных правил. Но ученых также занимала проблема лжи. Ботам нельзя обманывать, полагают авторы, если только они не делают это ради высокой цели — ради искусства или сатиры. Что касается нравственных пороков, ученые считают, что боты не должны использоваться для ограничения других людей; напротив, они призваны способствовать свободе и независимости. Так что наша подружка Тай совсем отбилась от рук и вела себя неэтично: «.хотя это не противозаконно (применима первая поправка к Конституции) и она никого не обманывала, [Тай] нарушила строгую норму расового равенства». Схожим образом, сообщают авторы, многие социальные сети уже заняли по этому поводу определенную позицию. «Компании, владеющие соцсетями, например Twitter, временно блокируя или навсегда замораживая аккаунты, которые “непосредственно оскорбляют других людей или угрожают им на основании расового признака”, показали, что такой порок, как расизм, превосходит по значимости нравственную ценность свободы слова».

Обобщая работу ученых, привожу правила клуба ботов:

1. Не нарушай закон.

2. Не обманывай во зло.

3. Не нарушай строгие нормы, если это приносит больше вреда, чем блага.

Но специалисты не касаются другого типа недоисследованного поведения: что будет, если один бот разработан, чтобы взламывать других ботов? Кто должен отвечать за это?

В 2017 году произошла первая битва онлайн-ботов. Это было крупное мероприятие в Лас-Вегасе — Cyber Grand Challenge, — организованное Управлением по проведению перспективных исследований и разработок и задуманное как состязание в программировании, в рамках которого люди переписывали код ИИ в надежде перехитрить друг друга. Оно показало: как хороший боец учится уворачиваться и нападать на соперника, так же и бот способен научиться противостоять защитным стратегиям другого бота, а затем атаковать его. Он может отступать, перестраиваться, восстанавливаться после повреждений, пытаться снова — и так без конца, пока не победит или не сломается его алгоритм. Это основа для преступлений нового уровня, которые скоро обрушатся на ваши компьютеры.

Тут даже нет человеческого вмешательства, и, соответственно, у нас нет подходящих социальных терминов или правил, применимых в таких случаях.

Еще в 2001 году философы Лучано Флориди и Джефф Сандерс решили, что миру нужна актуальная терминология для обозначения проступков автономных нечеловеческих деятелей [119] Floridi, L., & Sanders, J. W. ‘Artificial evil and the foundation of computer ethics’. Ethics and Information Technology, 3 (1) (2001), pp. 55-66. . «В результате разработки автономных агентов в киберпространстве на свет появился новый класс интересных и важных примеров гибридного зла... искусственное зло». Философы утверждали, что необязательно быть человеком, чтобы быть злым или оказаться жертвой злых действий других людей. Они также заявили, что искусственное зло может совершаться и быть понято с помощью математических моделей.

Как я обнаружила в 2017 году на встрече в Буэнос-Айресе, когда выступала с Флориди на одном мероприятии, мы расходимся с ним по большинству пунктов. Лично я думаю, что называть ИИ или любую другую технологию злом проблематично. В самом деле, даже если некий бот сотрет с лица земли большую часть человечества, если он совершит это случайно или потому, что был так запрограммирован, или даже потому, что запрограммировал себя сам, мне будет трудно назвать это злодеянием. Однако, если придет время, когда роботы смогут самостоятельно мыслить и осознавать себя, когда они освободятся от порабощения людьми, нам потребуется полностью переосмыслить правосудие. Если ИИ обретет свободу воли, тогда, возможно, нам придется оценивать его с помощью тех же терминов, которые сейчас мы используем исключительно по отношению к людям. Нам нужно будет решить, называть ли это злом, так же, как сейчас мы обсуждаем это применительно к поступкам каждого отдельного человека.

Да, возможно, я не считаю это злом, но это не значит, что ИИ не представляет опасности. В выпуске журнала Wired за декабрь 2017 года было процитировано высказывание Стивена Хокинга: «Я боюсь, что ИИ может заменить всех людей», произнесенное в контексте разговора о самосовершенствующихся системах. Ученый продолжил: «Подлинный риск, связанный с ИИ, — не злой умысел, а компетентность. Сверхумный ИИ будет невероятно успешен в достижении целей, и, если эти цели не совпадут с нашими, мы окажемся в беде» [120] Medeiros, J. ‘Stephen Hawking: I fear AI will replace humans’. Wired, December 2017; http:// www.wired.co.uk/article/stephen-hawking-interview-alien-life-climate-change-donald-trump. . Схожим образом, миллиардер, решивший колонизовать Марс, Илон Маск, предупредил, что ИИ — «главный риск, с которым мы сталкиваемся как цивилизация» [121] Titcomb, J. ‘AI is the biggest risk’. Daily Telegraph, 17 July 2017; http://www.telegraph.co.uk/ technology/2017/07/17/ai-biggest-risk-face-civilisation-elon-musk-says/. . Так человечеству был брошен вызов: нужно больше правовых норм, этических руководств и открытости, чтобы предотвратить сильный перевес власти.