Джулия Шоу - Психология зла. Почему человек выбирает темную сторону

Чтобы изучить это, они собрали и проанализировали «1000 твитов от уникальных пользователей, которые ссылались на действия или личность Тай». И обнаружили два типа реакций. Первая: Тай как жертва ситуации, «как отражение негативного аспекта человеческого поведения». Этот взгляд выражался в твитах вроде:

«Ребенка воспитывают всей деревней». Но если эта деревня — Twitter, он вырастает в грубого, расистского, обкуренного тролля. Узнаёте?

С чего бы @Microsoft извиняться за #TayTweets? Они лишь поднесли зеркало к людям, показав, что те считают увлекательным или смешным. Предрассудкам учатся.

Поймите, что ИИ Twitter-бота отражает общество, в котором мы живем, — и оно не слишком-то прекрасно.

Ученые утверждают, что это очеловечивающий взгляд на Тай. Она рассматривается как жертва, как личность, с которой общество плохо обращалось. Но была и другая реакция: Тай как угроза. Эта точка зрения отражала страх, который сопутствует новым технологиям:

Вот почему ИИ представляет собой угрозу. ИИ будет подражать человеческим слабостям...

Проблема #TayTweets, вообще-то, очень страшная. Журналисты говорят, что это @Microsoft ее «сделал».

Похоже, трилогия о Терминаторе — скорее неизбежность, чем вымысел. #TayTweets #Taymayhem

По мнению специалистов, «вместо того чтобы рассматривать Тай как жертву злых пользователей, эти комментарии представляли Тай как. омерзительное чудовище, предвестницу мрачного будущего человечества, социально-технологического сотрудничества и коммуникаций “человек — машина”». Она словно стала главой в романе-антиутопии и подтвердила убеждение многих людей, что, если это и есть ИИ, мы все обречены.

Почему возникло такое расхождение, почему люди видят Тай настолько по-разному? Авторы полагают, что это связано с «симбиотической субъектностью». Суть в том, что мы автоматически применяем к технологиям социальные правила и взаимодействуем с чат-ботами и роботами, как если бы они были живыми людьми. Отчасти так происходит потому, что ИИ представляется нам «черным ящиком». Когда мы взаимодействуем с ИИ, большинство из нас не знает, как работают его алгоритмы и на что он запрограммирован. Возможно, чтобы справиться с этой неопределенностью и неестественной ситуацией, мы проецируем на технологии человеческие качества, чувства и желания. Мы говорим о «личности» бота и действиях, которые он предпринимает.

И, как и в случае с людьми, это значит, что, когда что-то идет не так, мы можем присваивать роботам ярлыки «жертвы» и «преступника». Но ведь они не принимают решений! Или принимают?

На самом деле революция ботов началась в 1966 году, когда Джозеф Вейценбаум создал бота по имени Элиза. Элиза была запрограммирована как типичный роджерианский [114] Карл Рэнсом Роджерс (1902-1987) — американский психолог, психотерапевт. Один из крупнейших представителей гуманистической психологии и клиент-центрированного подхода. — Прим. ред. психотерапевт того времени: она постоянно задавала открытые вопросы [115] Weizenbaum, J. Computer Power and Human Reason: From Judgment to Calculation. San Francisco, CA: W. H. Freeman, 1976. . Базовое устройство Элизы было крайне успешным, она извлекала из людей огромное количество информации. Некоторые даже утверждали, что им больше нравится говорить с ней, чем с настоящим человеком. Оказывается, мы очень любим, когда нас слушают, и, хотя Элиза не могла пройти тест Тьюринга (убедить, что она действительно человек), людям было приятно с ней общаться.

Метод Элизы заложен в основу многих современных ботов. Но было понятно, что, хотя Элиза могла следовать простому набору правил, она не принимала решения, как человек. Она не была психотерапевтом и определенно не представляла угрозы для общества.

Вскоре после появления Элизы психиатр Кеннет Колби создал Пэрри. Пэрри стал полной противоположностью Элизы: автор запрограммировал его на грубые и оскорбительные комментарии [116] Neff & Nagy. ‘Automation, algorithms, and politics’. . Он смоделировал бота по образу паранойяльного человека, который часто неверно интерпретирует поведение других. Общение с ним было разочаровывающим и неприятным. В то время как Элиза достигла успеха благодаря своей кротости, Пэрри понравился людям, потому что был странным. Они оба выходили за грани обыденных ситуаций.

И вот тогда началось безумие. В 1972 году Пэрри встретил Элизу: произошла первая публичная беседа двух ботов. Вот как все прошло:

ЭЛИЗА: Добрый вечер.

ЭЛИЗА: Поделись со мной своими проблемами. Прошу, заканчивай фразу точкой или знаком вопроса.

ПЭРРИ: Порой люди меня бесят.

ЭЛИЗА: Не уверена, что полностью тебя поняла.

ПЭРРИ: Ты могла бы быть повнимательнее.

ЭЛИЗА: Полагаю, это ты должен быть более внимательным.

ПЭРРИ: Ты имеешь право на свое мнение [117] Garber, M. ‘When PARRY met ELIZA: A ridiculous chatbot conversation from 1972’. The Atlantic, June 2014; http://www.theatlantic.com/technology/archive/2014/06/when-parry-met-eliza-a-ridiculous-chatbot-conversation-from-1972/372428/. .

Если вы сейчас не подумали «ух ты», тогда вы не до конца сознаете глубокий смысл ситуации. Эти две автономные сущности, созданные человеком, говорят друг с другом, и каждый решает, что ответить. Вдруг они сойдутся? Сговорятся и рассудят, что люди им не нужны или представляют угрозу их существованию? Вот он, сюжет научно-фантастического фильма-антиутопии.

Серьезно, когда мы даровали ботам способность менять собственные алгоритмы (а именно это программисты часто имеют в виду, когда говорят, что их бот способен учиться), мы породили новое чудовище. Добавьте сюда интернет, полный миллионов вероятных пользователей и практически бесконечной информации, и мы обнаружим деструктивных, подтасовывающих результаты выборов, генерирующих фейковые новости, распространяющих ненависть, совершающих преступления, взламывающих, троллящих онлайн-ботов, с которыми уже знакомы.

И мы возвращаемся к Тай. Из ее истории мы узнаём, что поведение ИИ — это прямой результат его программирования и общения с людьми. ИИ может собирать, усугублять и усиливать человеческие предубеждения. Поэтому нам нужны новые правила, даже законы, чтобы решать, кого считать ответственным. Можем ли мы призвать технологии к ответу? И если да, то как?

Этим вопросом задались ученые Каролина Салге и Николас Беренте [118] de Lima Salge, C. A., & Berente, N. ‘Is that social bot behaving unethically?’ Communications of the ACM, 60 (9) (2017), pp. 29-31. . В 2017 году они предложили нормативную базу для «этики ботов», которая поможет нам определять неэтичные действия ботов из социальных сетей. Авторы объяснили, что «боты в социальных сетях более распространены, чем люди зачастую думают. В Twitter их примерно 23 миллиона, то есть 8,5% от общего числа пользователей, в Facebook — около 140 миллионов, то есть около 1,2-5,5% от общего числа пользователей. Почти 27 миллионов пользователей Instagram (8,2%) предположительно являются ботами». Очевидно, ни одна соцсеть не безопасна. Фальшивые аккаунты есть везде.