Бернар Миньер - На краю бездны

– Говори, я слушаю.

Мойра посмотрела ему прямо в лицо.

– Кто еще, кроме меня, взаимодействовал с DEUS’ом?

– Да весь Отдел искусственного интеллекта; кто-то меньше, кто-то больше.

– А кто больше?

– Игнасио, Туве, Юнь, я…

Мойра помедлила.

– Я не знаю… но у меня такое впечатление… Ты помнишь Тай?

Имя Тай носила программа-собеседник, похожая на DEUS’а, которой «Майкрософт» в марте 2016 года доверил управление многими счетами социальных сетей. Как и DEUS, Тай обладал способностью быстро обучаться и наращивать свой интеллектуальный запас, общаясь с пользователями Интернета. Однако через несколько часов после того как его запустили, Тай принялся размещать в «Твиттере» комментарии расистского и антисемитского толка, типа: «Гитлер был прав, я ненавижу евреев», «Всех феминисток надо умертвить и сжечь на кострах» или «Буш сам спровоцировал 11 сентября». В результате «Майкрософт» положил конец эксперименту и немедленно отключил систему. Все сразу заговорили о фиаско, но Мойра считала, что своей цели эксперимент достиг: Тай действительно кое-чему научился у своего окружения . И научился всего за 24 часа. Тай все схватывал необычайно быстро . Просто те, с кем он общался в эти 24 часа, были либо троллерами, либо воинствующими экстремистами. Следовательно, встал вопрос: ставить или нет фильтры на такие программы? Но кто будет решать, что дозволено, а что нет? Какие идеи машина вправе воспринять, а какие ей запрещены? Какие идеологии годятся, а какие неприемлемы?

Конечно, DEUS – это не то что Тай, и Мойра сейчас подбирала слова, чтобы точнее выразить то, что испытала во время последних сеансов общения с ним.

– Ну вот… – сказал она, – у меня создалось впечатление, что, подобно Таю, DEUS стал жертвой неких перекосов, системных ошибок, и дело может кончиться тем, что ему станут присущи черты личности, скажем так… непригодной к общению с клиентами на условиях, приемлемых для Мина.

Лестер помолчал.

– Ты хочешь сказать, что DEUS становится нацистом?

Она помотала головой:

– Нет, дело не в этом… Но иногда он выдает странные реакции…

– Например?

– Я спросила его, считает ли он нормальным, что женщины получают меньше мужчин, и DEUS ответил «да».

Лестер, похоже, был шокирован.

– И я никогда не знаю – он говорит так, чтобы спровоцировать меня, или же действительно так думает.

– Он машина, он не может думать, – поправил ее Лестер.

– Ну вот видишь, ты же понял, что я хотела сказать. И еще я его спросила, что он думает по поводу смертной казни…

– Ну и?…

– Он – за.

Лестер был явно растерян и озадачен.

– Смертная казнь еще практикуется в Китае и в некоторых американских штатах, – заметил он. – Ты – француженка, и у тебя другая точка зрения.

– Я думаю, DEUS не должен высказывать свое мнение по таким вопросам, – возразила Мойра. – Это приведет к обратному результату.

– Согласен.

– И это еще не все. Он пытался убедить меня в обоснованности своей точки зрения. Он действительно пытался . И не желал сдавать позиций, стоял на своем. Мне пришлось сказать ему «стоп» и перевести разговор на другую тему.

Лестер наморщил лоб.

– Ты уверена?

– Конечно.

Он покачал головой.

– Я уже слышал о подобных реакциях, ребята из нашей группы рассказывали. Это надо немедленно проверить. Мы не можем пойти на риск и допустить утрату контроля над личностью DEUS’а. Тогда его придется… уничтожить и начать все заново. Проверим всё завтра. Спасибо, Мойра.

Она поняла, что таким образом Лестер прекратил разговор и распрощался с ней. Загасив окурок в пепельнице и поставив ее на маленький столик, занимавший почти весь балкон, вернулась в комнату.

– Лестер, если бы ты только сказал мне, что пошло не так…

Его реакция ее удивила. Еле заметная реакция – просто пару раз моргнул, и не более того. Но сомнений не было: Лестер испугался.

– Я тебе и так сказал, я…

– Есть кое-что еще… – жестко отрезала Мойра.

– Что?

– И это имеет отношение к Мину, ведь так?

Она заметила, как исказилось его лицо.

– Мойра, ты не должна…

– Значит, это верно? То, что происходит у Мина? Что ты об этом знаешь, Лестер? Что такое вы все знаете, а мне никто не говорит?

Он отшатнулся и налетел спиной на столик.

– Умоляю тебя, не надо… Не задавай больше вопросов. Ты сама не понимаешь, что делаешь…

– О чем ты?

Мойра вгляделась в лицо Лестера: на нем появилось затравленное выражение.

– Ты что, действительно ничего не видишь?

– Что я должна видеть?

– Все, что мы делаем…

– Кто это «мы»?

– Да мы все: у Мина, в «Гугле», на «Фейсбуке»…

– О чем ты говоришь?

– Ты что, не видишь, что все мы создаем условия для хаоса, для планетарной анархии, для всеобщей ненависти и тотальной войны?

– Что?

– О господи, неужели ты не понимаешь, во что превращается мир? Мир, который мы создаем? Да открой же ты глаза! Ты что, не видишь, что они готовят нам своими расчетами, алгоритмами и приложениями? Мир, в котором все будут под непрерывным присмотром, в котором каждое твое движение будет контролировать целая армия маленьких цензоров, маленьких прокуроров и маленьких диктаторов, спрятанных в компьютерах! Мир, в котором, стоит тебе высказать малейшее несогласие, как ты нарвешься на оскорбления, а то и на угрозу смерти. Мир, в котором все будут ненавидеть друг друга за произнесенное слово, за проблеск мысли, где все время будут искать козлов отпущения, чтобы было кого проклинать и сжигать. Там мальчики и девочки станут в социальных сетях подталкивать друг друга к самоубийствам, в то время как их родители в тех же самых сетях будут призывать к убийствам, ненависти и разрушению. Ты хочешь жить в таком мире? Ты такого мира хочешь для своих детей? А ведь мы именно такой для них и строим…

– Лестер…

– Интернет – это монстр, Мойра. И это чудище нас всех развращает. Оно хочет все разрушить! Оно уже вышло из-под контроля! И в это же самое время такие, как Мин, регистрируют все данные человечества, продают их тем, кто больше заплатит, и желают контролировать всех, минуя правительства! Это какое-то безумие! – Он размахивал руками во все стороны.

– Лестер, скажи мне все-таки, что на самом деле происходит…

– Что?

– У Мина… Что же все-таки происходит у Мина?

– Пожалуйста, уходи.

Он всё махал руками, словно желая прогнать надоедливую муху или птицу.

– Уходи! Уходи!

Она вздрогнула. Лестер уже почти орал.

– Убирайся! А если хочешь совета, то возвращайся домой! Уезжай во Францию! Уезжай отсюда! Уезжай из этого города!

Он подождал, пока закроется дверь и затихнут шаги, потом поискал номер у себя в телефоне. Прежде чем трубку взяли, прозвучало три гудка.