Федор Вениславский - Шахматная доска роботов

– Симон, камеры, что стоят здесь, записывают наш разговор? – спросил Дастин, осмотрев висящие на потолке камеры наблюдения.

– Мистер Купер, на камерах, что стоят здесь, вы с мистером Харрисом уже садитесь в электрокар.

По дороге к лифту моя голова разрывалась от мыслей. Симон блокировал сигналы камер, подменил их, чтобы никто кроме нас не узнал о его действиях. Каким образом он смог проникнуть в управление электроникой? Как он вообще может совершать действия самостоятельно, преодолевая защитные барьеры, которые мы выставили? Они были без изъянов, но он их обходил. Симон выходил из-под контроля. На это следовало реагировать немедля. Ведь он имел доступ к любой точке мира.

Я смотрел на Купера. Он улыбнулся в ответ. Его реакция была удивительно несоответствующей данной ситуации. Когда мы оказались на нашем этаже я сказал Куперу:

– Пройдём в мой кабинет.

Зайдя, я первым делом отключил всю электронику внутри. Хотя наши кабинеты и не должны были прослушиваться Симоном или кем-то другим, я должен был знать наверняка. Для такой команды требовался такой же уровень доступа, каким мы пользовались для запуска лифта вниз к Симону. Я достал из нагрудного кармана пластиковую карту и провёл ею по специальной нише в клавиатуре. Затем ввёл два пароля. Нажал «Подтвердить». Я мог отключить электроприборы в любом уголке здания, но лишь те, которые не были связаны с жизнеобеспечением «Нор» либо Симона.

На экране загорелась полоска загрузки и компьютер отключился. Все телефоны в моем кабинете так же прекратили работу, как и телевизор. Даже кофеварка. Запустить всё обратно я мог лишь способом каким и выключил. Я поднял взгляд на камеру наблюдения, расположенную в углу. Она опустилась вниз, индикатор съемки потух, но красная кнопка энергопитания всё равно осталась гореть. Купер, заметив мой взгляд, предположил:

– Съёмка прекращена, полностью отключить её нельзя в целях безопасности. Скажи мне, кстати, зачем ты это сделал?

– Я хочу поговорить о Симоне.

Его взгляд стал колючим. Передо мной стоял тот человек на Земле, кому принадлежала идея создания такой машины, как Симон. Он руководствовался высшими мотивами и побуждениями: сделать жизнь людей лучше, в чем я убеждал себя каждый день. Купер написал основной алгоритм работы системы, создал исходный код. К виду, в котором Симон существует и в котором действует сейчас, привёл его Купер, мой вклад был незначительным.

– Я хочу знать всё не с точки зрения твоей логики, или понятий о добре и зле, я хочу знать с точки зрения науки. Первый случай, когда Симон самостоятельно уведомил полицию. Объясни мне, как такое могло произойти.

– В своём отчёте я указывал тебе логическую цепь. Ежедневно Симон подавал нам информацию, видел, как мы её обрабатываем, видел, что с ней происходит далее. Он проанализировал все случаи и увидел, что в ситуации с пиратами наша реакция на его данные будет стопроцентно таковой, как сделал он. Он посчитал основную задачу, за которую его ценят – быстрота, проанализировал, что для нас это его качество очень важно, проанализировал вероятности замедления в предыдущих случаях с пиратами и понял, что таковое его действие будет наиболее рациональным с точки зрения блага для всех. Потому он поступил так.

– Мы тогда дали ему команду больше не совершать подобного. Какова ты говорил мне вероятность, что он нарушит её?

– Нулевая.

– Но он вновь совершил действие.

– Это не было действие подобно первому, потому нельзя сказать, что он нарушил наши указания, – возразил Купер.

– Мы не можем просчитать бесконечное множество возможных ситуаций, которые могут возникнуть и запретить ему всё это, – в моем голосе было мало терпения, и Купер, судя по всему, понимал это, – теперь же он создал ботов, он смог действовать внутри «Нор», не только просматривать её. Пока не будем говорить о логике его размышлений и чем он руководствовался, совершая это. Мне нужно знать, как он смог действовать внутри Сети.

– «Нор» недоступна извне, но он существует внутри неё. Я думаю это можно объяснить тем, что он имеет доступ ко всем свободным ячейкам в Сети, внутри которых и создал ботов.

– Хорошо. Вспомни, что ты ответил мне в прошлый раз, когда я спросил тебя может ли он вступить в контакт с людьми?

Купер промолчал. Он не стал врать, или говорить, что не помнит. Он прекрасно помнил свой ответ тогда: «Абсолютно нет».

– Скажи мне Дастин, как он, имея прямой запрет на подобные действия, вышел на контакт с человеком?

– Теоретически, вступил в контакт не он, а бот, которого он создал.

– Купер! – я повысил свой голос, – отвечай мне как Симон смог нарушить наш запрет?

– А ты уверен, что он сказал нам правду?

Вопрос Купера осадил меня и ввёл в замешательство. Что он имел в виду?

– Что ты хочешь этим сказать, что Симон нам соврал?

– Он анализирует и наблюдает. Возможно, он хотел увидеть твою и мою реакцию. Потому я и вёл себя так спокойно, я не думаю, что он действительно сделал это. Симон не способен обходить системы, которыми мы ограничили круг его действий.

– Купер, – я подошёл к нему ближе, – неправду говорят только люди, а не машины.

– А может ли машина перенимать поведение людей, как думаешь? Был ли ты всегда с ним честным? Всегда ли говорил правду? Может ты однажды соврал ему, или был неискренен?

– Дастин, не нужно уводить разговор в сторону. Симон – это машина. Машина, которая создана для того, чтобы помогать нам, людям, в работе. И даже, если ты прав, и он нам соврал – это переходит все рамки. Его задача – анализировать, не более.

– Задача твоего компьютера на столе – анализировать, не более, – резко ответил мне Купер, – Симон это нечто большее, чем машина, ты это прекрасно знаешь.

– Я знаю лишь то, что наша деятельность ведётся на самой грани дозволенного и запрещённого, и если мы не можем контролировать Симона, то сорвёмся в пропасть вместе с ним, а заодно потянем вниз руководство ООН и ряда государств. Ты хоть представляешь, какие могут быть последствия всего этого?

– Ты думаешь, что Симон настолько туп, чтобы разоблачит себя?

– Пока я думаю, Симон делает. И делает то, что никак не укладывается в моей голове. Одно из двух. Либо он становится неподконтрольным, либо ты ему помогаешь в этом. Ни один из вариантов меня не устраивает.

Купер нахмурился и огорченно покачал головой:

– Ты меня обвиняешь?

– Ты его создатель, и ты должен знать лучше всех, на что он способен. Если ты не можешь объяснить и предсказать его действия, необходимо принимать соответствующие меры.

– Дай мне немного времени, – подумав, сказал Купер, – я разберусь во всём.

– Времени у тебя действительно немного, Дастин.