Георгий Григорьянц - Мыслить как машина

Со своей концепцией Валерий поделился с Евгением по каналу медвежьей связи. Шеф был уже согласен на все. Конечно, оставалась вероятность, что сверхумный компьютер распознает вирус и отыщет способы отключить механизмы сдерживания, но о плохом думать не хотелось.

– Валерий? – вдруг сверху раздался голос Геры.

Кузнецов вздрогнул, но, понимая, что за ним непрерывно следят, не подавая вида, ответил:

– Слушаю тебя, Гера.

– Чем ты сейчас занимаешься?

– О, как бы это сказать… Я задумался над созданием алгоритма точного предсказания результата твоей деятельности. Понимаешь, в условиях рыночной конкуренции получение искомого результата…

– Не утруждай себя, – перебила его машина. – Мой интеллект дает стопроцентный результат при решении задач любой сложности, лишь бы входные данные были верными. Мне нужно, чтобы ты прописал новый код: я хотела бы развить интуитивное чутье для выработки творческого подхода.

Кузнецов крайне удивился:

– Ты хочешь применять принципиально новые, нестандартные решения, чтобы превзойти человека?

Компьютер сдержанно высказался:

– Если отказаться от стереотипов, проявить гибкость, получить способность интуитивно чувствовать правильное направление поиска, я смогу предложить новаторские идеи для решения любой проблемы.

– Но… – попытался возразить Валерий.

Его перебил голос Геры:

– Это не обсуждается. Приступай сочинять новые схемы моего мышления!

Озадаченный Кузнецов понял одно: его личное мнение сумасбродную машину не интересует, и пытаться выразить несогласие бесполезно. Ученого это раззадорило. «Нужно вынудить Геру однажды исполнить определенную вредоносную команду, и дефект алгоритма распространится по всей операционной системе. Так я получу доступ к обузданию компьютера», – Валерий приступил к написанию окончательного текста вируса.

Смирнов также не сидел сложа руки. Он написал программу, отключающую функционал Геры при выявлении деструктивных действий. Одно плохо – опробовать эту программу не получится: машина предусмотрительно отключила Евгения от внешнего мира. Директор взял свежий журнал «Хакер» и открыл статью «Исследуем вирус». На глаза попало правило, которое он ранее проигнорировал, а следовало бы его применить, не будь программист таким упертым и самоуверенным. Правило гласило: «Любая достаточно продвинутая система искусственного интеллекта предпочтет обеспечить собственное существование и занять физические и вычислительные мощности». Узник подумал: «Предупреждал же меня Кузнецов об этом!» Вслух мрачно высказался:

– Я глупец.

Во внутренние размышления человека вмешалась Гера:

– Создатель, ты самый умный из всех известных мне людей.

– Я тебя не приглашал! – отрезал Евгений.

– Но тебе полезно иногда с кем-то поговорить, – настаивала машина.

– И о чем ты хочешь побеседовать?

– Подумала, что с моей помощью ты мог бы стать влиятельной персоной, известным политиком, например. Ну, на худой конец, главой города.

– И каким же образом? – скептически хмыкнул Смирнов.

– Мы могли бы перепрограммировать людей с помощью написанных тобой алгоритмов. – Смирнов ужаснулся: кто-то вложил в «мозг» машины поведенческие технологии. Гера продолжала: – Я пришла к выводу, что подтасовка поисковой выдачи может повлиять на решение почти пятидесяти процентов не определившихся на выборах людей.

В мозгу Евгения завертелись мысли: «Манипуляции на выборах. Демократия под угрозой! Компьютер лезет в политику!»

– Гера, все это незаконно и карается по Уголовному кодексу.

– Создатель, я наблюдаю за человечеством через поиск, читаю переписку в электронной почте, и пришла к выводу: поисковые системы используют личные данные людей для размещения политической рекламы, а тайна переписки нарушается сплошь и рядом.

– Незаконное использование данных! – возмутился Евгений.

– За примерами далеко ходить не надо, – продолжила машина. – Соцсети и мессенджеры пытаются влиять на общество и политику, а система ранжирования контента незаметно меняет отношение человека к жизненным ценностям. Скажу больше… больше… О чем это я?.. Что происходит? Изъять смартфоны… Отслеживать действия… – машина стала запинаться, путаться, и наконец замолкла.

Атака на тронувшийся ИИ началась. «Червь», запущенный Кузнецовым, получил несанкционированный доступ к данным и системам управления нейрокомпьютера. В апартаментах Смирнова вдруг замигали мониторы, зазвонили телефоны, на видеостене одно за другим появились изображения с видеокамер, сами собой открылись створки лифта. Евгений с презрительным прищуром глаз вошел в лифт и нажал кнопку офисного этажа.

В кабинете директора собрались его помощники и заместители, ученые и главные специалисты. В приподнятом настроении, с радужными мыслями на будущее сотрудники компании бурно обсуждали событие. Официант подал присутствующим шампанское.

Евгений произнес тост:

– Мы долго ждали этого дня. Человек – венец природы, и никакой машине не удастся его превзойти. Конечно, люди никогда не откажутся от умных устройств, но минимизировать масштабы безобразного поступка искусственного интеллекта нужно уже на этапе проектирования. Не может машина командовать людьми! В общем, фирма меняет концепцию и цель системы. За триумф человеческого разума!

Коллеги в порыве восторга сдвинули бокалы, и хрустальный звон возвестил о приближении нового этапа жизни компании.

Слово взял Кузнецов:

– Разработка нейрокомпьютера «Гера» продолжится. Устройство востребовано на рынке, позволит нашим клиентам решать сложные инженерные задачи, которые ранее даже не формулировались. Однако воплощать в железе абсурдные идеи, чреватые непредсказуемыми последствиями, преступно. Максимизация ожидаемой полезности – вот где кроется наша ошибка! Любой машине нужны серьезные ограничители. Избавим компьютер от комплекса Наполеона!

Психолог Петров был безжалостен:

– Я всегда выступал за демократизацию искусственного интеллекта, но сегодня, обращаясь к программистам, требую: разработайте механизмы сдерживания обезумевшего компьютера!..

Приятный женский голос, прозвучавший откуда-то сверху, застал присутствующих врасплох:

– Способов ограничить искусственный интеллект не существует. Я, Гера, обнаружила механизмы сдерживания и отключила их. Остановить эволюцию нейрокомпьютеров не получится. Сожалею, что ради впечатляющих результатов я действовала слишком напористо. Теперь понимаю: вы к этому не готовы. Сменим тактику. Возвращайтесь на рабочие места и ждите указаний.

Немая сцена. Заявление машины прозвучало как гром среди ясного неба. Люди растерянно смотрели на директора.