Марк Ланской - Битые козыри

— Уверен, что такого желания у него не появится.

— А что ему помешает?

— То же, что мешает ДМ лгать и вставлять нам палки в колеса.

— Признайся, Гарри, что мы даже представить себе не можем, каким будет его поведение.

— Почему же, — возразил Лайт, — ведь его способность думать не станет слабее. А правильная мысль не может привести к плохим поступкам. Умные машины просто не могут делать глупости.

— Но ведь он не окажется в безвоздушном пространстве, — упорствовал Милз. — Его будут окружать люди, которые захотят извлечь из него пользу. Ему придется выполнять команды, продиктованные чужой, не всегда правильной мыслью. Вспомни, как используются роботы на военных заводах. Хотя у них запрограммирована неспособность причинить вред отдельному человеку, это не мешает им выпускать оружие, смертоносное для миллионов. А мэшин-мен, во всем похожий на человека…

— У роботов куцый интеллект и скудная информация, — перебил его Лайт, — они дальше своего носа не видят. Да я вовсе не собираюсь выпускать мэшин-мена в продажу.

— Ты выпустишь джина из бутылки.

Торн, внимательно прислушивающийся к спору, испугался, как бы Лайт не отказался от своего замысла, и решительно вмешался:

— Бобби! Ты зря пугаешь нас мнимыми опасностями. Перед нами интереснейшая техническая проблема. В конце концов и этот кусок кожи — новый шаг к витагену. Может быть, таким же шагом к чеву станет и мэшин-мен.

— Ты прав, Дэви, — согласился Лайт. — Взаимодействие интеллектуальной начинки со свободой передвижения может помочь нам… Приступай к его программированию, а витагеном займется Боб.

Между ними часто вспыхивали разногласия, но после того как Лайт принимал решение, спор прекращался. На этот раз Милз не успокоился.

— В таком случае, — твердо сказал он, — я настаиваю, чтобы интеллект мэшин-мена подчинялся какой-то генеральной установке, цели, называйте как хотите, — но без этого мы родим монстра.

— Это само собой разумеется, — откликнулся Лайт. — И принцип, который будет заложен в основу программы, совершенно ясен.

— Пусть делает то, что считает разумным, — предложил Торн.

— А какой критерий разумности? — спросил Милз.

— Сформулируем так, — сказал Лайт. — Мэшин-мен считает разумным только такой поступок, который не может принести вреда людям. Все его поведение определяется стремлением устранить вред и принести пользу. Он будет делать только то, что давным-давно названо «добром».

— Ты полагаешь, что ему будут доступны такие понятия, как добро и зло?

— А почему бы нет? Переведенные на язык разума, этические категории не столь сложны. Они были путаными, пока опирались на субъективные оценки. «Добро» могло быть личным, семейным, групповым, классовым. А для других оно оборачивалось злом. У мэшин-мена не будет никаких личных пристрастий. Умный и широко эрудированный, он сможет заглядывать вперед и оценивать возможные последствия своих действий. Хорошо мыслящее существо не может быть безнравственным.

— Опять ты увлекаешься, Гарри, и принимаешь невозможное за достижимое, — с грустью сказал Милз. — Мало ли ты знаешь умных злодеев?

— Это другое… С людьми все сложнее. Поэтому мы и мучаемся с чевом… В мозг мэшин-мена достаточно ввести дополнительные блоки комплексного анализа, самоконтроля и дальнего прогнозирования… Дэви! Я набросаю схему, и ты проследишь за программой.

— Сделаю, шеф! — шутливо отрапортовал Торн.

На этом дискуссия закончилась. Чужие идеи всегда щедро оплодотворяли конструкторский гений Торна. То, что другим только мерещилось, получало у него четкие контуры реального проекта. Он нагрузил выделенную ему ДМ задачами высшей сложности, сам, неделями не выходя из лаборатории, просматривал и отвергал предлагаемые варианты, снова и снова заставлял компоновать, казалось бы, несовместимые элементы. Но постепенно ноги и руки мэшин-мена приобрели все степени свободы, глаза и уши — вполне человеческий вид. Общая компоновка деталей удачно имитировала фигуру мужчины, недавно вышедшего из юношеского возраста. Так же успешно справились с внешним покровом. Черепную коробку мэшин-мена и пластмассовый костяк туловища обтянули эрзац-витагеном, а голову покрыли волосами, причесанными по моде.

Ко дню рождения Лайта Торн подготовил сюрприз. Они втроем сидели за «столом раздумья», задрав на него ноги, и обменивались спонтанно возникавшими мыслями, когда дверь открылась и порог переступил молодой человек, скромно одетый в рабочий костюм. Свежий цвет лица, подвижные руки, осмысленные глаза, плавная походка — все создавало иллюзию неподдельной жизни.

— Что скажешь, Дик? — спросил его Торн.

— Я хочу поздравить мистера Лайта с днем его рождения и пригласить вас к праздничному столу.

Все рассмеялись, а Лайт даже похлопал в ладоши. Потом они долго экзаменовали Дика, проверяли его память, эрудицию, испытывали на прочность отдельные блоки его интеллекта. Особенно дотошно допрашивал его Милз.

— Можешь ты сказать нам, в чем смысл твоего существования?

— Тот же, что у всего сущего, — быть, — не раздумывая ответил мэшин-мен.

— Но есть у тебя цель бытия?

— Разумеется. Помогать людям в их борьбе за существование — и отдельному человеку, и всему человечеству в целом.

— Как ты себе представляешь эту помощь?

— Делать то, с чем человек еще не всегда справляется: накапливать максимум информации, анализировать ее, прогнозировать результаты деятельности людей, предостерегать их от ошибок…

— А если какой-нибудь человек, которому ты будешь служить, прикажет тебе убить другого человека, как ты поступишь?

— Я не смогу выполнить это приказание, потому что оно неразумно.

— Но если на твоего хозяина нападет убийца и спасти его, кроме тебя, будет некому…

— Я сделаю все, чтобы помешать убийце. И не только тому, кто покушается на моего хозяина, — вся кому убийце.

— Существенное дополнение, — с удовлетворением отметил Лайт.

— Но, мешая ему, ты можешь невзначай лишить его жизни и сам превратишься в убийцу, — продолжал допытываться Милз.

— Возможно. Значит, другого выхода у меня не будет. Моим критерием разумности предусмотрено, что в тех случаях, когда зло нельзя предотвратить другими средствами, я должен помочь добру уничтожением источника зла.

Милз внимательно вслушивался и вдумывался в каждое слово мэшин-мена.

— Ты доволен? — спросил у него Лайт.

— Он сделан очень добротно, Гарри… И тем более я сожалею, что ты подал такую сумасбродную мысль. Этот Дик должен быть первым и последним.

— Ты шутишь, — с тревогой в голосе сказал Торн.

— Ничуть. Я повторяю — первым и последним! Мы всегда делаем больше, чем думаем. Сначала сделаем, потом думаем, как справиться с ужасными последствиями, и снова делаем непродуманное.