Митио Каку - Будущее разума

Вообще-то это простейшая возможная цель, но никто не знает, как запрограммировать даже такую простую задачу. Такая программа, к примеру, должна была бы пресекать любую попытку отключить Интернет путем вынимания вилки из розетки. В настоящее время Интернет совершенно не способен распознать угрозу своему существованию, не говоря уже о том, чтобы спланировать действия по предотвращению беды. (Так, Интернет, способный распознавать угрозу своему существованию, должен был бы иметь возможность заранее узнавать о попытках отключить питание, разорвать линии связи, уничтожить серверы, разрушить оптико-волоконные и спутниковые каналы связи и т.п. Далее, у Интернета, способного защитить себя от подобных атак, должна быть возможность принять контрмеры при возникновении подобной угрозы; затем его следовало бы промоделировать в будущее. Ни один компьютер на земле сегодня не способен даже на малую долю перечисленных действий.)

Иными словами, не исключено, что когда-нибудь у нас появится возможность создавать сознающих себя роботов и даже сознающий себя Интернет, но произойдет это еще очень не скоро, возможно, в конце века.

Но предположим на мгновение, что день этот наступил и сознающие себя роботы уже среди нас. Если цели такого робота совместимы с нашими собственными целями, то этот тип искусственного интеллекта не создаст для нас никаких проблем. Но что произойдет, если цели окажутся разными? Существует опасение, что люди могут проиграть в интеллекте сознательным роботам, и тогда нам грозит порабощение. Благодаря способности лучше нас моделировать будущее роботы смогли бы перебрать множество сценариев и найти наилучший способ свергнуть человечество.

Один из способов не допустить такого развития событий — сделать так, чтобы у роботов были только благие цели. Как мы уже видели, одного только моделирования будущего недостаточно. Это моделирование должно служить конечной цели. Если цель робота — всего лишь самосохранение, он будет защищаться от любой попытки вытащить вилку из розетки, что может стать источником серьезных неприятностей для человечества.

Захватят ли роботы власть?

Почти во всех научно-фантастических романах роботы становятся опасными для человечества из-за их стремления захватить власть. Слово «робот», кстати говоря, произошло от чешского слова «работник» и появилось впервые в 1920 г. в пьесе Карела Чапека «Р. У. Р.» («Россумские Универсальные Роботы»), где ученые создали новую расу механических существ, внешне не отличимых от человека. Вскоре тысячи этих роботов выполняли за человека всю грязную и опасную работу. Однако люди очень плохо обращались с роботами, и однажды те восстали и уничтожили человеческую расу. Роботы захватили Землю, но у них был один недостаток: они не размножались. Правда, в конце пьесы два робота полюбили друг друга, так что не исключено, что в результате на свет появилась новая ветвь «человечества».

Более реалистичный сценарий присутствует в фильме «Терминатор», где военные создали суперкомпьютерную сеть Skynet для управления всем ядерным арсеналом США. Однажды эта сеть «проснулась» и осознала себя. Военные решили выключить Skynet, но тут выяснилось, что в ее программе есть дефект: суперсеть запрограммирована на самозащиту, а единственный способ для нее защитить себя — устранить угрозу, т.е. человечество. Skynet начинает ядерную войну, в результате которой от человечества остается лишь жалкая кучка изгоев и бунтовщиков, занятая безнадежными сражениями с безжалостными машинами.

Разумеется, роботы могут стать угрозой. Нынешний беспилотный летательный аппарат Predator может поражать цели с замечательной точностью, но управляет им человек с джойстиком, находящийся за тысячи километров. По данным New York Times, приказы на применение оружия исходят непосредственно от президента США. Однако в будущем Predator может быть снабжен системой распознавания лиц, и тогда ему, возможно, будет разрешено стрелять при вероятности правильной идентификации цели не менее 99%. В этом случае он сможет автоматически, без вмешательства человека, стрелять в любого, кто подходит под описание.

А теперь представьте, что в компьютере такого беспилотника произойдет сбой и система распознавания лиц станет работать неправильно. Тогда этот аппарат превратится в дикого робота с разрешением убивать любого, кто попадет в его поле зрения. Или еще хуже, представьте целую флотилию таких роботов, управляемую из единого центра. Стоит в центральном компьютере полететь одному транзистору, и вся флотилия может впасть в безумие.

Более тонкая проблема возникает, когда роботы работают нормально, без сбоев, а в их программе присутствует крохотная, но фатальная ошибка. Самосохранение — одна из важнейших целей робота. Другая его цель — помогать людям. Проблема возникает, когда эти две цели противоречат друг другу.

В фильме «Я, робот» компьютерная система решает, что человечество идет к саморазрушению и гибели — достаточно посмотреть на бесконечные войны людей и их жестокость, — и единственный способ защитить род человеческий — это взять управление на себя и установить благодетельную диктатуру машины. Здесь противоречие возникает не между двумя целями, а внутри одной, притом совершенно нереалистичной. И убийственные роботы не сломались: они логически пришли к выводу, что единственный способ сохранить человечество — взять на себя управление обществом.

Одно из возможных решений этой проблемы состоит в создании иерархии целей. К примеру, желание помочь людям должно перевешивать стремление к самосохранению. Эта тема исследовалась, в частности, в фильме «2001». Компьютерная система HAL9000 представляла собой разумную машину, способную свободно беседовать с людьми. Однако приказы, отдаваемые компьютеру, противоречили один другому и не могли быть одновременно выполнены. Попытавшись сделать невозможное, компьютер, что называется, «съехал с катушек»; он сошел с ума, и единственным способом выполнить противоречивые команды несовершенных людей стало устранение этих самых людей.

Не исключено, что наилучшим решением этой проблемы было бы создание нового закона робототехники, в котором говорилось бы, что робот не может причинить вред человеку, даже если в его предыдущих командах есть противоречия. Робот должен быть запрограммирован не обращать внимания на противоречия низкого уровня в командах; главное — всегда выполнять основной закон. Но и такая система может оказаться несовершенной, и это в лучшем случае. (К примеру, если главная цель роботов — защищать людей и эта цель превыше всех других целей, то все будет зависеть от того, как роботы определят слово «защищать». Их механическое определение этого слова может сильно отличаться от нашего.)