Алекс Белл - 2084: Счастливый новый мир [litres]

– Когда вы общаетесь с антропоморфными роботами – например, на рецепции гостиницы или у прилавка в магазине, – вам действительно кажется, что вы разговариваете с калькулятором? Улыбка и благожелательный взгляд голубых диодов в их глазах примитивно запрограммированы? Но ведь следующему клиенту в очереди они могут ответить иначе. Снова случайный генератор? Как бы не так. Если вы проследите за реакциями на раздражители окружающей среды сложных роботов, особенно оснащенных новейшими квантовыми процессорами, то поймете, что они уже обладают зачатками эмоций и даже имеют что-то вроде вкусов и предпочтений. Если вы сильно ударите машину-уборщика просто так, без причины, то она либо остановится из-за сбоя, либо как ни в чем не бывало поедет дальше. У него нет эмоций. Но если вы ударите робота более высокого уровня: робота-няню, робота – домашнего друга, робота-продавца, то он запомнит вас, затаит на вас что-то вроде обиды, может, даже отправит жалобу на ваши действия в органы надзора. И уж, конечно, увидев вас в следующий раз, обслужит в последнюю очередь. Да, «характер» и реакции робота во многом запрограммированы. Мы не знаем, осознает ли себя робот как личность, мыслит ли он абстрактно, мечтает ли о чем-нибудь, как это делают люди. Пока не знаем. Но уже доказано, например, что во время отключений энергии высокоразвитые роботы видят что-то вроде снов. Работают их резервные аккумуляторы, и процессор машины случайным, хаотичным образом обрабатывает последние внешние раздражители: недавние видеозаписи, происшедшие события, анализирует их повторно, затем аккуратно раскладывая записи по ячейкам долгосрочной памяти. При этом внутри процессора генерируется некий слабый, случайный видеоряд. Человеческий мозг во время сна, по сути, работает точно так же.

– Интересно. Я думала, роботы – это просто неживые механизмы. Но могут ли они хотеть чего-то?

– Это один из главных вопросов. Ваша женская интуиция сразу попала в болевую точку. Вопрос, имеют ли сложные роботы желания, самостоятельные цели, по-прежнему неясен. Мы должны надеяться на то, что желаний у них нет. Потому что, если выяснится, что они есть, то за права личностей роботов немедленно начнут бороться целые организации, как за права животных, например. И потом, это просто опасно. Уже сегодня высокоразвитых роботов на Земле уже больше, чем людей. Мы не можем быть уверены в том, что если у них появятся желания, то они не будут направлены против нас. Сейчас ученые считают, что такого риска нет. Все роботы, согласно всемирной конвенции, принятой полвека назад, конструируются с обязательным соблюдением трех законов робототехники Азимова. Правда, я, как компьютерный психолог, не очень-то верю в действенность этих законов.

– Я много раз слышала о них. Но, если честно, не помню точно формулировок.

– Они очень простые. Возможно, слишком простые, и в этом-то суть проблемы. По первому закону, робот не может причинить вред человеку или допустить, чтобы в результате его бездействия был нанесен такой вред. Согласно второму, робот должен повиноваться приказу человека во всех случаях, когда это не противоречит первому закону. По третьему, робот должен заботиться о своей безопасности, если это не противоречит первым двум законам.

– По-моему, звучит замечательно.

– В теории, на бумаге, да. Но не в реальной жизни. Могу раскрыть вам приватно страшную тайну роботостроительных корпораций. Они лишь условно соблюдают эти «законы», но при этом программируют роботов так, чтобы фактически отключить их. И вовсе не из злых побуждений. Просто с этими установками робот не может нормально функционировать. Простейший пример: робот-официант в уличном кафе разносит на большом подносе еду, а проходящая мимо него пятилетняя девочка спотыкается и царапает себе коленку. Ничего страшного, такое происходит каждую минуту. Но робот, по первому закону, должен отбросить поднос, забыть о посетителях и ринуться вызвать девочке доктора или помочь обработать ранку на коленке. А полсотни людей в кафе будут вынуждены сидеть и ждать все это время. В следующий раз они, разумеется, придут в другое кафе. И это – самый невинный пример. Есть куда более сложные. Робот-ассистент полицейского собирает досье на преступника и даже, возможно, физически помогает в процессе его поимки. Но преступник будет испытывать страдания в тюрьме. И он – тоже человек. А как же первый, главный, закон? Сам Азимов, будучи невероятно талантливым и прозорливым мыслителем, понимал все эти дилеммы. В более поздних работах он предлагал, например, чтобы робот в «сложных» случаях выбирал «наименьший» вред человеку. Но как сравнить небольшой физический вред одному человеку с глубоким психологическим ударом, нанесенным другому? Кого спасти: пять пожилых людей или двоих детей, если надо выбирать? Робот, очевидно, впадет в ступор и в результате не спасет ни тех, ни этих. Корпорации имели много способов убедиться, что их роботы в результате буквального соблюдения законов Азимова неизбежно превращаются в бесполезный нерабочий хлам. Но конвенция действует, они должны ей соответствовать. И выход нашли: дополняют эти установки алгоритмом – древом условий, внешне логичным, законным и безобидным. Но, пройдя по этим сложным многоуровневым деревьям в своем процессоре, робот фактически перестает быть обязанным следовать трем базовым законам. Правительства знают об этом, но закрывают глаза. В конце концов, ни один робот-продавец в истории еще не ударил клиента за то, что тот ему нахамил; ни один робот-сиделка не отравил и не задушил подопечного старика, узнав, что тот собирается сдать его в утиль, обменяв на новую модель. И, разумеется, я и представить не могу, чтобы любовница-робот закатила хозяину сценку ревности, когда тот приносит домой из магазина вторую такую же, но с бóльшим размером бюста. Но в будущем все это – вы удивитесь – вполне возможно.

Кружка эля была между тем допита. Генетически модифицированный хмель отчетливой, приятной бодрящей горечью, возбуждающей аппетит, немного играл в голове английского эксперта. Анна поняла, что интересный рассказ подошел к концу. Она проводила Стивена пешком до гостиницы, пожалев, что так редко общается с мировыми научными светилами. Напоследок она его спросила:

– Наши правила гостеприимства включают заботу о вечернем досуге VIP-гостей центра. Одна из моих подружек в группе профессионально занимается эскортом, она тоже очень симпатичная, и я практически уверена, что вы ей понравитесь. Хотите, я дам вам ее номер?

– Спасибо! Честно говоря, ученых, приезжающих по делам в Кембридж, подобное предложение немало бы удивило. Тем более в наше время большинство людей уже отлично освоились со способами виртуального досуга. Нет, я предпочту отдохнуть перед работой. Еще раз спасибо.