Норберт Винер - Корпорация «Бог и голем»

Даже здесь окончательную катастрофу удается предотвратить лишь посредством deus ex machina [23] Бога из машины (лат.), то есть с привлечением дополнительного фактора. . Уильям У. Джейкобс, английский писатель начала XX века, довел этот принцип до очевидного и трагичного логического конца в повести «Обезьянья лапка», классическом образце «литературы ужасов».

Английская рабочая семья, о которой идет речь, ужинает на кухне. Потом сын уходит на фабрику, а старики-родители слушают рассказы гостя, старшего сержанта, возвратившегося со службы в Индии. Сержант рассуждает об индийской магии и показывает хозяевам высушенную обезьянью лапку; по его словам, это талисман, зачарованный индийским факиром на исполнение трех желаний каждого из трех последовательных владельцев. Мол, так факир хотел показать, что судьба повелевает человеком.

Сержант добавляет, что не знает первых двух желаний первого владельца талисмана, но знает, что его последним желанием была смерть. Сам он второй владелец зачарованного предмета, но его опыт слишком страшен, чтобы об этом рассказывать. Он бросает лапку в огонь, но хозяин не дает той сгореть и, игнорируя предостережения сержанта, желает получить двести фунтов стерлингов.

Вскоре раздается стук в дверь. Входит очень представительный господин из той компании, в которой работает сын хозяев. Настолько мягко, насколько способен, он сообщает, что их сын погиб в результате несчастного случая на производстве. Компания не признает себя ответственной за случившееся, но выражает свое сочувствие и предлагает пособие в размере двухсот фунтов стерлингов.

Старики вне себя от горя; по предложению матери они просят талисман вернуть им сына. К тому времени снаружи успело стемнеть, пала ночь, ветреная и непроглядная. В дверь снова стучат. Родители каким-то образом понимают, что это их сын, но не во плоти. История заканчивается третьим желанием — чтобы призрак удалился.

Основной темой всех этих историй служит опасность магии. По всей видимости, эта опасность объясняется тем, что магические действия реализуются в высшей степени буквально; если магия вообще способна даровать что-либо, она дарует именно то, что просишь, а не то, что подразумевал или что на самом деле хотел попросить. Если просишь двести фунтов стерлингов и не уточняешь, что деньги ценой жизни твоего сына тебе не нужны, ты получишь свои двести фунтов — а уж выживет твой сын или умрет, остается лишь догадываться.

Магия автоматизации, в особенности такая магия автоматизации, которая опирается на самообучение устройств, выглядит столь же буквальной. Если играешь в игру по определенным правилам и настраиваешь машину играть на победу, результат будет достигнут (если его возможно достичь в принципе), но машина не будет обращать ни малейшего внимания на любые соображения, помимо соблюдения правил, ведущих к победе. В военной игре с некоторым конвенциональным условием победы к этой победе станут стремиться любой ценой, даже за счет истребления собственных сил, если только необходимость выживания не сформулирована недвусмысленно в определении победы, которое задается машине.

Это не просто невинный словесный парадокс. Я совершенно точно не смогу найти доводов, чтобы опровергнуть предположение о том, будто Россия и США, поодиночке или вместе, изучают возможность применения машин, а именно обучающихся машин, для определения момента, когда лучше нажать кнопку запуска атомной бомбы, этого ultima ratio [24] Последнего довода ( лат.). современного мира.

Многие годы все армии на свете играли в военные игры, и все эти игры отставали от своих эпох. Кто-то сказал, что на каждой войне толковый полководец воюет так, как воевали в последней войне, а дурной — как в предпоследней [25] Это выражение стало употребляться в англоязычной культуре после Первой мировой войны; оно бытует во множестве форм («солдаты» вместо «полководцев» и «генералов», разделение на «хороших» и «дурных генералов» и т. д.). Считается, что первым эту фразу изрек Наполеон — в формулировке: «Генералы всегда готовятся к прошедшей войне»; в англоязычную среду эту формулировку ввел У. Черчилль, а в дальнейшем она распространилась в разнообразных вариантах. . Это означает, что способы ведения войн неизменно отстают от событий реальной обстановки.

Это было верно всегда, пускай в периоды, которые изобиловали войнами, непременно находилось какое-то число умудренных схватками воинов, которые вели бои в условиях, изменявшихся сравнительно медленно. Такие опытные воины могут считаться единственными военными экспертами в полном смысле этого словосочетания. В настоящее время не существует экспертов по ядерной войне: нет людей, обладающих опытом участия в конфликте, где обе стороны располагают атомным оружием и используют это оружие. Разрушение наших городов в ядерной войне, деморализация населения, голод и болезни, побочные воздействия (число жертв которых с немалой вероятностью будет намного превосходить число жертв от взрывов и последующего заражения) — обо всем этом известно лишь предположительно.

Данное обстоятельство позволяет тем, кто прогнозирует малое число жертв побочных воздействий и рассуждает о больших шансах на выживание народов после катастрофы нового типа, гордо рядиться в патриотические одежды. Но если война ведет к полному истреблению, если обычные военные действия лишены всякого смысла, значит, армия и флот утратили былое назначение, а бедным, преданным службе генералам и адмиралам суждено остаться без работы. У компаний по производству ракет не сохранится прежний идеальный рынок, где все товары предназначены для однократного использования и потому не конкурируют с продукцией, которую только предстоит изготовить. Духовенство лишится того энтузиазма, того восторга, которые всегда сопутствуют крестовым походам. Если коротко, когда имеется военная игра, предусматривающая такое развитие событий, найдется много тех, кто забудет о возможных последствиях, станет требовать свои двести фунтов стерлингов и не спохватится уточнить, что сын должен остаться в живых.

Всегда возможно просить о чем-то, отличном от нашего истинного желания, а потому такая возможность представляется чрезвычайно серьезной в тех случаях, когда процесс, которым мы добиваемся исполнения желаний, является косвенным, а степень, в которой наши желания осуществляются, не ясна до самого конца. Обычно мы осознаем свои желания — в той мере, в какой они вообще осознаются — через процесс обратной связи, посредством которого мы сравниваем степень достижения промежуточных целей с нашими предвкушениями. Здесь обратная связь проходит через нас, и мы способны отступить, пока не стало слишком поздно. Если механизм обратной связи встроить в машину, действия которой не поддаются контролю до получения конечного результата, вероятность катастрофы чрезвычайно возрастает. Мне категорически не хотелось бы участвовать в первом испытании автомобиля, управляемого фотоэлектрическим устройством обратной связи, не будь в нем какой-то рукоятки, при помощи которой я мог бы перехватить управление, если замечу, что автомобиль грозит врезаться в дерево.