Станислав Лем - Мегабитовая бомба

Мне все это представляется лишь первыми метрами бесконечной дороги в том направлении, которое желательно для создателей искусственного интеллекта — до этого бессильных, потому что над элементарным сенсориумом норнов можно надстроить последующие операционные программы, очень сложные, но более результативные и более похожие на инстинктивные движения. Я не уверен, что случится именно так, но если мои предположения все же сбудутся, то XXI век окажется населен виртуально-фантоматическими тварями, которые сначала будут выполнять простые действия и напоминать, допустим, осу Sphex , которая безошибочно нападает на гусениц и впрыскивает им, живым, свои яйцеклетки, то есть сначала мы будем иметь дело с реализацией инстинктивного насекомоподобного поведения, которое сможет сделать людей-летчиков лишними. Таким образом, без участия человека началась бы эволюция тварей виртуального происхождения, облеченных в материю, но позже результаты этой начальной фазы, в которой то, что виртуально, преобразуется в то, что реально, могли бы иметь дальнейшие последствия, о которых даже страшно подумать.

3

В то время, когда я пишу эти строки, во Франции продолжается забастовка летчиков компании Air France , парализовавшая почти все воздушное движение над страной и сделавшая десятки тысяч людей жертвами спора между профсоюзом пилотов и работодателями. Ясно, что будущие поколения норнов могли бы заменить людей с такими трагическими последствиями для последних, что мы вошли бы в истинный ад безработицы. То, что я написал, звучит, возможно, несколько апокалиптически и вместе с тем фантасмагорично, но следует отметить, что полвека тому назад Норберт Винер в книге «Human use of human beings» предвидел возможность наступления эпохи безработицы, вызванной теми или иными последствиями автоматизации, которые все вместе будут внуками или правнуками кибернетики, чья концепция была заложена самим же Винером.

Эссе написано в июле 1998 г.

Понятием «душа в машине» — the ghost in the machine — некоторые психологи подкрепляют утверждение, что, якобы, человек является существом «двойственным», то есть состоящим из «материи» и «души».

Сознание является не технологической проблемой, так как конструктора не интересует, чувствует ли машина, а только интересует, действует ли она. Таким образом, «технология сознания» может появиться только «мимоходом»: вдруг окажется, что определенный класс кибернетических машин обладает субъективным миром психических переживаний.

Но каким образом можно узнать о наличии сознания в машине? Эта проблема имеет не только абстрактно-философское значение, ибо предположение, что некая машина, отправляемая на лом из-за того, что ее ремонт не окупится, обладает сознанием, превращает наше решение — уничтожить материальный предмет вроде граммофона — в акт уничтожения индивидуальности, осознанного убийства. Граммофон можно оснастить пластинкой и выключателем таким образом, что при попытке сдвинуть его с места он издавал бы крики: «Ах, умоляю, подари мне жизнь!» Как можно отличить такой, без сомнения, бездушный аппарат от мыслящей машины? Только вступая с ней в разговор. Английский математик Аллан Тьюринг (Allan Turing) в своей работе «Может ли машина мыслить?» предложил в качестве решающего критерия, который бы позволил уверенно отличить человека от машины, «игру в имитацию», заключающуюся в том, что мы задаем Кому-то произвольные вопросы и на основании ответов должны сделать вывод, является ли этот Кто-то человеком или машиной. Если мы не сможем отличить машину от человека, следует признать, что машина ведет себя как человек, то есть обладает сознанием.

Со своей стороны, отмечу, что игру можно усложнить. Можно рассмотреть два вида машин. Первый является «обычной» цифровой машиной, которая устроена как человеческий мозг; с ней можно играть в шахматы, разговаривать о книгах, о мире и вообще на любую тему. Если бы мы ее вскрыли, то увидели бы огромное количество соединений, подобно соединениям нейронов в мозгу, кроме этого — блоки памяти и т. д. и т. п.

Второй вид машин совсем другой. Это увеличенный до размеров планеты (или космоса) граммофон. В такой машине хранится огромное количество, например сто триллионов, ответов на всевозможные вопросы. Таким образом, когда мы спрашиваем, машина ничего «не понимает», но форма вопроса, то есть очередность вибраций нашего голоса, приводит в движение передатчик, который запускает пластинку или ленту с записанным ответом. Не будем задумываться о технической стороне дела. Понятно, что такая машина неэкономична, что ее никто не создаст, потому что это невозможно, а главное — неизвестно, зачем ее создавать. Но нас интересует теоретическая сторона. Потому что если заключение о том, имеет ли машина сознание, делается на основе поведения, а не внутреннего строения, не придем ли мы неосмотрительно к выводу, что «космический граммофон» им обладает — и тем самым выскажем нонсенс? (А скорее, неправду.)

Но можно ли запрограммировать все возможные вопросы? В обычной жизни средний человек не отвечает даже на один биллион их. Мы же на всякий случай записали их во много раз больше. Что же делать? Мы должны вести нашу игру, используя достаточно развитую стратегию. Мы задаем машине (то есть Кому-то, потому что не знаем, с кем имеем дело: разговор ведется, например, по телефону) вопрос, любит ли она анекдоты. Машина отвечает: да, она любит хорошие анекдоты. Рассказываем ей анекдот. Машина смеется (то есть смеется голос в трубке). Или этот анекдот был в ней записан и это позволило ей правильно отреагировать, то есть засмеяться, или это в самом деле мыслящая машина (либо человек, этого мы не знаем). Мы какое-то время разговариваем с машиной, а затем неожиданно спрашиваем, помнит ли она рассказанный анекдот. Она должна его помнить, если действительно мыслит. Она ответит «да». Мы попросим, чтобы она повторила его своими словами. Вот это уже очень трудно запрограммировать, потому что таким образом мы вынуждаем конструктора «космограммофона» записать не только отдельные ответы на все возможные вопросы, но и целые последовательности разговоров, которые могут вестись. Это потребует, конечно, памяти, то есть дисков или лент, которые и вся солнечная система не вместит. Предположим, машина не сможет повторить наш анекдот — и тем самым будет разоблачена. Задетый за живое конструктор берется усовершенствовать машину: пристраивает ей такую память, благодаря которой она сможет вкратце повторить сказанное. Но тем самым он сделает первый шаг от машины-граммофона к машине мыслящей. Так как бездушная машина не может распознать идентичность вопросов аналогичного содержания, но сформулированных с незначительными формальными отклонениями, например: «Вчера было хорошо на улице?», «Вчера была прекрасная погода?», «Погожим ли был предыдущий день?» и т. п., то для машины бездушной они будут вопросами разными, а для машины мыслящей — одинаковыми. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок он введет в машину возможности индукции и дедукции, способность ассоциировать, схватывать тождественную «форму» по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая будет просто «обычной» мыслящей машиной.