Стиг Ларссон - Девушка, которая застряла в паутине

— Франс?

— Да.

— Парадоксом.

— В каком отношении?

— Во всех возможных отношениях. Но, пожалуй, прежде всего потому, что он усиленно работал над тем, что волновало его больше всего остального. Возможно, приблизительно, как Оппенгеймер в Лос-Аламосе. Франс занимался тем, что, как он полагал, могло стать нашей погибелью.

— Я плохо понимаю.

— Франс хотел воссоздать биологическую эволюцию на цифровом уровне. Он работал над самообучающимися алгоритмами, которые путем проб и ошибок могут усовершенствовать сами себя. Он способствовал также развитию так называемых квантовых компьютеров, с которыми работают «Гугл», «Солифон» и АНБ. Его целью было создать AGI, Artificial General Intelligence [47] Сильный искусственный интеллект ( англ. ). .

— А что это такое?

— Нечто столь же умное, как человек, но в то же время обладающее быстротой и точностью компьютера во всех дисциплинах механики. Подобное творение дало бы нам колоссальные преимущества во всех областях науки.

— Наверняка.

— Исследования в этой области чрезвычайно обширны, и хотя большинство прямо не говорит о стремлении достичь AGI, конкуренция нас к этому подталкивает. Никто не может позволить себе не создавать максимально умные прикладные программы или сдерживать развитие этой области. Подумайте только, что нами уже создано на данный момент. Подумайте, например, о том, что имелось в вашем телефоне пять лет назад — и что имеется сегодня.

— Да.

— Раньше, до того, как он стал так скрытен, Франс прикидывал, что мы сможем достичь AGI в ближайшие тридцать-сорок лет, и это звучит глобально. Но лично я думаю, не проявлял ли он излишнюю осторожность. Мощность компьютеров удваивается каждые восемнадцать месяцев, и нашему мозгу не уловить, что означает такое экспоненциальное развитие. Знаете, это немного напоминает зернышко риса на шахматной доске. Вы кладете одно зернышко на первую клеточку, два — на вторую, четыре — на третью, восемь — на четвертую…

— И вскоре зернышки риса заполоняют весь мир.

— Темпы прироста только увеличиваются и в конце концов выходят из-под нашего контроля. Самое интересное, однако, не когда мы достигнем AGI, а что произойдет потом. Тут существует много сценариев, в зависимости от того, каким путем мы туда доберемся. Но мы точно будем пользоваться программами, которые обновляют и улучшают нас самих, и при этом нельзя забывать, что у нас появится новое представление о времени.

— Что вы имеете в виду?

— Что мы выйдем за человеческие ограничения. Нас забросит в новый порядок, где механизмы обновляют себя круглые сутки. Всего через несколько дней после достижения AGI мы получим ASI.

— А это что такое?

— Artificial Superintelligence [48] Искусственный суперинтеллект ( англ. ). , нечто более интеллектуальное, чем мы. Дальше все пойдет быстрее и быстрее. Компьютеры начнут улучшаться в нарастающем темпе, возможно, с коэффициентом десять, — и станут в сто, в тысячу, в десять тысяч раз умнее нас; и что случится тогда?

— Скажите.

— Вот именно. Сам по себе интеллект непредсказуем. Мы не знаем, куда нас заведет человеческий интеллект. И еще меньше знаем о том, что произойдет с суперинтеллектом.

— В худшем случае мы станем не больше интересны для компьютера, чем белые мыши, — вставил Микаэль, подумав о том, что написал Лисбет.

— В худшем случае? Девяносто процентов нашей ДНК одинаковы с мышами, и мы считаемся примерно в сто раз умнее, в сто раз, не больше. Здесь же мы стоим перед чем-то совершенно новым, не имеющим, согласно математическим моделям, подобных ограничений и, возможно, способным стать в миллионы раз интеллектуальнее. Вы можете себе это представить?

— Я пытаюсь, — осторожно улыбаясь, ответил Микаэль.

— Я хочу сказать вот что, — продолжала Фарах Шариф. — Как, по-вашему, почувствует себя компьютер, очнувшись и обнаружив, что он взят в плен и контролируется такими примитивными тварями, как мы? Почему он должен терпеть такую ситуацию? Зачем ему вообще проявлять к нам повышенное уважение или, тем более, позволять нам копаться в его внутренностях, чтобы остановить процесс? Мы рискуем оказаться перед интеллектуальным взрывом, технологической сингулярностью, как назвал это Вернор Виндж [49] Вернор Стеффан Виндж (р. 1944) — американский писатель-фантаст. . Все, что произойдет после этого, находится за пределами нашего горизонта событий.

— Значит, в тот миг, когда мы создадим суперинтеллект, мы утратим контроль над всем?

— Есть риск, что все наши знания о нашем мире окажутся недействительными, и это станет концом человеческого существования.

— Вы шутите?

— Я знаю, что для не посвященного в данную проблематику человека это звучит идиотизмом. Но вопрос этот в высшей степени реален. Сегодня тысячи людей по всему миру работают над тем, чтобы воспрепятствовать подобному развитию. Многие проявляют оптимизм или даже впадают в утопию. Говорят о friendly ASI , о дружелюбных суперинтеллектах, которые с самого начала программируются так, что будут нам помогать. Представляют себе нечто в духе описанного Азимовым в книге «Я, Робот», встроенные законы, запрещающие механизмам причинять нам вред. Изобретатель и писатель Рэй Курцвейл [50] Рэймонд Курцвейл (р. 1948) — известный американский изобретатель и футуролог. видит перед собой чудесный мир, где мы с помощью нанотехнологий объединимся с компьютерами в единое целое и разделим с ними будущее. Но, разумеется, никаких гарантий этого нет. Законы могут прекращать свое действие. Значение изначального программирования может меняться — и невероятно легко совершить антропоморфические ошибки, приписать машинам человеческие черты и неверно истолковать их внутренние движущие силы. Франс был одержим этими вопросами и, как я сказала, раздираем противоречиями. Он мечтал об интеллектуальных компьютерах — и в то же время волновался из-за них.

— Он не мог прекратить строить своих монстров…

— Приблизительно так, выражаясь рационально.

— Как далеко он продвинулся?

— Думаю, дальше, чем кто-либо мог себе даже представить, и, вероятно, это являлось еще одной причиной того, что Франс так скрытничал в отношении своей работы в «Солифоне». Он боялся, что его программа попадет в неправильные руки. Боялся даже того, что программа вступит в контакт с Интернетом и объединится с ним. Он назвал ее «Август», в честь сына.

— А где она сейчас?

— Он никогда шагу не ступал, не имея ее при себе. Наверное, когда его застрелили, она находилась у него возле кровати. Но самое ужасное, что полиция утверждает, будто там не было никакого компьютера.

— Я его тоже не видел. Правда, я был, в общем-то, сосредоточен на другом…