Джеймс Баррат - Последнее изобретение человечества

Иными словами, существуют громадные финансовые стимулы наделить ваши алгоритмы самосознанием — чтобы они точно знали, чем являются, и могли моделировать окружающий мир. А это уже очень похоже на УЧИ. Именно в этом направлении, безусловно, развивается рынок, но есть ли результаты и близок ли кто-нибудь к созданию УЧИ?

Уисснер-Гросс не знал ответа на этот вопрос. Возможно, он не открыл бы его, даже если бы знал. «Есть серьезные материальные причины держать в тайне любые успехи, обещающие хорошую выгоду», — сказал он.

Разумеется. И он говорит при этом не просто о конкуренции между хедж-фондами, но и о своего рода естественном отборе среди алгоритмов. Победители процветают и передают тексты своих программ потомкам. Неудачники погибают. Эволюционное давление рынка способно ускорить развитие интеллекта, но не без руководящего участия человека-«кванта». Пока.

А интеллектуальный взрыв в мире финансовой инженерии был бы абсолютно непрозрачным, по крайней мере по четырем причинам. Во-первых, подобно многим когнитивным архитектурам, он, вероятно, использовал бы нейронные сети, генетическое программирование и прочие «черные ящики» методик ИИ. Во-вторых, высокоскоростные транзакции, занимающие от силы несколько миллисекунд, происходят быстрее, чем может отследить человек, — достаточно посмотреть на то, как происходил обвал 2010 г. В-третьих, система невероятно сложна — ни один квант (ни даже группа квантов) не в состоянии полностью описать экосистему алгоритмов Уолл-стрит и объяснить, как алгоритмы взаимодействуют между собой.

Наконец, если мощный интеллект родится в недрах финансовой математики, его, скорее всего, будут держать в тайне до тех пор, пока он будет приносить деньги своим создателям. Вот вам четыре уровня непроницаемости.

Подведем итоги. В принципе УЧИ может родиться на Уолл-стрит. Самые успешные алгоритмы и сейчас держат в тайне — и «кванты», с любовью их реализующие, и компании, ими владеющие. Интеллектуальный взрыв здесь пройдет незаметно для большинства людей, если не для всех, и остановить его, вероятно, в любом случае будет невозможно.

Надо сказать, что сходства между финансовой математикой и исследованиями ИИ на этом не заканчиваются. Уисснер-Гросс выдвинул еще одно поразительное предположение. Он утверждает, что первые стратегии управления УЧИ могли бы вырасти из мер, предлагаемых нынче для управления высокочастотным трейдингом и контроля над ним. Некоторые из них выглядят достаточно перспективно.

Рыночный предохранитель, или прерыватель цепи, должен отрезать ИИ хедж-фонда от внешнего мира в случае непредвиденных обстоятельств. Грубо говоря, зарегистрировав каскадные взаимодействия алгоритмов вроде тех, что происходили во время краха 2010 г., такой автомат должен «выдернуть вилку из розетки», то есть физически отключить машины от электропитания.

Правило крупного трейдера требует подробной регистрации всех ИИ наряду с человеческими организациями. Если это кажется вам прелюдией к серьезному вмешательству правительства, то вы правы. Почему нет? Уолл-стрит снова и снова доказывает свою неспособность к ответственному поведению без энергичного регулирования. Относится ли это также к разработчикам УЧИ? Несомненно. К изучению УЧИ допускаются не только люди высоких моральных качеств.

Предварительное тестирование алгоритмов могло бы моделировать поведение алгоритмов в виртуальной среде, прежде чем выпускать их на реальный рынок. Цель аудита исходного текста программ ИИ и централизованной записи деятельности ИИ —предугадывание возможных ошибок и поощрение анализа постфактум любых неожиданных событий, таких как крах 2010 г.

Но оглянитесь на упомянутые выше четыре уровня непрозрачности и подумайте, достаточно ли будет таких мер предосторожности, даже если они будут полностью реализованы, и смогут ли они, на ваш взгляд, гарантировать безопасность.

Как мы уже видели, Виндж принял эстафету от Гуда и дополнил описание интеллектуального взрыва новыми важными чертами. Он рассмотрел альтернативные варианты его достижения помимо нейронных сетей, о которых говорил Гуд, и указал на возможность и даже вероятность гибели человечества. И возможно, самое важное, Виндж дал этому событию имя — сингулярность.

Винджу, как автору оригинального научно-фантастического рассказа «Истинные имена», отлично известно, что присвоение имени — чрезвычайно важный акт. Имена просятся на язык, откладываются в мозге и без труда преодолевают пропасть между поколениями. В Книге Бытия, как говорят теологи, раздача имен всему на Земле на седьмой день важна потому, что на созданной Богом «сцене» рядом с ним должно было появиться разумное существо, которому и предстояло в дальнейшем пользоваться этими именами. Языковая практика — важная веха в развитии ребенка. Без языка мозг не может нормально развиваться. Вряд ли УЧИ возможен без языка, без существительных, без имен.

Виндж дал сингулярности название, чтобы обозначить страшное будущее для человечества. Его определение сингулярности метафорично — орбита вокруг черной дыры, где гравитационные силы настолько сильны, что даже свет не в состоянии вырваться вовне. Мы не можем узнать, что там внутри, и такое название дано не случайно.

Затем внезапно все изменилось.

К концепции сингулярности, предложенной Винджем, Рэй Курцвейл добавил мощный катализатор, сдвигающий всю тему в область стремительного развития технологий и фокусирующий внимание на надвигающейся катастрофической опасности: экспоненциальном росте мощности и скорости компьютеров. Именно из-за этого роста вы можете окидывать скептическим взглядом любого, кто скажет, что машинный интеллект человеческого уровня не будет получен еще лет сто, а может, и вообще никогда не будет достигнут.

В расчете на один доллар мощность компьютеров за последние тридцать лет выросла в миллиард раз. Еще лет через двадцать за $1000 можно будет купить в миллион раз более мощный компьютер, чем сегодня, а через двадцать пять лет — в миллиард. Примерно к 2020 г. появятся первые компьютерные модели человеческого мозга, а к 2029 г. исследователи смогут запустить модель мозга, которая не будет ни на йоту уступать человеческому ни в интеллектуальном, ни в эмоциональном плане. К 2045 г. человеческий и машинный интеллект вырастут в миллиард раз и разработают технологии, которые позволят победить наши человеческие слабости, такие как утомление, болезни и смерть. В случае если нам удастся это пережить, технический прогресс за XXI в. продвинется не на столетие, а на 200 000 лет.

Приведенный анализ и экстраполяция принадлежат Курцвейлу и могут служить ключом к третьему, победившему на данный момент определению сингулярности. Сердцем этого определения является Закон прогрессирующей отдачи — теория технического прогресса, которую Курцвейл не придумал, но извлек на всеобщее обозрение, примерно так же, как Гуд предугадал интеллектуальный взрыв, а Виндж предупредил о надвигающейся сингулярности. Закон прогрессирующей отдачи говорит о том, что экстраполяции и успехи, о которых мы говорим в этой книге, накатываются на нас, как грузовой состав, который на каждом километре удваивает скорость. Очень трудно представить себе, насколько быстро этот состав окажется здесь, но достаточно сказать, что если к концу первого километра его скорость будет составлять 20 км/ч, то всего через пятнадцать километров он будет мчаться со скоростью более 65 000 км/ч. Важно отметить, что экстраполяция Курцвейла относится не только к «железу» (скажем, к начинке нового айфона), но и к развитию теорий (к примеру, к созданию единой теории искусственного интеллекта).