Юваль Ной Харари - 21 урок для XXI века [Версия с комментированными отличиями перевода]

В высших эшелонах власти у нас, скорее всего, останутся люди, номинальные правители, которые будут поддерживать иллюзию, что алгоритмы лишь советники, а верховная власть по-прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, будет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анализа больших данных и будут отражать то, как видит мир искусственный интеллект, а не люди.

Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистический взгляд на экономику. У политиков сохраняется иллюзия выбора, но по-настоящему важные решения уже были приняты гораздо раньше – экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько десятилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом.

Хорошая новость состоит в том, что, по крайней мере, в ближайшие десятилетия нам не придется иметь дело с полноценным научно-фантастическим кошмаром, в котором искусственный интеллект обретает разум и решает поработить или уничтожить людей. В процессе принятия решений мы все больше будем полагаться на алгоритмы, но сценарий, при котором алгоритмы начнут сознательно манипулировать нами, маловероятен. У них не возникнет сознание.

Научная фантастика обычно путает интеллект с сознанием и предполагает, что для того, чтобы сравняться с человеческим интеллектом или превзойти его, компьютеры должны обладать сознанием. Сюжет почти всех фильмов и романов об искусственном интеллекте вращается вокруг того волшебного момента, когда у компьютера или робота появляется сознание. Затем или главный герой влюбляется в робота, или робот пытается уничтожить человечество, или то и другое происходит одновременно.

Но в реальности нет никаких оснований предполагать, что у искусственного интеллекта появится сознание, поскольку интеллект и сознание – совершенно разные вещи. Интеллект – это способность решать задачи. Сознание – способность чувствовать боль, радость, любовь или гнев. Мы часто путаем эти понятия, потому что у людей и других млекопитающих интеллект неразрывно связан с сознанием. Млекопитающие решают большинство задач посредством чувств. Но у компьютеров совсем другой подход.

К развитому интеллекту ведут разные пути, и лишь немногие из них предполагают появление сознания. Самолеты летают быстрее птиц, но перьев у них нет; точно так же компьютеры решают задачи гораздо лучше, чем млекопитающие, не прибегая к помощи чувств. Конечно, искусственный интеллект должен уметь с высокой точностью анализировать человеческие чувства, чтобы лечить болезни, выявлять террористов, рекомендовать подходящего партнера или ориентироваться на улице, заполненной пешеходами. Но способность чувствовать для этого не нужна. Алгоритму не обязательно испытывать радость, гнев или страх, чтобы распознать отличающиеся друг от друга биохимические паттерны веселой, сердитой или испуганной человекообразной обезьяны.

Разумеется, полностью исключить появление у искусственного интеллекта собственных чувств нельзя. Мы еще недостаточно изучили феномен сознания, чтобы однозначно ответить на этот вопрос. В целом нам следует рассмотреть три возможных варианта:

1. Сознание каким-то образом связано с органической биохимией, и в неорганических системах появление сознания невозможно.

2. Сознание не связано с органической биохимией, но связано с интеллектом, так что у компьютеров не только может, но и должно появиться сознание, как только они перешагнут определенный порог развития интеллекта.

3. Не существует никаких значимых связей между сознанием и органической биохимией, а также сознанием и высоким интеллектом. Поэтому компьютеры могут обладать сознанием – но не обязательно. Они могут иметь сверхвысокий интеллект, но прекрасно обходиться без сознания.

При нынешнем уровне знаний о человеке мы не исключаем ни один из этих вариантов. Но именно недостаток знаний делает маловероятным, что в ближайшем будущем нам удастся разработать программу для компьютера, обладающего сознанием. Поэтому, несмотря на огромную мощь искусственного интеллекта, в обозримой перспективе его использование будет в определенной степени зависеть от человеческого сознания.

Опасность состоит в том, что, если мы вложим слишком много сил и средств в развитие искусственного интеллекта и слишком мало – в развитие человеческого сознания, чрезвычайно изощренный искусственный интеллект компьютеров будет лишь усугублять естественную глупость людей. В ближайшие десятилетия мы вряд ли столкнемся с восстанием роботов, но не исключено, что нам придется иметь дело с ордами ботов, которые умеют воздействовать на наши эмоции успешнее, чем наша родная мать, и используют эту способность, чтобы пытаться нам что-то продать – автомобиль, политического деятеля или целую идеологию. Боты будут распознавать наши скрытые тревоги и тайные желания, а затем использовать их против нас. Мы уже видели, как это выглядит, во время недавних выборов и референдумов по всему миру, когда хакеры научились манипулировать отдельными избирателями, анализируя информацию о них и используя их предрассудки [74] Snyder, The Road to Unfreedom, op. cit. . Научно-фантастические триллеры тяготеют к драматическому апокалипсису с огнем и дымом, но в реальной жизни мы можем столкнуться с весьма тривиальным апокалипсисом, просто кликая компьютерной мышью.

Чтобы избежать такого исхода, на каждый доллар и каждую минуту, вложенные в совершенствование искусственного интеллекта, было бы разумно тратить по одному доллару и одной минуте на развитие человеческого сознания. К сожалению, сегодня мы делаем слишком мало для исследования и развития нашего сознания. Мы, как правило, проводим научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области человеческих способностей в поисках ответа на насущные требования экономической и политической системы, забывая о наших долговременных потребностях как сознательных существ. Мой начальник хочет, чтобы я оперативно отвечал на письма, но его совсем не интересует моя способность чувствовать вкус пищи и наслаждаться ею. Поэтому я проверяю электронную почту даже во время еды – и теряю способность сосредоточиваться на своих ощущениях. Экономическая система призывает расширять и диверсифицировать инвестиционный портфель, но не побуждает расширять и диверсифицировать мое сострадание. Поэтому я стараюсь проникнуть в тайны фондовой биржи, но прилагаю гораздо меньше усилий, чтоб понять глубинные причины страданий людей.