Юваль Ной Харари - 21 урок для XXI века [Версия с комментированными отличиями перевода]

Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют этический аспект, а этика алгоритмам недоступна. Однако нет никаких причин полагать, что алгоритмы не смогут превзойти среднего человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают сталкиваться с теми же этическими проблемами, которые тысячелетиями не давали покоя людям.

Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей – выехать на встречную полосу, рискуя столкнуться с приближающимся грузовиком. Алгоритм вычисляет, что в этом случае вероятность гибели владельца автомобиля, крепко спящего на заднем сиденье, – 70 %. Как должен поступить алгоритм? [57] Jean-Francois Bonnefon, Azim Shariff and Iyad Rawhan, ‘The Social Dilemma of Autonomous Vehicles’, Science 352:6293 (2016), 1573–1576.

Философы с незапамятных времен спорят о «проблеме вагонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам) [58] Christopher W. Bauman et al., ‘Revisiting External Validity: Concerns about Trolley Problems and Other Sacrificial Dilemmas in Moral Psychology’, Social and Personality Psychology Compass 8:9 (2014), 536–554. . До недавнего времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руководствуются эмоциями и интуицией.

Один из самых жестоких в истории социальных наук экспериментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священниками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему притчи о добром самаритянине. Эта библейская история повествует о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обратили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах людей нужно судить по их делам, а не по религиозным убеждениям.

Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о добром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голову и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остановились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вызванный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу [59] John M. Darley and Daniel C. Batson, ‘“From Jerusalem to Jericho”: A Study of Situational and Dispositional Variables in Helping Behavior’, Journal of Personality and Social Psychology 27:1 (1973), 100–108. .

Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философскую историю мира довольно грустным рассказом о прекрасных идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества – естественный отбор.

К сожалению, то, что было полезно для выживания и продолжения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из-за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформировавшиеся в саванне инстинкты. Поэтому спешащие семинаристы будут игнорировать страждущих, а водители в критической ситуации – наезжать на несчастных пешеходов.

Подобный разрыв между семинарией и дорогой – одна из главных практических проблем в этике. Иммануил Кант, Джон Стюарт Милль и Джон Ролз могут днями напролет обсуждать теоретические вопросы в уютной университетской аудитории. Но учтут ли их выводы водители – в опасной ситуации, когда решение нужно принять за долю секунды? Возможно, Михаэль Шумахер, чемпион «Формулы-1», которого иногда называют лучшим гонщиком в истории, обладает способностью обдумывать философские проблемы, одновременно управляя автомобилем, но большинство из нас все же не Шумахеры.

В отличие от людей компьютерные алгоритмы не проходили через естественный отбор, и у них нет ни эмоций, ни врожденных инстинктов. Поэтому в критические моменты они способны следовать этическим рекомендациям более четко, чем люди, – при условии, что мы сумеем перевести этику на язык точных цифр и статистики. Если бы Кант, Милль и Ролз умели программировать, они в тиши своих кабинетов написали бы программу для беспилотного автомобиля, чтобы на шоссе он в точности выполнял их указания. И тогда каждым автомобилем управлял бы алгоритм, состоящий одновременно из Михаэля Шумахера и Иммануила Канта.

Если вы запрограммируете беспилотный автомобиль, чтобы он останавливался и помогал попавшим в беду незнакомцам, он будет беспрекословно выполнять эту программу. Если ваш беспилотный автомобиль запрограммирован сворачивать на встречную полосу, чтобы спасти выскочивших на дорогу детей, можно не сомневаться, что он это сделает. А это значит, что при проектировании беспилотного автомобиля Toyota или Tesla теоретическая проблема философской этики превращается в практическую инженерную задачу.

Разумеется, философские алгоритмы никогда не будут идеальными. Ошибки неизбежны, и они будут приводить к травмам, смертям и крайне запутанным судебным разбирательствам. (Впервые в истории у вас появится возможность подать в суд на философа за пагубные последствия его учения, потому что впервые в истории вы сможете доказать прямую причинно-следственную связь между философскими идеями и реальными событиями.) Однако для победы над водителями из плоти и крови алгоритмам вовсе не требуется совершенство. Достаточно просто быть лучше людей. Учитывая, что каждый год водители убивают на дорогах больше миллиона человек, это не такая уж трудная задача. Что вы предпочтете: чтобы следующим за вами автомобилем управлял пьяный подросток – или команда в составе Шумахера и Канта? [60] Kristofer D. Kusano and Hampton C. Gabler, ‘Safety Benefits of Forward Collision Warning, Brake Assist, and Autonomous Braking Systems in Rear-End Collisions’, IEEE Transactions on Intelligent Transportation Systems 13:4 (2012), 1546–1555; James M. Anderson et al., Autonomous Vehicle Technology: A Guide for Policymakers (Santa Monica: RAND Corporation, 2014), esp. 13–15; Daniel J. Fagnant and Kara Kockelman, ‘Preparing a Nation for Autonomous Vehicles: Opportunities, Barriers and Policy Recommendations’, Transportation Research Part A: Policy and Practice 77 (2015), 167–181.