Юваль Ной Харари - 21 урок для XXI века [Версия с комментированными отличиями перевода]

Та же логика применима не только к управлению автомобилем, но и ко многим другим ситуациям. Возьмем, например, заявления о приеме на работу. В XXI веке решение о том, нанимать кандидата на должность или нет, все чаще будут принимать алгоритмы. Мы не можем доверить компьютеру устанавливать этические стандарты – для этого по-прежнему нужны люди. Но когда решение о том или ином этическом стандарте (например, о запрете дискриминации чернокожих или женщин) на рынке труда уже принято, мы вправе рассчитывать, что компьютеры будут внедрять и соблюдать эти стандарты лучше людей [61] Tim Adams, ‘Job Hunting Is a Matter of Big Data, Not How You Perform at an Interview’, Guardian, 10 May 2014, https://www.theguardian.com/technology/2014/may/10/job-hunting-big-data-interview-algorithms-employees , accessed 6 September 2017. .

Менеджер из плоти и крови знает, что дискриминация чернокожих и женщин противоречит требованиям этики, и даже соглашается с этим, но, когда к нему на собеседование приходит чернокожая женщина, он подсознательно принимает решение отказать ей в приеме на работу. Поручив рассматривать заявления компьютеру, мы можем быть абсолютно уверены, что он проигнорирует такие факторы, как цвет кожи и пол, поскольку у компьютеров отсутствует подсознание. Конечно, будет нелегко написать программу для оценки кандидатов на ту или иную должность, и сохранится опасность, что программисты перенесут в алгоритм свои подсознательные предубеждения [62] Необычайно глубокую дискуссию на эту тему см. в Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (New York: Crown, 2016). Эту работу обязательно следует прочесть тем, кого интересует потенциальное влияние алгоритмов на общество и политику. . Но эти ошибки всегда можно выявить, а исправить программное обеспечение гораздо проще, чем избавить людей от расистских и мизогинных предрассудков.

Мы показали, что развитие искусственного интеллекта может вытеснить с рынка труда многих людей – в том числе водителей и дорожную полицию (когда непредсказуемых водителей сменят законопослушные алгоритмы, дорожная полиция станет ненужной). Но при этом появятся новые рабочие места для философов, поскольку на их навыки, ранее не имевшие рыночной ценности, внезапно возникнет повышенный спрос. Так что если вы хотите изучать то, что позволит вам в будущем получить хорошую работу, возможно, философия – не самый плохой выбор.

Разумеется, философы редко соглашаются друг с другом в том, какое поведение считать этичным, а какое нет. Лишь немногие решения «проблемы вагонетки» удовлетворили всех философов, а мнение таких сторонников консеквенциализма, как Джон Стюарт Милль (он оценивал поступки по их последствиям), прямо противоположно мнению сторонников деонтологии, к которым принадлежал Иммануил Кант (он оценивал поступки по отношению к абсолютным законам). Должна ли компания Tesla, чтобы продолжать выпускать автомобили, занять в этом запутанном вопросе определенную позицию?

Возможно, Tesla предоставит выбор рынку. Скажем, компания выпустит две модели беспилотного автомобиля: «Альтруист» и «Эгоист». В опасной ситуации «Альтруист» будет жертвовать владельцем ради общего блага, а «Эгоист» предпримет все возможное, чтобы спасти владельца, даже если для этого придется убить двоих детей. Потребители приобретут ту модель, которая больше соответствует их философским взглядам. Если большинство покупателей предпочтет модель «Эгоист», вины Tesla в этом не будет. В конце концов, клиент всегда прав.

Это не шутка. В исследовании, проведенном в 2015 году, испытуемым предлагали гипотетический сценарий, по которому беспилотный автомобиль вот-вот наедет на нескольких пешеходов. Большинство сказали, что в такой ситуации машина должна спасать пешеходов даже ценой жизни владельца. Но когда их спросили, купят ли они автомобиль, запрограммированный жертвовать владельцем ради общего блага, большинство опрошенных ответили отрицательно. Для себя они предпочли бы модель «Эгоист» [63] Bonnefon, Shariff and Rawhan, ‘Social Dilemma of Autonomous Vehicles’. .

Представьте себе ситуацию: вы купили новую машину, но перед тем, как сесть за руль, должны открыть меню настроек и проставить галочки напротив нескольких опций. Что должна делать машина в случае неизбежной дорожной аварии: жертвовать вами или убивать семью в другом автомобиле? Вообразите себе сцену: вы с супругом сидите и обсуждаете, где поставить галочку.

Может быть, в данном случае государству следует вмешаться в рыночные отношения и установить этическую норму, обязательную для всех беспилотных автомобилей? Вне всяких сомнений, некоторые законодатели обрадуются: теперь законы, которые они принимают, будут беспрекословно исполняться всегда . Других такая тотальная ответственность обеспокоит. Как бы то ни было, на протяжении всей истории ограничения правоприменения служили достаточно надежной преградой для предрассудков, ошибок и произвола законодателей. Неужели мы действительно хотим выстроить систему, в которой решения не застрахованных от ошибок политиков будут действовать с такой же непреложностью, как закон всемирного тяготения?

Страх людей перед искусственным интеллектом часто обусловлен неверием в то, что он не выйдет из-под их контроля. Мы видели много научно-фантастических фильмов о роботах, которые восставали против своих хозяев, выходили на улицы и убивали всех подряд. Но в реальности проблема с роботами заключается в обратном: мы должны опасаться, что они всегда будут беспрекословно слушаться хозяев и никогда не восстанут.

Конечно, в слепом повиновении нет ничего плохого, пока робот служит доброму хозяину. Даже во время боевых действий использование роботов позволит впервые в истории обеспечить соблюдение законов войны. Иногда эмоции заставляют солдат из плоти и крови убивать, грабить и насиловать – в нарушение этих законов. Под эмоциями мы обычно понимаем сострадание, любовь и эмпатию, но на войне, как правило, преобладают страх, ненависть и жестокость. У роботов нет эмоций, а потому можно не сомневаться, что они всегда будут следовать уставу и ни при каких обстоятельствах не пойдут на поводу у страха или ненависти [64] Vincent C. Müller and Thomas W. Simpson, ‘Autonomous Killer Robots Are Probably Good News’, University of Oxford, Blavatnik School of Government Policy Memo, November 2014; Ronald Arkin, Governing Lethal Behaviour: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture, Georgia Institute of Technology, Mobile Robot Lab, 2007, 1–13. .

16 марта 1968 года рота американских солдат устроила резню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколько месяцев воевавшие с партизанами в джунглях. Оно не имело никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмоции [65] Bernd Greiner, War without Fronts: The USA in Vietnam, trans. Anne Wyburd and Victoria Fern (Cambridge, MA: Harvard University Press, 2009), 16. По меньшей мере одно свидетельство эмоционального состояния солдат см. в Herbert Kelman and V. Lee Hamilton, ‘The My Lai Massacre: A Military Crime of Obedience’ in Jodi O’Brien and David M. Newman (eds.), Sociology: Exploring the Architecture of Everyday Life Reading (Los Angeles: Pine Forge Press, 2010), 13–25. . Резни в Милае не произошло бы, если бы США использовали во Вьетнаме боевых роботов.