Юваль Ной Харари - 21 урок для XXI века [Версия с комментированными отличиями перевода]

Случались и трагикомические инциденты. В октябре 2017 года один палестинский рабочий выложил на личной странице в Facebook свою фотографию на рабочем месте рядом с бульдозером. Снимок он сопроводил надписью: «Доброе утро!» Автоматический алгоритм совершил небольшую ошибку при транслитерации арабских букв. Вместо Ysabechhum! (что означает «доброе утро») алгоритм прочел фразу как Ydbachhum! (что означает «бей их»). Заподозрив в этом человеке террориста, который намерен использовать бульдозер для наезда на людей, израильская служба безопасности немедленно его арестовала. После того как ошибка алгоритма была обнаружена, палестинского рабочего отпустили. Но «подозрительный» пост в Facebook все же был удален – излишняя осторожность не помешает [70] Yotam Berger, ‘Police Arrested a Palestinian Based on an Erroneous Translation of “Good Morning” in His Facebook Page’, Haaretz, 22 October 2017, https://www.haaretz.co.il/.premium-1.4528980 , accessed 12 January 2018. . Нынешняя повседневная жизнь палестинцев на Западном берегу может оказаться грубой моделью того, что рано или поздно ждет жителей всей планеты.

В конце XX века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих людей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий XX века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять правильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика отставала от американской.

Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позволяет централизованно обрабатывать огромные массивы информации. С ним централизованные системы действуют гораздо эффективнее распределенных, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберете все сведения о миллиарде человек в одной базе данных, не заботясь о приватности, то путем машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о миллионе человек, соблюдая требования защиты персональных данных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссальное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов XX века – стремление сосредоточить всю информацию в одном месте – в XXI веке может превратиться в преимущество.

Как только алгоритмы изучат нас достаточно хорошо, авторитарные правительства получат над гражданами абсолютный контроль, какого не знала даже нацистская Германия, и сопротивляться подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, – они еще и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения – ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в ее нынешней форме не переживет слияния ИТ и биотехнологий. Либо демократия успешно трансформируется, приняв совершенно новую форму, либо людям придется жить в условиях «цифровых диктатур».

Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей – не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования [71] William Beik, Louis XIV and Absolutism: A Brief Study with Documents (Boston, MA: Bedford/St Martin’s, 2000). . Именно технологии XX века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны.

Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит» [72] O’Neil, Weapons of Math Destruction, цитируемая работа; Penny Crosman, ‘Can AI Be Programmed to Make Fair Lending Decisions?’, American Banker, 27 September 2016, https://www.americanbanker.com/news/can-ai-be-programmed-to-make-fair-lending-decisions , ссылка актуальна на 17 September 2017. .

Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы – это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной [73] Matt Reynolds, ‘Bias Test to Prevent Algorithms Discriminating Unfairly’, New Scientist, 29 May 2017, https://www.newscientist.com/article/mg23431195–300-bias-test-to-prevent-algorithms-discriminating-unfairly/ , ссылка актуальна на 17 September 2017; Claire Cain Miller, ‘When Algorithms Discriminate’, New York Times, 9 July 2015, https://www.nytimes.com/2015/07/10/upshot/when-algorithms-discriminate.html , ссылка актуальна на 17 September 2017; Hannah Devlin, ‘Discrimination by Algorithm: Scientists Devise Test to Detect AI Bias’, Guardian, 19 December 2016, https://www.theguardian.com/technology/2016/dec/19/discrimination-by-algorithm-scientists-devise-test-to-detect-ai-bias , ссылка актуальна на 17 September 2017. .