Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Работает модель или нет – это также вопрос субъективный. В конце концов, ключевой компонент каждой модели, как формальной, так и неформальной, – это ее критерий успеха. Это важный пункт, к которому мы вернемся, когда будем исследовать темный мир ОМП. В каждом случае мы должны спросить не только о том, кто разработал модель, но также чего именно он пытался достичь. Если правительство Северной Кореи возьмется, например, построить модель для моих семейных ужинов, то эта модель, вероятно, будет оптимизирована таким образом, чтобы держать нас чуть выше порога полного истощения, минимизируя при этом затраты и число доступных ингредиентов. Понятно, что наши личные предпочтения при этом будут значить мало или вообще ничего. С другой стороны, если бы эту модель составляли мои дети, то критерием ее успешности стало бы мороженое на завтрак, обед и ужин. Моя собственная модель пытается объединить северокорейское управление ресурсами и благополучие моих детей, а также мои собственные представления о здоровье, удобстве, разнообразии и экологичности. В результате она оказывается более сложной, но все еще отражает мою личную реальность. А модель, построенная в соответствии с сегодняшним днем, завтра будет работать еще хуже. Если ее постоянно не обновлять, она застынет и устареет. Цены меняются, предпочтения растущих детей тоже. Модель, построенная для шестилетки, не сработает для подростка.

То же самое верно и для внутренних моделей. Вы часто можете видеть, как возникают проблемы у дедушек и бабушек, которые навещают давно не виденную ими внучку. Во время предыдущего визита они собрали информацию о том, что она знает и умеет, что вызывает у нее смех, какие телепередачи она любит, – и (подсознательно) построили модель под эту конкретную четырехлетнюю девочку. Однако во время следующей встречи через год они могут столкнуться с неловкой ситуацией из-за того, что их модель устарела. Например, ей больше не нравится Паровозик Томас. Потребуется время, чтобы собрать новую информацию о внучке и перенастроить модель.

Это не означает, что хорошие модели не могут быть простыми. Некоторые очень эффективные модели основываются на единственной переменной. Самая распространенная модель по обнаружению пожара в доме или офисе, например, учитывает единственный, зато непосредственно имеющий отношение к проблеме фактор – наличие дыма. Обычно этого достаточно. Но создатели моделей сталкиваются с проблемами – или сталкивают нас с этими проблемами, – когда они проецируют такие простые модели, как пожарная сигнализация, на людей.

Расизм на индивидуальном уровне может рассматриваться как предиктивная модель, распространившаяся в сознании миллиардов людей по всему миру. Она основана на ошибочной, неполной или обобщенной информации. Информация, основанная на опыте или рассказах других людей, указывает на то, что определенные люди плохо себя ведут. Это приводит к упрощенному предсказанию, что все люди той или иной расы будут вести себя таким же образом.

Нет нужды говорить, что расисты не тратят время на то, чтобы собрать надежную информацию и протестировать свои искаженные модели. Как только их модель превращается в убеждение, она становится прошивкой мозга. Она генерирует допущения, однако редко их тестирует, вместо этого подыскивая информацию, которая, как кажется расисту, их подтверждает и подпитывает. Вследствие этого расизм представляется самой неряшливой из предиктивных моделей. Он основан на небрежном сборе информации и ложных корреляциях, он усилен институциональным неравенством и загрязнен предвзятостью подтверждения. Но как это ни странно, расизм действует так же, как многие из видов оружия математического поражения, которые я буду описывать в этой книге.

В 1997 году афроамериканец Дуэйн Бак, признанный виновным в убийстве двух человек, предстал перед судьей округа Харрис, штат Техас. Судья должен был решить, приговорить преступника к смерти или к пожизненному заключению (во втором случае оставалась теоретическая возможность условно-досрочного освобождения). Прокурор настаивал на смертном приговоре, утверждая, что, если Бак когда-нибудь выйдет на свободу, он может убить снова. Адвокат Бака, со своей стороны, пригласил эксперта-психолога Уолтера Кихано, специалиста по рецидивам среди бывших заключенных. В ходе перекрестного допроса Кихано упомянул расовую принадлежность Бака, и прокурор тут же уцепилась за это:

– То есть вам удалось установить, что… что расовый фактор, принадлежность к черной расе, по различным сложным причинам увеличивает потенциальную опасность человека в будущем, правильно? – спросила она.

– Правильно, – ответил Кихано.

Прокурор подчеркнула этот факт в своей заключительной речи – и Дуэйн Бак был приговорен к смерти.

Через три года главный прокурор штата Техас Джон Корвин обнаружил, что психолог Уолтер Кихано дал подобные (основанные на расовой принадлежности) заключения в шести других случаях, когда речь шла о высшей мере наказания. Большую часть из них – выступая на стороне обвинения. Корвин, который тогда готовился к выборам в Сенат 2002 года, приказал провести повторные слушания для семи осужденных, запретив упоминать в суде их расовую принадлежность. В соответствующем пресс-релизе он писал:

Совершенно непозволительно учитывать расовую принадлежность как фактор в нашей системе правосудия… Техасцы заслуживают системы, которая обеспечивает справедливое отношение для каждого человека, – и они должны получить такую систему.

Дела шестерых осужденных были рассмотрены заново, однако все смертные приговоры были оставлены в силе: суд счел, что показания Кихано ни в одном случае не были решающими. Седьмой осужденный – Дуэйн Бак – не получил нового слушания: возможно, из-за того, что в данном случае расовый фактор выдвинул свидетель защиты. Бак все еще находится в камере смертников [2] 3 октября 2017 года приговор Бака был все же пересмотрен: на этот раз Бак был приговорен к пожизненному заключению с правом на условно-досрочное освобождение после отбытия 40 лет срока плюс к двум одновременным 60-летним срокам за два покушения на убийство. Бак получит право на условно-досрочное освобождение в 2035 году. – Здесь и далее – примеч. науч. ред., если не оговорено иное. .

Независимо от того, насколько важен расовый фактор в обстоятельствах судебного дела, он уже довольно давно представляет собой основной фактор в вынесении приговора. Исследование Мэрилендского университета продемонстрировало, что в техасском округе Харрис, в который входит и город Хьюстон, прокуроры в три раза чаще требуют смертного приговора для афроамериканцев и в четыре раза чаще – для американцев латиноамериканского происхождения, чем для белых, которых судят за аналогичные преступления. И такое происходит не только в Техасе. В соответствии с данными Американского союза защиты гражданских свобод, судебные сроки, которые назначаются черным мужчинам в федеральной системе, на 20 % длиннее, чем сроки белых, осужденных за схожие преступления. И хотя афроамериканцы составляют всего 13 % населения США, они заполняют 40 % тюремных камер.