Ханна Фрай - Hello World. Как быть человеком в эпоху машин

Не в первый и не в последний раз люди предпочли мнение компьютера своему собственному. Спрашивается, что можно с этим сделать? Верховный суд Висконсина имеет мнение на этот счет. По поводу угроз, которые несет в себе чрезмерное доверие судьи программе COMPAS, было вынесено резюме: “Окружным судам, использующим программу COMPAS для оценки рисков, следует действовать по своему усмотрению с учетом личности каждого обвиняемого” [115]. Впрочем, Ричард Берк считает такой подход излишне оптимистичным: “Суды, и особенно судьи, которых избирают граждане, стараются избегать ошибок. Алгоритм позволяет им сократить объем работы и снять с себя лишнюю ответственность” [116].

Есть еще вот какой вопрос. Если алгоритм включит кого-нибудь в группу высокого риска и судья лишит этого человека свободы, мы никогда не узнаем, насколько точен был прогноз. Взять хотя бы Дзилли. Возможно, он совершил бы насильственное преступление. А возможно, и нет. Возможно, клеймо опасного преступника и отсидка в тюрьме штата повлияли на всю его дальнейшую жизнь, и, если бы было принято досудебное соглашение, его судьба сложилась бы иначе. Мы не можем проверить машинные прогнозы, поэтому не можем знать, был ли прав судья, когда принял на веру оценку высокого риска, мы так и не знаем, кем был Дзилли — Дартом Вейдером или Люком Скайуокером.

Здесь нет простого и ясного решения. Как убедить людей в том, что, работая с подобными программами, они должны включать здравый смысл? Но если нам и удастся это сделать, остается еще один вопрос. Пожалуй, наиболее дискуссионный.

Предвзятость машин

В 2016 году независимое онлайн-издание ProPublica , которое впервые рассказало о Дзилли, занялось подробным исследованием программы COMPAS и воспроизвело методику оценки потенциальных рисков для семи с лишним тысяч преступников, чьи дела слушались в период с 2013 по 2014 год во Флориде [117]. Журналисты решили выяснить, кто из них совершал повторные правонарушения, чтобы проверить, насколько точен был прогноз. Но кроме того, их интересовало, различались ли оценки для белых и чернокожих обвиняемых.

Хотя в явном виде расовая принадлежность в алгоритме не учитывалась, журналисты обнаружили, что в процессе расчетов не все случаи воспринимались одинаково. В целом вероятность ошибки для чернокожих и белых подсудимых была приблизительно одной и той же, но, оценивая людей из разных расовых групп, программа ошибалась по-разному.

Для темнокожих обвиняемых из группы Люков Скайуокеров, у кого первый арест стал последним конфликтом с полицией, вероятность ошибочного включения в группу высокого риска возрастала вдвое по сравнению с такими же, но белыми правонарушителями. Ложноположительные результаты расчетов оказались смещены в черный сектор. И наоборот, белые Дарты Вейдеры, в течение двух лет после выхода на свободу совершившие новое преступление, имели в два раза больше шансов попасть по ошибке в группу низкого риска, чем чернокожие Вейдеры. Ложноотрицательные оценки преобладали в белом секторе.

Неудивительно, что статьи в ProPublica подняли волну негодования как в Америке, так и за ее пределами. В сотнях публикаций резко осуждалась равнодушная методика расчетов и звучали призывы прекратить использование в правосудии несовершенных и необъективных программ, ведь от вынесенного приговора зависит судьба человека. Трудно не согласиться с валом критики — каждый обвиняемый, независимо от того, кто или что рассматривает его дело, заслуживает честного и объективного суда, и в расследовании журналистов ProPublica складывается неблагоприятная для алгоритма картина.

Но остережемся пока списывать в утиль “несовершенную программу”. Прежде чем отринуть саму идею применения компьютеров в судействе, надо подумать о том, каким должен быть объективный алгоритм.

Конечно, хотелось бы, чтобы прогнозы в отношении всех людей с любым цветом кожи были одинаково точные. Логично также потребовать, чтобы термин “высокий риск” тоже трактовался для всех одинаково. Программа должна эффективно вылавливать потенциальных рецидивистов, невзирая на их расу и прочие социальные признаки. Кроме того, как писала ProPublica , частота и характер ошибок при расчетах не должны зависеть от расовой принадлежности.

Вроде пока мы не требуем ничего сверхвозможного. Однако не все так очевидно. К сожалению, некоторые условия объективности несовместимы с точки зрения математики.

Сейчас объясню. Предположим, вы останавливаете прохожих и с помощью своего алгоритма оцениваете вероятность того, что они кого-нибудь убьют. Поскольку подавляющее большинство убийц — мужчины (действительно, по всему миру 96 % убийств совершают мужчины [118]), то при условии, что программа для выявления убийц работает хорошо, в группе высокого риска неизбежно окажется больше мужчин, чем женщин.

Предположим, точность прогнозов для нашего алгоритма составляет 75 %. Иначе говоря, три четверти тех, кому она присвоила высокие значения риска, действительно являются Дартами Вейдерами.

Рано или поздно, приставая к прохожим, вы наберете 100 потенциальных (с точки зрения программы) убийц. Согласно статистике, 96 из них должны быть мужчинами, а 4 — женщинами. Посмотрите на иллюстрацию справа. Черные кружки соответствуют мужчинам, светло-серые — женщинам.

Далее, поскольку программа дает прогнозы для мужчин и женщин с одинаковой точностью 75 %, то четверть всех женщин и четверть всех мужчин на самом деле окажутся Люками Скайуокерами — то есть опасности для общества они не представляют, а в возможные убийцы их записали на основании неверного расчета.

По второй диаграмме после несложных подсчетов вы можете увидеть, что против мужчин будет выдвинуто больше незаслуженных обвинений, чем против женщин — по той простой причине, что вообще среди убийц мужчин больше, чем женщин.

Это сухой математический факт, не имеющий никакого отношения ни к преступности, ни к компьютерным программам. Перекос в результате вытекает из перекоса в жизни. Убийства чаще совершают мужчины, поэтому мужчин чаще подозревают в том, что они могут совершить убийство [119].

С математической точки зрения невозможно разработать тест, который будет одинаково точно работать для всех слоев общества и при этом выдавать одинаковый процент ложноположительных и ложноотрицательных прогнозов во всех группах обвиняемых, если только в каждой такой группе доля людей, совершивших преступление, не будет одной и той же.

Афроамериканцы, безусловно, веками испытывали на себе гнет неравенства и предвзятого отношения. По этой причине до сих пор в нижних социально-экономических стратах и на верхних строках криминальной статистики большинство составляют афроамериканцы. Кроме того, некоторые факты свидетельствуют о повышенном интересе полиции к гражданам с темной кожей — по крайней мере в США, в определенных видах преступности. Скажем, и черные, и белые курят марихуану на равных, однако афроамериканцы попадаются на ней в несколько раз чаще, чем белые, и эта разница может быть восьмикратной. Каковы бы ни были причины диспропорции, в США, как ни грустно, показатели приводов в полицию различаются в зависимости от расы. За повторные правонарушения черных арестовывают чаще, чем белых. Алгоритм не судит их по цвету кожи — он руководствуется теми факторами, которые стали логичным следствием выраженного социального неравенства, исторически сложившегося в Америке. Пока во всех социальных и расовых группах показатели по арестам не сравняются, подобная необъективность останется в силу законов математики.