Ханна Фрай - Hello World. Как быть человеком в эпоху машин

Это не просто теоретические рассуждения. В Род-Айленде подобные программы используются судами в течение восьми последних лет, и загруженность тюрем сократилась на 17 %, а частота рецидивов преступлений — на 6 %. А это сотни человек из группы низкого риска, которых нет нужды лишать свободы, и сотни несовершённых преступлений. К тому же, если учесть, что в Великобритании содержание одного заключенного под стражей обходится казне в 30 000 фунтов в год [107]— а в США год заключения в тюрьме строгого режима может стоить намного дороже, чем обучение в Гарварде [108], — экономятся огромные суммы денег налогоплательщиков. Это победа — и выигрывают все.

В самом деле? Найти Дарта Вейдера

Конечно, ни один алгоритм не может абсолютно безошибочно предсказать действия любого человека. Люди слишком безалаберны, непоследовательны и эмоциональны, для того чтобы уверенно прогнозировать их ближайшее будущее. Компьютер дает более точные прогнозы, но может и ошибиться. Вопрос в том, что станется со всеми теми гражданами, для кого неверно оценили потенциальные риски.

Ошибки алгоритмов можно разделить на две категории. Ричард Берк, профессор криминологии и статистики из Пенсильванского университета, первопроходец в области прогнозирования рецидивной преступности, предложил эффектный способ описания таких ошибок.

“Бывают хорошие парни и плохие, — объяснил он мне. — Фактически алгоритм решает, кто Дарт Вейдер, а кто Люк Скайуокер”.

Одна из возможных ошибок — освободить из-под ареста Дарта Вейдера, то есть дать ложноотрицательный прогноз. Это происходит тогда, когда вы не сумели разглядеть в личности человека потенциальную опасность.

С другой стороны, если оставить в заключении Люка Скайуокера, это будет ложноположительный прогноз. Так бывает, когда алгоритм ошибочно включает человека в группу высокого риска.

Ошибки этих двух типов — ложноположительная и ложноотрицательная оценки — характерны не только для сферы — рецидивной преступности. В нашей книге мы еще не раз с ними столкнемся. От них не застрахован ни один алгоритм, предназначенный для классификации.

Алгоритмы Берка претендуют на точность прогноза убийств 75 %, то есть это одни из самых эффективных методов в этой области [109]. Впечатляющий уровень точности, если принять во внимание, какой свободой воли мы, по нашему убеждению, обладаем. Но даже при такой точности прогноза очень многие Люки Скайуокеры остаются за решеткой только потому, что, на первый взгляд, похожи на Дартов Вейдеров.

Когда к алгоритму обращаются не просто с вопросом о залоге или условно-досрочном освобождении, а выносят приговор на основе его расчета, последствия ошибочной характеристики обвиняемого могут быть более драматичны. Пример из современной жизни: с недавних пор в некоторых американских штатах судам уже разрешают при назначении срока заключения учитывать рассчитанную для данного обвиняемого степень риска. Это нововведение вызвало горячие споры, и на то есть основания: одно дело доверить программе решать, кого можно освободить досрочно, а другое — в принципе рассчитать срок лишения свободы.

Проблема отчасти в том, что на выбор срока заключения влияет не только вероятность повторного преступления — ее-то алгоритмы как раз умеют рассчитывать, — а еще множество разных условий. Судья должен принять во внимание потенциальную опасность преступника для общества, сдерживающее действие приговора на других потенциальных правонарушителей, надежду на возмездие со стороны жертвы преступления и шансы обвиняемого на исправление. Слишком много факторов на весах — неудивительно, что чересчур большие полномочия компьютеров в правосудии вызывают возражения. И неудивительно, что такие примеры, как дело Пола Дзилли, вызывают настороженность [110].

Дзилли обвинялся в краже газонокосилки. В феврале 2013 года он стоял перед судьей Бэблером в округе Бэррон, штат Висконсин, и ему уже было известно, что его адвокаты заключили досудебное соглашение с обвинением. Обе стороны полагали, что в его случае длительное пребывание в тюрьме было бы не лучшим решением. Дзилли не сомневался, что судья просто утвердит это соглашение.

К несчастью для него, в судах Висконсина использовался запатентованный алгоритм оценки рисков под названием COMPAS. Механизм его работы строго засекречен, это коммерческая тайна, как было и в случае с инструментом бюджетного регулирования, применявшимся в Айдахо (см. главу “Власть”). Но в отличие от инструмента бюджетного регулирования программа COMPAS закрыта для широкой публики до сих пор. Мы знаем лишь, что расчеты выполняются на основании анкетирования обвиняемых. В анкете был, в частности, такой вопрос: “Голодный человек имеет право на кражу — вы согласны или не согласны?” Или: “Если вы жили с обоими родителями и они разошлись, сколько вам было лет на тот момент?” [111]Программу разработали исключительно ради того, чтобы оценивать вероятность рецидива правонарушения в течение двух лет, и точность расчета этого параметра составляла примерно 70 % [112]. Это означает, что примерно в каждом третьем случае оценка была неверной. Тем не менее судьи, назначая подсудимому наказание, пользовались этой программой.

Дзилли получил плохую оценку. Алгоритм предсказал ему высокий риск насильственного преступления в будущем и средний риск повторного общеуголовного правонарушения. “Я смотрю на оценку риска, — сказал судья Бэблер на заседании суда, — и хуже быть не может”.

Результаты расчета по делу Дзилли вызывали у судьи больше доверия, чем соглашение между защитой и обвинением, и он аннулировал соглашение, а Дзилли наказал вдвойне сурово — назначил ему два года в тюрьме штата вместо одного в окружной тюрьме.

Трудно сказать, действительно ли Дзилли заслужил столь высокую оценку риска, хотя точность расчетов 70 % явно невелика для того, чтобы вердикт программы перевешивал в суде другие обстоятельства.

Дело Дзилли широко комментировалось в СМИ, но это только одно из многих подобных дел. В 2003 году Кристофер Дрю Брукс, 19 лет, вступил в половую связь с четырнадцатилетней девочкой по обоюдному согласию, и суд штата Вирджиния судил его по обвинению в совращении несовершеннолетней. В таких случаях директивы по назначению наказания предписывают тюремное заключение сроком от семи до шестнадцати месяцев. Но была принята во внимание оценка риска (на этот раз вычисленная в другой программе, не в COMPAS), и рекомендованный срок скорректировали — подняли верхний предел до двух лет. С учетом этих обстоятельств судья приговорил Брукса к полутора годам тюремного заключения [113].

Дело здесь вот в чем. В данном случае основным фактором при расчете риска рецидива был возраст обвиняемого. Юный возраст Брукса, которого судили за преступление на половой почве, оказался для него минусом, хотя на самом деле это означало, что он и его партнерша были почти ровесниками. Вот если бы ему стукнуло 36 — то есть он был бы на 22 года старше той девочки, — программа рекомендовала бы вовсе не отправлять его в тюрьму [114].