Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Система регулирования ОМП могла бы измерять подобные скрытые убытки. Это уже используется в других типах государственного вмешательства. Хотя экономисты могут попытаться подсчитать, во что обходится обществу загрязнение воздуха или сельскохозяйственные стоки, эти цифры никогда не опишут подлинный урон. И то же самое часто касается справедливости и общественной пользы в математических моделях. Это концепции, которые могут существовать только в человеческом сознании, – и их невозможно точно подсчитать. При этом люди, которые занимаются созданием моделей, редко даже пытаются делать такие подсчеты – это считается слишком сложным. Но нам необходимо включить человеческие ценности в эти системы, даже ценой снижения эффективности. Например, модель может быть запрограммирована так, чтобы представители разных этнических групп или разных уровней дохода были справедливо представлены в рядах избирателей или потребителей. Или она может протоколировать случаи, когда люди в определенных районах проживания платят в два раза дороже за определенные услуги. Эти приближения могут быть грубыми, особенно поначалу, но они необходимы. Математические модели должны быть нашими инструментами, а не нашими хозяевами.

Разрыв в уровне школьной успеваемости, большое число заключенных в тюрьмах и апатия избирателей – все это серьезные национальные проблемы, которые не решит ни свободный рынок, ни математические алгоритмы. Поэтому первым делом следует взяться за нашу технологическую иллюзию – безграничную и безосновательную веру в то, что алгоритмы и технологии могут все. Прежде чем просить их исправить какую-то ситуацию, нам нужно признать, что они не всесильны.

Чтобы обезвредить ОМП, нам также нужно оценить его влияние, а для этого необходим аудит алгоритмов. Первый шаг здесь – провести исследования. Давайте представим себе ОМП как черные ящики, которые перерабатывают загруженную в них информацию и выдают заключения. Вот у этого заключенного преступника средняя вероятность рецидива в будущем, этот гражданин с 73-процентной вероятностью будет голосовать за республиканцев, а рейтинг вон того учителя – в нижней десятке. Изучив эти выводы, мы сможем собрать воедино все погрешности модели и оценить ее справедливость.

Иногда с самого начала становится совершенно понятно, что определенные виды оружия математического поражения нужны лишь для того, чтобы легче увольнять целые группы людей, а другим предлагать скидки. Модель оценки коэффициента роста знаний учеников, принятая в нью-йоркских общеобразовательных школах, например, – та самая модель, которая присудила Тиму Клиффорду катастрофические шесть баллов, а на следующий год триумфальные 96 баллов, – это не что иное, как статистический фарс. Если мы расположим результаты, которые учителя получают в разные годы, на графике, точки будут расположены примерно так же хаотично, как атомы водорода в комнате. Даже многие школьники, изучающие в этих самых школах математику, взглянув на подобную «статистику», с уверенностью сказали бы, что такие результаты не означают просто ничего. В конце концов, хорошие учителя обычно бывают хорошими и в этом году, и в следующем. В отличие от, допустим, игроков в бейсбол, они редко чередуют удачные сезоны с провальными (и еще одно отличие учителей от бейсболистов заключается в том, что работа первых плохо поддается количественному анализу).

Подобную негодную модель невозможно исправить. Единственный выход в таком случае – вообще отказаться от несправедливой системы. Давайте забудем по крайней мере на 10–20 лет об инструментах для измерения эффективности учителя. Это слишком сложная задача для моделирования, и у нас нет для этого достаточно точной информации, только грубые приближения. Модель просто пока недостаточно хороша для того, чтобы принимать важные решения о людях, которым мы доверяем образование наших детей. Эта работа требует комплексного подхода с учетом сложного контекста. Даже в эпоху Больших данных такие проблемы умеют решать только люди.

Конечно, аналитики должны рассматривать множество данных, включая и результаты тестов учеников. Они должны включать в свой анализ благотворные петли обратной связи (этих «добрых кузенов» тех губительных петель обратной связи, с которыми мы так близко познакомились). Благотворная обратная связь просто предоставляет информацию специалисту по данным (или автоматической системе), чтобы модель могла быть улучшена. В этом случае достаточно будет просто опросить как учителей, так и учеников, имеют ли для них смысл эти рейтинги; понимают ли и принимают ли они стоящие за рейтингами критерии. Если не понимают и не принимают – то как это можно улучшить? Только когда мы получим экосистему с благотворной обратной связью, мы сможем ожидать, что данные помогут улучшить работу учителей. А до тех пор система имеет только карательную функцию.

Конечно, защитники Больших данных тут же напомнят нам, что человеческий мозг сам включает в себя модели и эти модели зачастую окрашены предрассудками и предвзятостями. Поэтому человеческие суждения – в данном случае оценка учителей – тоже должны проверяться на справедливость. И эти проверки должны быть тщательно разработаны и протестированы именно людьми, а уж потом автоматизированы. Математики вполне могут заняться разработкой моделей, которые помогут учителям измерить собственную эффективность и улучшить ее.

Другие проверки гораздо более сложны. Возьмите, к примеру, модели вероятности криминального рецидива, которыми руководствуются судьи во многих штатах, готовясь вынести приговор. Из-за относительной новизны этих моделей нам пока сложно сравнивать «до» и «после». Изменилась ли статистика приговоров с тех пор, как они стали получать рекомендации от ОМП? Мы обнаружим, без всякого сомнения, что какое-то число судей имело в голове те же опасные модели задолго до появления ПО – и наказывало бедняков и представителей меньшинств более строго, чем остальных преступников. В некоторых из этих случаев, возможно, модель может смягчить их суждения. В других случаях – нет. По мере роста количества информации закономерности станут более ясными и позволят нам оценить мощность и направленность ОМП.

Если мы обнаружим (а исследования это уже показали), что модели рецидивизма кодифицируют предрассудки и наказывают бедных, значит, настало время изучить вводную информацию. В данном случае модели предсказывают поведение отдельного человека по принципу «одного поля ягоды» – по аналогии с людьми, с которыми он знаком, по месту его работы и кредитному рейтингу, то есть по критериям, которые бы не принял к рассмотрению ни один суд. Справедливость требует, чтобы эту информацию исключили. Постойте, скажут нам, вы что, собираетесь пожертвовать точностью модели ради справедливости? В самом деле, стоит ли намеренно притуплять наши алгоритмы?