Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Это один из примеров петли обратной связи ОМП. В этой книге мы увидим и множество других примеров подобных петель. Работодатели, например, все более широко используют кредитную историю соискателей для оценки потенциальных новых работников. Считается, что люди, которые вовремя платят по кредитам, с большей вероятностью будут следовать правилам и не опаздывать на работу. На самом деле есть множество ответственных людей и хороших работников, которым случалось пережить неудачное стечение обстоятельств, от которых пострадала их кредитная история. Но убеждение в том, что плохая кредитная история коррелирует с плохим исполнением рабочих обязанностей, оставляет людям, имевшим проблемы с выплатами кредитов, гораздо меньше шансов найти работу. Безработица подталкивает их к бедности, что еще сильнее ухудшает их кредитную историю – и еще сильнее понижает шансы на получение работы. Это спираль, ведущая вниз. Работодатели никогда не узнают о том, какое количество хороших работников они потеряли из-за того, что сосредоточились на кредитной истории кандидатов. В ОМП многие вредные установки прикрываются математикой – и с этого момента практически не проверяются и не подвергаются критическому анализу.

Это подчеркивает еще одну распространенную особенность ОМП: это оружие имеет свойство наказывать бедных. Отчасти это происходит из-за того, что ОМП разработано для того, чтобы оценивать большие массы людей. Оно специализируется на больших числах, и оно дешево. Это часть его привлекательности. К богатым же людям, с другой стороны, зачастую используется индивидуальный подход. В привилегированной юридической фирме или в частном детском саду личные рекомендации и личные встречи будут значить больше и случаться гораздо чаще, чем в сети ресторанов быстрого питания или в испытывающем финансовые трудности городском школьном округе. Мы постоянно видим, что привилегированные слои обслуживаются и анализируются людьми, а массы – машинами.

Неспособность Высоцки найти хоть кого-то, кто мог бы объяснить, почему она получила столь ужасный результат, тоже говорит о многом. Вердикты от ОМП подобны велениям неких алгоритмических богов. Сама модель представляет собой черный ящик, а его содержимое – яростно оберегаемая корпоративная тайна. Это позволяет таким консультантам, как MPR, брать больше денег за свою работу, но также служит и другой цели: считается, что, если людям, которых оценивают, ничего не объяснять, они с меньшей вероятностью будут пытаться обыграть систему. Вместо этого они просто будут усердно работать, следовать правилам и молиться, чтобы модель признала и оценила их усилия. А если детали скрыты, то становится сложнее поставить под сомнение результат или опротестовать его.

Не один год учителя Вашингтона жаловались на произвольные результаты и требовали разглашения принципов подсчета. Им отвечали, что это очень сложный алгоритм, – и такой ответ сам по себе уже отпугивал многих от дальнейших попыток разобраться. К сожалению, математика пугает многих. Но учитель математики Сара Бакс продолжила добиваться правды от администратора округа Джейсона Камраса. После переписки, длившейся несколько месяцев, Камрас предложил Бакс подождать технического доклада, который должен был вот-вот поступить. Бакс ответила: «Как вы можете оценивать людей с помощью процедуры, которую вы сами не в состоянии объяснить?» Но именно такова природа ОМП. Анализ перенаправлен программистам и специалистам по статистике. А они, как правило, предоставляют слово машинам.

При всем при этом Сара Высоцки была хорошо осведомлена о том, что в формуле имели большое значение результаты стандартизированного теста ее учеников. Именно здесь она подозревала наличие ошибки. Прежде чем начать свой последний учебный год в средней школе Макфарланда, она с радостью обнаружила, что ее будущие пятиклассники на удивление хорошо справились с итоговыми тестами четвертого класса. В начальной школе Барнарда, откуда пришли многие ученики Сары, уровень чтения 29 % учащихся был определен как «продвинутый», что в пять раз превышало средний показатель по городскому школьному округу.

Однако, когда начались занятия, выяснилось, что многие из ее учеников с трудом способны прочесть простое предложение. Много позднее журналистские расследования, проведенные газетами The Washington Post и USA Today , выявили высокий уровень исправлений в ответах стандартизированных тестов в 41 школе округа, включая школу Барнарда. Высокий уровень исправленных ответов указывает на большую вероятность подделки результатов. В некоторых школах под подозрение попало до 70 % классов.

Какое отношение это имеет к ОМП? Тут важны два фактора. Во-первых, алгоритмы оценки учителя – мощный инструмент для корректировки поведения. Это, собственно, и есть цель этих алгоритмов, и в школах Вашингтона они олицетворяли собой как кнут, так и пряник. Учителя знали, что, если их ученики плохо напишут тесты, их собственные рабочие места окажутся под угрозой. Это давало учителям сильную мотивацию добиться того, чтобы их ученики нормально справились с тестами, – особенно после того, как на рынок труда обрушилась Великая рецессия. В то же время, если их студенты превзошли бы сверстников, учителя и администрация могли получить бонусы суммой до восьми тысяч долларов. Добавьте эти мощные мотивационные элементы к уликам в деле – большому количеству исправлений и аномально высоким результатам, – и вы получите основания подозревать, что учителя четвероклассников либо из страха, либо из жадности подделали результаты экзаменов своих учеников.

Таким образом, вполне вероятно, что ученики Сары Высоцки начали учебный год с искусственно завышенными результатами. В таком случае результаты их тестов в конце года вполне могли показать, что у них существенно снизился уровень результатов – то есть что учителя пятого класса недостаточно хорошо их обучали. Высоцки убеждена, что именно это с ней и случилось. Это объяснение хорошо укладывалось в наблюдения родителей, коллег и директора, которые в один голос утверждали, что она очень хорошая учительница. Если бы учительницу уволили люди, это можно было бы оспорить. У Сары Высоцки были очень веские основания для апелляции.

Но апеллировать к оружию математического поражения невозможно. Это – часть его пугающей силы. Оно ни к кому не прислушивается и ни перед кем не отступает. Оно глухо не только к лести, угрозам и уговорам, но и к логике, даже когда есть хорошие основания усомниться в информации, которая послужила основной их выводов. Да, если становится очевидно, что автоматическая система выдает настолько неверные результаты, что это бросается в глаза, программисты все-таки доработают алгоритмы. Но по большей части программы изрекают вердикты, не подлежащие обжалованию, а обслуживающие их люди могут только пожимать плечами, словно хотят сказать: «Ну что же тут поделаешь?»