Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

С моей точки зрения, нет ничего плохого и во второй модели, которую мы обсуждали, – гипотетической модели семейных ужинов. Если бы мои дети задались вопросами о допущениях, которые за ней стоят, как экономических, так и диетических, я бы с удовольствием об этом рассказала. И даже если они иногда ворчат, получая очередную порцию зеленого салата, они, вероятно, признают, что моя модель отвечает целям удобства, экономии, здоровья и хорошего вкуса – хотя, возможно, в своих собственных моделях они придадут этим факторам другой вес (и они могут начать создавать свои модели с того самого момента, когда начнут сами покупать себе продукты).

Должна добавить, что моя модель вряд ли когда-нибудь приобретет промышленные масштабы. Не представляю, чтобы сеть супермаркетов Walmart или Министерство сельского хозяйства США заинтересовались бы моей моделью и распространили бы ее на сотни миллионов людей – как некоторые из видов оружия математического поражения, которые мы будем обсуждать. Нет, моя модель совершенно безобидна, особенно учитывая то, что она вряд ли когда-нибудь перейдет из моей головы в какую-либо компьютерную программу.

Однако оценка вероятности рецидива, которую мы обсуждали в конце главы, – пример совсем другого рода. Он имеет какой-то дурной привкус. Давайте быстро проверим, не относится ли эта оценка к ОМП, и посмотрим на результат.

Первый вопрос: если участник проверки осведомлен о том, что его проверяют с помощью модели, и о том, для чего будет использован результат проверки, можно ли считать эту модель непрозрачной? Ведь большинство заключенных, заполняющих обязательные анкеты, вовсе не глупы. Они как минимум должны подозревать, что информация, которую они предоставляют, будет использована против них, чтобы контролировать их во время отбывания срока, – эта информация даже может привести к увеличению этого срока. Они знают правила игры. Однако представители тюремной администрации тоже их знают. И они не распространяются о целях LSI-R. Администрация отлично понимает, что в ином случае многие заключенные попытаются обыграть модель, предоставив ответы, в которых они будут выглядеть образцовыми гражданами на момент выхода из тюрьмы. Поэтому заключенных стараются держать в неведении и не раскрывать им степень риска рецидива, которую определила модель в их случае.

В этом тюремные администраторы не одиноки. Непрозрачные модели – это правило, а прозрачные – исключение. Нас моделируют как покупателей и домоседов, как пациентов и заемщиков, но практически никаких из этих результатов мы не видим – даже если сами радостно участвуем в опросах. Даже когда такие модели на самом деле «ведут себя» вполне прилично, их непрозрачность может породить ощущение несправедливости. Если распорядитель в концертном зале сказал вам, что садиться в креслах первых десяти рядов нельзя, вы можете счесть этот запрет необоснованным и несправедливым. Но, вероятно, вы измените свое мнение, если распорядитель объяснит вам, что эти места зарезервированы для людей в инвалидных креслах. Прозрачность имеет большое значение.

При этом многие компании делают все, чтобы скрыть результаты, которые дают их модели или даже само существование этих моделей. Одно из самых распространенных оправданий при этом – наличие в алгоритме некоего «секретного компонента», критически важного для данного бизнеса. Это интеллектуальная собственность, которую защищают легионы юристов и лоббистов. В случае интернет-гигантов, таких как Google, Amazon и Facebook , эти алгоритмы стоят сотни миллиардов долларов. Оружие математического поражения по определению представляет собой черный ящик, и в результате крайне сложно ответить на вопрос: работает ли модель против интересов человека? Иными словами, справедлива ли она? Не наносит ли она вред?

И здесь тоже модель LSI-R легко квалифицировать как один из видов ОМП. Люди, которые создали этот алгоритм оценки в 1990-е годы, несомненно, рассматривали его как орудие правосудия, укрепляющее эффективность юридической системы. Кроме того, этот алгоритм может помочь правонарушителям, не предоставляющим большой угрозы, получить более легкие приговоры. Это можно перевести в большее количество лет свободы для них и огромную экономию для американских налогоплательщиков, которые оплачивают ежегодный тюремный счет в 70 миллиардов долларов. Однако поскольку анкета делает заключение об осужденном на основании пунктов, которые нельзя предъявить как свидетельства на суде, она несправедлива. И пусть она многим принесет пользу, другие от нее пострадают.

Ключевой компонент этого страдания – губительная петля обратной связи. Как мы уже увидели, модели вынесения приговоров, которые оценивают человека по его или ее личным обстоятельствам, помогают создать окружение, которое оправдывает эти допущения. Эта деструктивная петля продолжает затягиваться, в результате модель становится все более несправедливой.

Третий вопрос – есть ли у модели потенциал экспоненциального роста? Как спросил бы специалист по статистике, может ли она масштабироваться? Это может показаться праздной математической задачкой, но масштаб – именно то, что превращает ОМП из местных неприятностей в настоящее цунами, которое будет влиять на нашу жизнь и определять ее границы. Как мы увидим, развитие ОМП в сферах человеческих ресурсов, здравоохранения и банковского дела (и список этим далеко не ограничивается) быстро расширяет границы, в которых к нам применяется сила, очень похожая на неумолимую мощь закона. Если, к примеру, банковская модель отнесет вас в группу заемщиков высокого риска, то мир будет относиться к вам именно так – как к безнадежному неудачнику, даже если в модель вкралась ошибка. А когда эта модель масштабируется, как это уже случилось с кредитной моделью, она начинает оказывать влияние на всю вашу жизнь – удастся ли вам купить хороший дом, найти хорошую работу или приобрести хорошую машину, чтобы до этой самой работы добираться.

Когда дело доходит до масштабирования, у моделей вероятности рецидива хорошие перспективы. Они уже используются в большинстве штатов, причем модель LSI-R – самый распространенный вариант, используемый как минимум в 24 из них. Однако LSI-R – не единственный вариант: тюрьмы представляют собой оживленный и прибыльный рынок для специалистов по анализу данных. Система исполнения наказаний переполнена информацией, особенно с учетом то, что заключенные еще в большей степени лишены права на privacy , чем любой из нас. Более того, эта система настолько примитивна, неэффективна, дорога и бесчеловечна, что она просто вопиет о необходимости улучшений. Кто же в тюремной администрации будет против подобных дешевых решений?