Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

В некоторых случаях – да. Если мы хотим равенства перед законом, хотим равенства в качестве избирателей, то мы не можем защищать системы, которые распределяют нас в разные касты и с каждой обращаются по-разному. Amazon и Netflix вправе раскладывать своих клиентов по сколь угодно малым группам и продавать им все что угодно. Но аналогичный алгоритм не может обеспечивать справедливость или демократию.

Движение по направлению к ревизии алгоритмов уже набирает обороты. Исследователи из Принстонского университета, например, запустили программу по изучению прозрачности и ответственности в Сети. Созданные ими боты «притворяются» людьми самых разных социологических типов – богатыми, бедными, мужчинами, женщинами, людьми с нестандартной психикой. Анализируя, как относятся к этим ботам поисковые системы и сайты по трудоустройству, можно обнаружить порочные детали моделей. Подобные проекты разрабатываются и в других академических учреждениях – университете Карнеги – Меллон и Массачусетском технологическом институте.

Научная поддержка подобных инициатив имеет огромное значение. В конце концов, чтобы обезвредить оружие математического поражения, нам нужны люди, умеющие создавать такое оружие. Такие люди способны извлечь из моделей ОМП достаточно большие массивы данных, чтобы можно было выявить несправедливости и другие перекосы, заложенные в модели. Имеет смысл запустить краудсорсинговые кампании, чтобы люди по всей стране могли в деталях рассказать о том, какие послания они получают от рекламщиков или политиков. Это может высветить методы и стратегии кампаний микротаргетирования.

Не все эти кампании обязательно порочны. Например, после президентских выборов 2012 года компания ProPublica проанализировала таргетированные политические обращения, использовавшиеся в ходе кампании за избрание Обамы. Разные группы, как выяснилось, слышали хвалебные высказывания о президенте от разных знаменитостей – каждое из них, предположительно, было адресовано определенной группе. Предоставив общественности статистическую информацию и развеяв загадочность, окружавшую модель, ProPublica уменьшила (пусть и совсем немного) основания для темных слухов и подозрений. Это уже хорошо.

Если рассматривать математические модели как двигатели цифровой экономики – а во многих аспектах это так и есть, – то в процессе аудита мы открываем капот и демонстрируем, как именно работает этот двигатель. Это принципиально важный шаг – затем нам предстоит снабдить эти мощные двигатели рулем и тормозами.

Аудит, однако, встречает сопротивление, в том числе и со стороны сетевых гигантов. Google , например, не позволил исследователям составить рейтинг ботов, чтобы можно было начертить «карту предвзятости» поискового алгоритма компании. Если же та или иная компания все-таки соглашается пройти проверку на предвзятость, она предпочитает, чтобы это была внутренняя проверка. Таким образом от посторонних защищаются внутренние механизмы действия алгоритма – и его предвзятости. Однако люди, находящиеся внутри системы, страдают, как и все мы, от предвзятости подтверждения и с большей вероятностью увидят то, что ожидают обнаружить. Они вряд ли будут задавать самые острые вопросы. И если они обнаружат несправедливости, которые, судя по всему, увеличивают прибыль Google … что ж, в таком случае это может привести к неприятным обсуждениям – из тех, что определенно лучше скрыть от общественности. Все это весомые деловые аргументы в пользу секретности. Однако по мере того как люди будут узнавать все больше об оружии математического поражения и требовать все большей прозрачности от информационно-коммуникационных компаний, я надеюсь, что у Google практически не останется выбора – ему придется впустить к себе людей со стороны.

То же касается и Facebook . Принципиальная политика этой социальной сети – привязывать пользователей к их реальным именам – жестко ограничивает исследования, которые могут провести в ней люди со стороны. Требование настоящего имени со многих точек зрения заслуживает восхищения, и не в последнюю очередь потому, что подталкивает пользователей к большей ответственности за то, что они публикуют у себя на страницах. Но и Facebook должен быть подотчетен всем нам – а это значит, что он должен открыть свою платформу большему числу аудиторов.

Правительство, конечно, может сыграть важную роль в регулировании – как и в годы первой промышленной революции, когда оно столкнулось со множеством человеческих трагедий. Оно может начать с усовершенствования уже существующих законов, а затем следить за их последовательным применением.

Как мы уже обсуждали в главе, посвященной кредитным историям, законы, защищающие права потребителей – такие как Закон об объективной кредитной отчетности (FCRA) и Закон о равном доступе к кредитам (ECOA), – должны были обеспечить справедливость кредитного скоринга. Закон FCRA гарантирует, что потребитель может видеть, какие данные включаются в его скоринг, – и исправить ошибки, если они там есть, – а ECOA запрещает ассоциировать кредитный рейтинг с расой или полом потребителя.

Эти регулирующие меры неидеальны и отчаянно нуждаются в доработке. Жалобы потребителя часто игнорируются, и ничто не помешает компании, занимающейся составлением кредитных рейтингов, использовать почтовые индексы в качестве прокси для расовой принадлежности. Итак, во-первых, мы должны требовать прозрачности. Каждый из нас должен иметь право получать уведомление, когда наш кредитный скоринг используется, чтобы составить о нас какое-либо суждение или провести проверку. И каждый из нас должен иметь доступ к информации, которая используется для подсчета нашего скоринга. Если эта информация неверна, то мы должны иметь право подать апелляцию и исправить ошибку.

Во-вторых, регулирующие нормы должны быть расширены, чтобы они охватили и такие новые типы кредитных компаний, как Lending Club , который использует новомодные e-scores для предсказания вероятности того, что мы не вернем кредит. Таким компаниям не должно быть позволено действовать в серой зоне. Закон о защите прав граждан с ограниченными возможностями (ADA), который защищает таких людей от дискриминации на работе, также нуждается в доработке. Сегодня он запрещает медицинское освидетельствование как обязательное условие трудоустройства. Но нам нужно внести в закон поправки, касающиеся личностных тестов, а также рейтинга здоровья и репутации. Все компании, использующие такие данные, в данный момент обходят закон, и нельзя им этого позволять. Одна из возможностей, которая сейчас уже обсуждается, включает в себя «предсказуемые» проблемы со здоровьем в будущем. Другими словами, если анализ генома показывает, что у человека высокий риск заболеть раком груди или болезнью Альцгеймера, это не должно мешать ему устроиться на работу.