Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Бернштейн собрала данные из нескольких источников – экономическая информация ООН, статистика по регионам с наивысшим процентом принудительного труда, детальная информация о компонентах тысяч промышленных товаров – и внесла все это в модель, оценивающую вероятность того, что определенный продукт из определенного региона может быть изготовлен с участием рабского труда. В интервью журналу Wired Бернштейн рассказывала:

Идея заключается в том, что пользователь свяжется со своим поставщиком и скажет: «Расскажите мне подробнее о том, где вы раздобыли вот эти детали от ваших компьютеров?» Как и многие другие ответственные модели, детектор рабства не делает далеко идущих выводов. Он просто указывает на подозрительные места – а завершающую часть охоты должны провести люди.

Некоторые компании, несомненно, обнаружат, что казавшийся подозрительным поставщик действует в рамках закона (все модели таки или иначе производят ложноположительные результаты). Вся информация возвращается в организацию «Сделано в свободном мире», где Бернштейн изучает обратную связь.

Еще одна модель, нацеленная на общественное благо, появилась в сфере социальной помощи. Это предиктивная модель, которая указывает на семьи, где дети с наибольшей вероятностью могут подвергаться насилию. Модель, разработанная некоммерческой организацией Eckerd , занимающейся помощью детям и семьям, начала работу в 2013 году в округе Хиллсборо (пригород Тампы, штат Флорида). За предыдущие два года девять детей в этом районе погибли от насильственных действий – в том числе младенец, которого просто выбросили из окна автомобиля. Создатели модели включили в свою базу данных 1500 случаев насилия над детьми, в том числе со смертельным исходом. Они обнаружили некоторое количество маркеров, указывающий на высокий риск ненадлежащего обращения с детьми, включая наличие у матери сожителя, задокументированные в прошлом употребление наркотиков и случаи домашнего насилия, а также тот факт, что родитель в детстве находился в системе патронажного воспитания.

Если бы это была программа выявления потенциальных преступников, вы бы сразу увидели, какой она могла бы быть несправедливой. То, что родитель жил в детстве у временных приемных родителей или проживает с партнером, не должно быть поводом для подозрений. Более того, эта модель с гораздо большей вероятностью выявит бедняков – и пропустит потенциальные случаи насилия в богатых районах.

Однако если поставить целью не наказание родителей, а помощь детям, то потенциальное оружие математического поражения превращается в полезный инструмент. За два года, прошедшие с начала применения модели, в округе Хиллсборо, по данным газеты Boston Globe , не было ни одного случая насилия над детьми со смертельным исходом.

Модели, подобные этой, в изобилии появятся в будущем. Они будут оценивать наш риск заболеть остеопорозом или получить инсульт, поспешат на помощь студентам, готовящимся к экзамену, и даже предскажут, кто с большей вероятностью пострадает от серьезных жизненных неудач. Многие из этих моделей, как и некоторые из видов ОМП, которые мы обсуждали, будут созданы из самых лучших побуждений. Но они должны также быть прозрачными: наглядно демонстрировать, какая именно информация в них заложена, а также раскрывать полученные результаты. В конце концов, это мощные механизмы – и мы должны за ними присматривать.

Данные никуда не денутся. Как и компьютеры, и, конечно, математика. Предиктивные модели все чаще будут становиться инструментами, которые мы используем, чтобы управлять нашими институтами, расходовать наши ресурсы и организовывать наши жизни. Но, как я пыталась показать на протяжении всей книги, эти модели сконструированы не только из данных, но и из нашего человеческого выбора – на что обратить внимание в этих данных, а какие из них пропустить. Этот выбор касается не только логистики, выгоды и эффективности. Он покоится на морали.

Если мы от этого отойдем и будем относиться к математическим моделям как к нейтральной и неизбежной силе, вроде погоды или приливов, мы тем самым откажемся от ответственности. И результатом станет, как мы уже видели, оружие математического поражения, которое обращается с нами как с винтиками механизма, карает работников и паразитирует на неравенстве. Мы должны объединиться, чтобы контролировать это оружие и обезвредить его. Я надеюсь, что о нем будут вспоминать как о смертельно опасных шахтах прошлых столетий – как о реликтах ранних дней новой революции, когда мы еще не научились делать Большие данные справедливыми и подотчетными. Математика заслуживает гораздо большего, чем оружие математического поражения, – и демократия тоже.

С. 14 … половина старшеклассников едва дотягивала до конца девятого класса… : Robert Stillwell. Public School Graduates and Dropouts from the Common Core of Data: School Year 2006–07, NCES 2010–313. Washington, DC: National Center for Education Statistics, Institute of Education Sciences, US Department of Education. 2009. 5. http://nces.ed.gov/pubsearch/pubsinfo.asp?pubid=2010313.

…лишь 8 % восьмиклассников… : Jihyun Lee, Wendy S. Grigg, Gloria S. Dion. The Nation’s Report Card Mathematics 2007, NCES 2007–494. Washington, DC: National Center for Education Statistics, Institute of Education Sciences, US Department of Education. 2007. 32. https://nces.ed.gov/nationsreportcard/pdf/main2007/2007494.pdf.

Ри разработала инструмент оценки учителей …: Bill Turque. Rhee Dismisses 241 D. C. Teachers; Union Vows to Contest Firings // Washington Post. 2010. July 24. www.washingtonpost.com/wp-dyn/content/article/2010/07/23/AR2010072303093.html.

…федеральный округ уволил всех преподавателей… : Steven Sawchuck. Rhee to Dismiss Hundreds of Teachers for Poor Performance // Education Week Blog. 2010. July 23. http://blogs.edweek.org/edweek/teacher beat/2010/07/_states_and_districts_across.html.

С. 15 …еще 5 %, или 205 учителей, были уволены… : Bill Turque.

206 Low-Performing D. C. Teachers Fired // Washington Post. 2011. July 15. www.washingtonpost.com/local/education/206-low-performing-dc-teachers-fired/2011/07/15/gIQANEj5GI_story.html.

…У Сары Высоцки, учительницы пятого класса… : Bill Turque. ‘Creative… Motivating’ and Fired // Washington Post. 2012. March 6. www.washingtonpost.com/local/education/creative-motivating-and-fired/2012/02/04/gIQAwzZpvR_story.html.

С. 17 «Есть столько факторов, которые вмешиваются в процесс обучения…» : Сара Высоцки. Интервью с автором по электронной почте. 2015. 6 августа.

С. 20 …учитель математики Сара Бакс …: Guy Brandenburg. DCPS Administrators Won’t or Can’t Give a DCPS Teacher the IMPACT Value-Added Algorithm // GFBrandenburg’s Blog. 2001. February 27. 2011. https://gfbrandenburg.wordpress.com/2011/02/27/dcps-administrators-wont-or-cant-give-a-dcps-teacher-the-impact-value-added-algorithm/.

С. 21 …уровень чтения 29 % учащихся… : Turque. ‘Creative… Motivating’ and Fired.

…журналистские расследования, проведенные газетами The Washington Post и USA Today… : Jack Gillum, Marisol Bello. When Standardized Test Scores Soared in D. C., Were the Gains Real? // USA Today. 2011. March 30. http://usatoday30.usatoday.com/news/education/2011–03–28–1Aschooltesting28_CV_N.htm.

…получить бонусы суммой до восьми тысяч долларов : там же.

С. 22 …исправления были «подозрительными»… : Turque. ‘Creative… Motivating’ and Fired.”