Мередит Бруссард - Искусственный интеллект [Пределы возможного] [litres]

Власти Иллинойса задумали проводить онлайн-голосование, надеясь, что в результате больше людей примут участие и, значит, потенциально у властей будет возможность получить больше поддержки в будущем. Взглянув на веб-страницу с голосованием, моя подруга поняла, что может написать простенькую программу, которая постоянно голосовала бы за «землю Линкольна». Ей потребовалось несколько минут, чтобы написать ее. Она запускала ее снова и снова, выравнивая счетчик голосования в пользу своего фаворита. В итоге подруга победила с большим отрывом. А в 2003 г. именно этот дизайн был запущен в производство по всей стране.

В 2002 г., когда моя подруга рассказала мне об этом, история показалась забавной. Я до сих пор вспоминаю ее, когда роюсь в поисках разменной монеты в кармане и нахожу иллинойсский четвертной. Поначалу я соглашалась с ней в том, что голосование в рамках штата за дизайн монеты было безобидным розыгрышем, – но с течением времени поняла, насколько это было несправедливо с точки зрения властей. Администрация Иллинойса полагала, что получает объективный гражданский отклик. Но то, что они увидели в результате, – фокусы 20-летней девушки, которой стало скучно на работе. Ведь для властей штата это выглядело так, будто множество людей решило принять участие в гражданском голосовании. И, вероятно, они были счастливы участию тысяч людей в голосовании за дизайн монеты. Кроме того, десятки решений следовали за этим голосованием – о карьерах, повышениях, наконец, непосредственно в Министерстве финансов США.

Такого рода мошенничества случаются каждый час, ежедневно. Интернет, конечно, невероятное изобретение, и он вмещает в себя и неконтролируемое мошенничество, и целую сеть лжи, которая распространяется настолько быстро, что правила и законы попросту не успевают за ней. После президентских выборов 2016 г. наблюдался повышенный интерес к фейковым новостям. Однако никого из мира технологий не удивило то, что сфабрикованные материалы вообще существуют. Их скорее удивило то, что граждане отнеслись к этому настолько серьезно. «С каких это пор люди стали верить каждому слову в интернете?» – спросил меня наш программист. Он совершенно искренне не понимал, почему гражданам не известно, как веб-страницы создаются и публикуются в сети. А поскольку он этого не понимал, то и не мог принять тот факт, что некоторые воспринимают чтение чего-либо в интернете так же, как они воспринимают чтение материалов серьезного издательства. Это не одно и то же, но настолько похоже, что действительно легко перепутать проверенную информацию с непроверенной – если не обращать внимания на детали.

Некоторые – обращают.

Эта «добровольная слепота» образовалась по вине представителей техноиндустрии, и именно поэтому сегодня остро стоит необходимость в специальных технологиях и расследовательской журналистике, способной верифицировать алгоритмы и их создателей. «Лисы дежурили у курятника» с самого начала эры интернета. В декабре 2016 г. Ассоциация вычислительной техники – единственная профессиональная ассоциация исследователей в области вычислительной техники – объявила о введении поправок в свой этический кодекс. Это произошло впервые с 1992 г., и с тех пор возникало достаточно этических сложностей, однако представители ассоциации не были готовы мириться с той ролью, которую играли компьютеры в социальных вопросах. По счастью, новый этический кодекс рекомендует членам ассоциации обращать пристальное внимание на различные дискриминации, внедренные в «ДНК» вычислительных систем. Этого удалось добиться благодаря усилиям дата-журналистов и исследователей, занимающихся алгоритмической ответственностью [133] Pasquale, The Black Box Society; Gray, Bounegru, and Chambers, The Data Journalism Handbook; Diakopoulos, “Algorithmic Accountability”; Diakopoulos, “Accountability in Algorithmic Decision Making”; boyd and Crawford, “Critical Questions for Big Data”; Hamilton and Turner, “Accountability through Algorithm”; Cohen, Hamilton, and Turner, “Computational Journalism”; Houston, Computer-Assisted Reporting. .

Рассмотрим историю 18-летней Бриши Борден. Они с подругой дурачились в пригороде Флориды и заметили детские велосипед Huffy и скутер Razor, оба не на замке. Ребята подобрали их и попробовали покататься. Сосед вызвал полицию. «Борден с подругой арестовали и обвинили в воровстве и мелкой краже предметов на сумму $80», – описала события Джулия Ангвин из ProPublica [134] Angwin et al., “Machine Bias.” . Затем Ангвин сравнила тот случай с другим похожим нарушением, когда Вернон Пратер, 41 год, своровал из флоридского магазина Home Depot инструменты на $86,35. «Ему уже выносили приговор в попытке и затем осуществлении вооруженного ограбления – за что он пять лет отбывал тюремное заключение – в дополнение к еще одному вооруженному ограблению. У Борден была судимость, но за мелкое преступление в несовершеннолетнем возрасте», – пишет Ангвин [135] California Department of Corrections and Rehabilitation, “Fact Sheet.” .

У каждого из этих людей был собственный прогностический рейтинг ареста – знакомо по фильмам, верно? У Борден он был высоким, поскольку она чернокожая. А у Пратера – низким, поскольку он белый. COMPAS, алгоритм анализа риска, попытался спрогнозировать, какова вероятность рецидивного поведения и повторного совершения правонарушений у задержанных. Northpointe, создатель COMPAS, – одна из многих компаний, стремящихся улучшить практики поддержания общественного порядка посредством количественных методов. Это не какое-то злое намерение; в большинстве из этих компаний работают благонамеренные криминалисты, верящие в то, что они действуют в рамках научных представлений о преступном поведении и подкрепляют свою работу данными. Разработчики и криминалисты системы COMPAS действительно верили, что, внедряя математическую формулу в процесс оценки вероятности совершения повторного преступления, они делают благое дело. «На фоне только лишь субъективных суждений объективные и стандартизированные инструменты являются наиболее эффективными методами определения мер, которые следует применять к каждому конкретному заключенному» – читаем в справке к системе COMPAS от 2009 г. из Калифорнийского отделения реабилитации и коррекции.

Проблема заключается в том, что математика не работает. «У чернокожих подсудимых по-прежнему было 77 % риска совершения жестокого преступления и 45 % риска совершения любого другого преступления», – продолжает Ангвин. ProPublica также опубликовала данные, использованные для анализа. Что хорошо, поскольку этот акт способствовал прозрачности системы правосудия; другие люди могли скачать их, поработать с ними и самостоятельно верифицировать проделанную издательством работу. А сама история спровоцировала бурю внутри сообщества профессионалов ИИ и машинного обучения. Последовал шквал обсуждений – в вежливой академическое форме, то есть люди писали много докладов и публиковали их онлайн. Один из наиболее важных докладов вышел под авторством Джона Клейнберга, профессора теории вычислительных машин Корнеллского университета, Маниша Рагхавана, выпускника Корнелла, и Сендхилла Муллэнатана, профессора экономики из Гарварда. Авторы, воспользовавшись математическим аппаратом, доказали, что система COMPAS не может одинаково справедливо оценивать чернокожих и белых. Ангвин пишет: «Они выяснили, что прогностический рейтинг риска может быть либо одинаково верен, либо одинаково неверен по отношению ко всем расам – но не к обеим. Разница заключалась в частоте новых обвинительных приговоров по отношению к черным и белым. “Если у вас два типа населения с изначально разными рейтингами, – сказал Клейнберг, – невозможно равнозначно удовлетворить оба определения справедливости”» [136] Angwin and Larson, “Bias in Criminal Risk Scores Is Mathematically Inevitable, Researchers Say”; Kleinberg, Mullainathan, and Raghavan, “Inherent Trade-Offs in the Fair Determination of Risk Scores.” .