Ханна Фрай - Hello World. Как быть человеком в эпоху машин

Это не умаляет важности проделанной интернет-изданием работы. Журналистское расследование показало, как легко алгоритмы закрепляют былое неравенство. Но и для алгоритма это тоже не оправдание. Если компания зарабатывает на анализе персональных данных, то, с точки зрения морали (если уж не закона), она обязана отвечать за свои промахи и недостатки методики расчета. Однако компания Equivant (бывшая Northpointe ), разработчик алгоритма COMPAS, по-прежнему держит его детали в строжайшем секрете под предлогом защиты интеллектуальной собственности [120] [121].

Здесь возможны варианты. Алгоритмы такого типа не содержат каких-либо неотъемлемых элементов, из-за которых обязательно должны были бы проявиться пережитки прошлого. Все зависит только от исходных данных. Мы можем оставаться, как выразился Ричард Берк, “твердолобыми эмпириками” и довольствоваться имеющимися показателями, а можем признать несправедливость нынешней ситуации и с учетом этого скорректировать цифры.

В качестве иллюстрации попробуем поискать в Google картинки по запросу “профессор математики”. Вы получите несметное множество изображений белого мужчины средних лет на фоне исписанной формулами доски — хотя, возможно, ничего другого вы и не ждали. В первой двадцатке картинок я обнаружила одну-единственную женщину, что отражает реальность с удручающей достоверностью: среди профессоров математики примерно 94 % — мужчины [122]. Однако при любой точности расчета можно было бы возразить, что алгоритм — не самое подходящее зеркало для нашего мира, особенно если отраженная в нем нынешняя реальность — всего лишь результат многовекового неравноправия. Но Google при желании мог бы слегка подправить свой алгоритм, так чтобы первыми показывались ссылки с профессорами женского пола или другой расы, немного уравновесить таким образом поиск и создать картину не реального мира, а мира нашей мечты.

В судебной системе происходит то же самое. В сущности, алгоритм позволяет нам поставить вопрос так: какая доля данной социальной прослойки предположительно попадет в группу высокого риска при абсолютно справедливом устройстве общества? Программа может сразу выдать численный ответ. Или, если нам кажется, что нецелесообразно одним махом исключать все перекосы в судопроизводстве, можно велеть алгоритму идти к конечному результату поэтапно.

Кроме того, к оценке подсудимых из группы высокого риска тоже можно подходить по-разному. В случае освобождения под залог, когда главный фактор для машинного прогноза — это риск неявки обвиняемого в суд в назначенный день и час, стандартным решением станет отказ всем обвиняемым из группы высокого риска. Однако можно было бы предусмотреть в алгоритме и выяснение вероятных причин неявки в суд. Есть ли у подсудимого возможность приехать в суд? Может быть, родительские обязанности помешали ему явиться вовремя? Нельзя ли написать программу так, чтобы социальные диспропорции не усугублялись, а сглаживались?

Ответы на эти вопросы скорее найдутся не на советах директоров частных компаний, а в открытых общественных дискуссиях и на заседаниях правительства. Отрадно, что все громче звучат призывы наладить в этой сфере контроль за компьютерными программами. Подобно тому, как Управление по контролю качества продуктов питания и лекарств (FDA) следит за состоянием дел в американской фармацевтике, аналогичный регулирующий орган, не вынося сор из избы, проверял бы, насколько верны, согласованны и справедливы решения, и обладал бы полномочиями одобрять или запрещать применение того или иного программного продукта в работе с живыми людьми. А пока этого не произошло, очень хорошо, что ProPublica и ей подобные организации неустанно привлекают алгоритмы к ответу. Ровно до тех пор, пока не будет выдвинуто требование запретить все алгоритмы, которым инкриминировали несправедливые оценочные методики. По крайней мере, стоит хорошенько подумать, куда они могут нас завести, если мы их сохраним.

Мучительный выбор

Мы должны обсудить жизненно важный вопрос. Если вообще отказаться от помощи компьютеров, какую судебную систему мы получим? Ведь разнобой в решениях — не единственная беда, с которой, как выяснилось, сталкиваются судьи.

По закону, классовые, расовые и гендерные различия не должны влиять на приговор. (Все-таки предполагается, что Фемида слепа.) Но несмотря на то, что судьи в подавляющем большинстве стараются сохранять объективность, мы вновь и вновь наблюдаем случаи дискриминации. Как показали проведенные в США исследования, чернокожие обвиняемые в среднем отправляются в тюрьму на более долгий срок [123], у них меньше шансов выйти на свободу под залог [124]и больше — оказаться в камере смертников [125], при этом вероятность приведения смертного приговора в исполнение для них выше [126]. Были сделаны и другие выводы: за одни и те же преступления мужчины получают более суровые приговоры, чем женщины [127], а обвиняемые с относительно низким уровнем доходов и образования — гораздо более продолжительные сроки [128].

Как и для компьютерных программ, далеко не всегда необъективность объясняется явными предрассудками, поскольку история повторяется. Социальные и культурные предубеждения могут стать неизбежным следствием действий, которые совершаются для выбора решения.

Чтобы найти причины, сначала надо на самом элементарном уровне разобраться в том, как работает интуиция, поэтому на минутку отлучимся из зала суда и попробуем решить такую задачку:

Бита в комплекте с мячом стоит 1 фунт 10 пенсов.

Бита на 1 фунт дороже мяча.

Сколько стоит мяч?

Задачка из великолепной книги экономиста и психолога, нобелевского лауреата Даниэля Канемана “Думай медленно… решай быстро” [129]указывает нам, в какую коварную ловушку мы все попадаемся, пока размышляем.

Чтобы найти правильный ответ, надо немного подумать, зато неправильный готов сорваться с языка мгновенно. Наверняка вы едва не выпалили: “Десять пенсов!” [130]

Не расстраивайтесь, если не угадали (5 пенсов) — 71,8 % судей тоже промахнулись. Даже тем, кто справился с задачкой, надо было подавить в себе первый интуитивный порыв.

История с судейскими решениями объясняется той самой борьбой между интуицией и зрелым размышлением. В целом психологи сходятся на том, что у нас есть два способа мышления. Система 1 — это автоматическое, инстинктивное мышление с высокой вероятностью ошибки. Это она заставляет нас среагировать мгновенно и ответить: десять пенсов. Система 2 — медленные, вдумчивые, осознанные рассуждения, хотя зачастую эта система довольно ленива [131] [132].

Если спросить человека, как он решал задачу, окажется, что ход его мысли направляла Система 2 — но, как говорит Даниэль Канеман, “Система 2 нередко подтверждает или обосновывает логически те идеи и ощущения, которые сгенерировала Система 1” [133].