Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Одной из причин беспокойства по поводу автоматизированного принятия решений является возможность алгоритмического смещения — тенденции алгоритмов машинного обучения генерировать неправомерно тенденциозные решения о ссудах, жилищных вопросах, рабочих местах, страховании, досрочном освобождении, тюремном заключении, зачислении в колледж и т. д. Явное применение таких критериев, как раса, в этих решениях незаконно уже много десятилетий во многих странах и запрещено статьей 9 Общего регламента по защите данных Евросоюза (GDPR) для очень широкого спектра приложений. Это, конечно, не значит, что, исключив расу из данных, мы обязательно получим расово непредубежденное решение. Например, еще с 1930-х гг. введенная правительством практика «красной черты» {9} 9 Страховая дискриминация старых или трущобных районов, часто сопутствующая расовой дискриминации. — Прим. пер. привела к тому, что территории, соответствующие некоторым почтовым индексам в США, оказались отрезаны от ипотечного кредитования и других видов инвестиций, что обернулось снижением стоимости недвижимости. Просто так совпало, что районы с этими индексами были населены главным образом афроамериканцами.

Во избежание политики «красной черты» сегодня только первые три цифры пятизначного почтового индекса могут использоваться при принятии решения о выдаче кредита. Кроме того, процесс принятия решения должен быть поднадзорным, чтобы гарантировать отсутствие любых других «случайных» тенденций. Часто утверждают, что GDPR обеспечивает всеобщее «право на объяснение» многих автоматизированных решений [182] Предложение Общего регламента по защите персональных данных, связанное с «правом на объяснение» в действительности не ново: оно очень близко статье 15 (1) Директивы о защите данных 1995 г., развитием которой является. , но в действительности требование статьи 14 — это всего лишь:

…достоверная информация о соответствующей логической схеме, а также о значимости и предполагаемых последствиях указанной обработки для субъекта данных.

В настоящее время неизвестно, как суды будут добиваться исполнения этого положения. Возможно, горемычному потребителю попросту вручат описание определенного алгоритма глубокого обучения, который использовался для натаскивания классификатора, принявшего решение.

Сегодня вероятные причины алгоритмического смещения связаны с данными, а не с намеренными злоупотреблениями корпораций. В 2015 г. журнал Glamour сообщил о неприятном открытии: «Первый связанный с женщиной результат выдачи Google по поисковому запросу „генеральный директор“ оказался лишь двенадцатым — и это была Барби». (В результатах 2018 г. были и реальные женщины, но большинство из них являлись моделями, изображавшими женщин-гендиректоров на стоковых фото; результаты поиска в 2019 г. немного лучше.) Это следствие не сознательной гендерной тенденциозности механизма ранжирования поиска изображений Google, а изначальной необъективности культуры, предоставляющей данные. Мужчин среди генеральных директоров намного больше, чем женщин, и когда люди хотят изобразить «типичного» гендиректора в подписанных изображениях, то почти всегда выбирают мужчину. То, что тенденциозность вызвана, прежде всего, данными, разумеется, не означает, что незачем предпринимать меры для решения этой проблемы.

Есть и другие, технические причины того, что наивное применение методов машинного обучения может привести к тенденциозным результатам. Например, меньшинства, по определению, хуже представлены в общенациональных выборках данных, отсюда прогнозы относительно отдельных представителей меньшинств могут быть менее точными, если делаются, главным образом, на основании данных, полученных от других членов той же группы. К счастью, много внимания уже уделяется проблеме устранения непреднамеренной необъективности из алгоритмов машинного обучения, и сейчас имеются методы, обеспечивающие неискаженные результаты согласно целому ряду обоснованных и приемлемых определений объективности [183] Три свежие статьи с глубоким математическим анализом справедливости: Moritz Hardt, Eric Price, and Nati Srebro, «Equality of opportunity in supervised learning», in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016); Matt Kusner et al., «Counterfactual fairness», in Advances in Neural Information Processing Systems 30, ed. Isabelle Guyon et al. (2017); Jon Kleinberg, Sendhil Mullainathan, and Manish Raghavan, «Inherent trade-offs in the fair determination of risk scores», in 8th Innovations in Theoretical Computer Science Conference , ed. Christos Papadimitriou (Dagstuhl Publishing, 2017). . Математический анализ этих определений объективности показывает, что соответствие им всем одновременно невозможно, и если это делается принудительно, то приводит к меньшей точности прогнозов, а в случае кредитных решений — к меньшей прибыли заимодавца. Возможно, это разочаровывает, но, по крайней мере, проясняет компромисс, сопутствующий устранению алгоритмического смещения. Будем надеяться, что знание об этих методах и о самой проблеме быстро распространится среди представителей власти, специалистов и пользователей.

Итак, передача машинам власти над отдельными людьми может вызывать проблемы. Как насчет власти над массами людей? А именно — должны ли мы доверять машинам роли политиков и управленцев? В настоящее время этот вопрос может показаться надуманным. Машины не способны поддерживать продолжительный разговор и не имеют фундаментального понимания факторов, связанных с принятием широкомасштабных решений, например о повышении минимальной заработной платы или отклонении предложения другой корпорации о слиянии. Однако тенденция очевидна: машины во многих сферах принимают все более высокоуровневые решения. Рассмотрим, к примеру, авиалинии. Сначала компьютеры помогали составлять расписание полетов. Вскоре они занялись подбором экипажей, бронированием мест и управлением текущей деятельностью. Затем они были подключены к всемирным информационным сетям, чтобы создавать в реальном времени отчеты о состоянии дел для менеджеров авиалиний, чтобы те могли эффективно решать возникающие проблемы. Теперь они берут на себя управление проблемами: изменение маршрутов и графиков работы персонала, изменение брони и пересмотр графика обслуживания оборудования.

Все это к лучшему с точки зрения экономики авиалиний и удобства пассажиров. Вопрос в том, остаются ли компьютерные системы инструментом для людей или люди становятся инструментом для компьютерных систем — поставляющим информацию и при необходимости исправляющим ошибки, но уже не имеющим сколько-нибудь полного представления о том, как работает вся система. Ответ становится ясен, когда система дает сбой и во всем мире воцаряется хаос, пока ее не вернут в онлайновый режим. Например, единственный компьютерный «глюк» 3 апреля 2018 г. привел к значительной задержке или отмене 15 000 полетов в Европе [184] Новостная статья о последствиях программного сбоя при управлении воздушным движением: Simon Calder, «Thousands stranded by flight cancellations after systems failure at Europe’s air-traffic coordinator», The Independent , April 3, 2018. . Когда биржевые алгоритмы вызвали в 2010 г. «обвал» на Нью-Йоркской фондовой бирже, уничтожив $1 трлн за несколько минут, единственным решением стало прервать операции. Что тогда произошло, до сих пор не вполне ясно.