Мередит Бруссард - Искусственный интеллект [Пределы возможного] [litres]

Мы создали колонку с данными о выживших и можем с вероятностью 97 % сказать, что результаты точны. Нам удалось выяснить, что стоимость проезда имела критическое значение в случае математического анализа данных о выживших на «Титанике». И это был слабый ИИ. Он оказался совсем не страшным, способным привести нас к предположению, что компьютерный сверхинтеллект захватит мир. «Это всего лишь статистические модели, такие же, какие используют в компании Google для прогнозирования ходов в играх или которые ваш телефон использует, чтобы сделать предположение о том, что именно вы сказали, чтобы перевести голосовой запрос в текст, – именно так описал ИИ Закари Липтон, профессор Университета Карнеги – Меллона для журнала Register . – Они не умнее миски с лапшой» [91] Quach, “Facebook Pulls Plug on Language-Inventing Chatbots?” .

Программисту легко писать алгоритм: он создается, используется и вроде работает. Никто не отслеживает его работу. Возможно, он попытается усовершенствовать точность прогнозов, слегка изменив параметры. Попытается добиться наилучшего результата. А затем перейдет к другой задаче.

Тем временем во внешнем мире за каждым результатом стоят определенные последствия. И неразумно было бы в действительности полагать, что в морских крушениях выживают те, кто платит больше. Хотя какой-нибудь управленец вполне мог бы посчитать такой вывод статистически оправданным. При прогнозировании страховых тарифов можно сказать, что люди, способные оплачивать более дорогие билеты, вероятнее всего, выживут в крушениях, связанных со столкновениями с айсбергами, и, таким образом, относятся к категории малого риска ранней выплаты. Эти люди богаче тех, кто не может себе позволить дорогой билет. Значит, у более обеспеченных граждан может быть дешевый страховой тариф. А это плохо! Ведь страховки нужны как раз для того, чтобы поровну распределить риск между широким спектром людей. Так зарабатывают деньги наши страховые компании, но это никак не способствует чему-то по-настоящему хорошему.

Похожие компьютерные технологии используются для оптимизации цены или узкого сегментирования покупателей, в результате которого разным людям предлагается разная цена. Оптимизация цены используется в самых разных отраслях – от страховой до туристической, а результаты нередко приводят к ценовой дискриминации. Согласно анализу, проведенному в 2017 г. ProPublica и Consumer Reports в Калифорнии, Иллинойсе, Техасе и Миссури, страховые тарифы на жилье, предложенные ключевыми компаниями жителям районов компактного проживания меньшинств, были на 30 % выше тарифов в других районах со сходными оценками аварийности [92] Angwin et al. “A World Apart.” . В 2014 г. аналитики The Wall Street Journal выяснили, что стоимость одного и того же степлера на staples.comразличается для разных покупателей – в зависимости от предполагаемого почтового индекса пользователя она была выше или ниже [93] Valentino-DeVries, Singer-Vine, and Soltani, “Websites Vary Prices, Deals Based on Users’ Information.” . Кристо Уилсон, Дэвид Лизер вместе с коллегами из Северо-Восточного университета выяснили, что разные цены предлагали покупателям homedepot.comи на туристических сайтах, в зависимости от того, просматривали ли они сайт с мобильных устройств или с компьютеров [94] Hannak et al., “Measuring Price Discrimination and Steering on E-Commerce Web Sites.” . Компания Amazon признала, что в 2000-х гг. экспериментировала с ценами подобным образом. Джеф Безос, основатель компании, принес свои извинения, назвав это «ошибкой» [95] Heffernan, “Amazon’s Prime Suspect.” .

В мире, где господствует неравенство и где мы создаем ценовые алгоритмы, анализирующие то, как выглядит мир, женщины, бедные и представители меньшинств будут неизбежно платить больше. Математиков это постоянно удивляет; а вот женщины, малообеспеченные и представители меньшинств не удивляются совершенно. Раса, пол, уровень жизни – очевидным и изощренным образом все эти факторы становятся значимыми. Для женщин стоимость парикмахерских услуг, химчистки, бритв и даже дезодоранта будет выше, чем для мужчин. Стоимость курсов подготовки к Академическому оценочному тесту (SAT) для американцев азиатского происхождения в два раза выше [96] Angwin, Mattu, and Larson, “Test Prep Is More Expensive – for Asian Students.” . Афроамериканцы получают меньше чаевых, чем их белые коллеги [97] Brewster and Lynn, “Black-White Earnings Gap among Restaurant Servers.” . Быть бедным также означает платить больше за предметы первой необходимости. Мебель, купленная в рассрочку, окажется дороже, чем покупка с немедленной оплатой. У «кредитов до получки» гораздо более высокий процент, чем у банковских займов. Жилищные условия считаются подъемными, если ежемесячный взнос составляет до 30 % заработной платы, однако бедным приходится априори платить больше из-за факторов банальной экономической нестабильности. «В Милуоки большинство бедных арендаторов платит как минимум половину собственного дохода, треть из них отдает и 80 %», – пишет социолог Пат Шарки в рецензии на две этнографические работы: Мэттью Десмонда «Изгнанные: Бедность и выгода американского города» (Evicted: Poverty and Profit in the American City) и Митчелл Дунае «Гетто: Изобретение места и история идеи» (Ghetto: The Invention of a Place, the History of an Idea) [98] Sharkey, “The Destructive Legacy of Housing Segregation.” . Феномен неравенства несправедлив, при этом он не является редкостью. И, если в рамках машинного обучения все это будет продолжаться, мы не сдвинемся с мертвой точки к более справедливому обществу. «Обаяние технологии объяснимо – в нем сошлись древние надежды на предсказание будущего с современным уклоном в статистическую строгость, – пишет в своей книге «Общество черного ящика» (The Black Box Society) профессор права и эксперт в области этики искусственного интеллекта Фрэнк Паскаль. – Тем не менее в обстановке секретности плохая информация, скорее всего, будет использоваться в качестве хорошей, что приведет к несправедливым и даже катастрофическим прогнозам» [99] Pasquale, The Black Box Society. .

Отчасти это происходит из-за того, что при принятии социальных решений мы пользуемся машинным обучением, при котором числа скрывают важный социальный контекст. В случае с «Титаником» мы выбрали классификатор выживания и для его предсказания обратились к известным факторам. Но могли быть и другие. Например, массив данных для «Титаника» включает в себя информацию о возрасте, поле и прочее. И прогноз был сделан с опорой на данные, которыми мы обладали. Однако, поскольку это событие не из математической задачки, а из реальной жизни, вероятнее всего, имели место и иные факторы.

Рассмотрим подробнее ночь катастрофы. От находящихся неподалеку судов «Титаник» получал множество предупреждений об айсбергах по своему курсу на 14 апреля 1912 г. В 23:42 лайнер столкнулся с айсбергом. Сразу после полуночи капитан Эдвард Джон Смит оповестил пассажиров и начал эвакуацию. Он отдал приказ: «Сажать женщин и детей, затем травить тали!» Первый офицер Уильям Мердок отвечал за спасательные шлюпки на правом борту. Второй офицер Чарльз Лайтоллер – за левый. Каждый из них по-разному понял приказ капитана. Мердок подумал, что капитан велел сажать в шлюпки женщин и детей в первую очередь . Лайтоллер посчитал, что сажать в шлюпку нужно только женщин и детей. В итоге Мердок сажал в шлюпку мужчин тогда, когда поблизости не оставалось женщин или детей. Лайтоллер сажал женщин и детей в шлюпки и затем опускал их на воду – даже если еще оставались свободные места. Оба опускали шлюпки, рассчитанные на 65 человек, даже тогда, когда они не были заняты полностью. При этом на борту было недостаточно шлюпок: всего 20 на 3547 человек, хотя, по самым скромным расчетам, на судне предполагалось 892 члена команды и 1320 пассажиров.