Кэролайн Криадо Перес - Невидимые женщины [Почему мы живем в мире, удобном только для мужчин. Неравноправие, основанное на данных] [litres]

К счастью, сегодня у нас есть нужные данные, но используют ли их программисты для исправления своих алгоритмов, страдающих от «мужского перекоса», покажет будущее. Будем надеяться, что они это сделают, потому что машины не просто отражают наши предубеждения. Иногда они усиливают их, и весьма значительно. Результаты исследования баз данных изображений 2017 г. показали, что на фотографиях процесса приготовления пищи женщины присутствуют на 33 % чаще мужчин, но алгоритмы, обученные на этих базах данных, «подключали» женщин к изображениям кухонь на 68 % чаще. В ходе этого исследования было также установлено, что чем выше изначальный «мужской перекос», тем больше он впоследствии усиливается. Возможно, именно этим объясняется, почему в описании фотографии совершенно лысого мужчины, стоящего у плиты, алгоритм указал, что это женщина. Стереотипная ассоциация «кухня – женщина» оказалась сильнее ассоциации «лысина – мужчина».

Джеймс Зоу, доцент кафедры биомедицинских исследований Стэнфордского университета, объясняет, почему все это так важно. Он приводит следующий пример. Допустим, работодателю нужен программист. Он ищет работника в сети с помощью алгоритма, разработанного на основе базы данных, в которой эта профессия ассоциируется преимущественно с мужчинами [714] https://phys.org/news/2016-09-gender-bias-algorithms.html . . Не исключено, что алгоритм сочтет сайт программиста-мужчины более заслуживающим внимания, чем сайт программиста-женщины, – «даже если сайты совершенно идентичны, за исключением имен и местоимений». Точно так же алгоритм с «мужским перекосом», обученный с помощью речевого корпуса, страдающего нехваткой гендерных данных, может в буквальном смысле оставить женщину без работы.

Поиск специалистов в сети – лишь верхушка айсберга, лишь малая часть проблемы, связанной с тем, что процесс принятия решений сегодня перекладывается на алгоритмы. По данным The Guardian , в США 72 % резюме соискателей при приеме на работу уже не читаются людьми [715] https://www.theguardian.com/science/2016/sep/01/how-algorithms-rule-our-working-lives . , а роботы даже проводят собеседования. Встроенные в них алгоритмы позволяют имитировать мимику и интонации топ-менеджеров [716] https://www.theguardian.com/technology/2018/mar/04/robots-screen-candidates-for-jobs-artificial-intelligence?CMP=twt_gu . . Звучит прекрасно – до тех пор, пока не вспомнишь о возможной нехватке данных. Позаботились ли программисты о том, чтобы в число успешных соискателей входили и женщины, и представители этнических меньшинств? А если нет, как поведет себя алгоритм? Сможет ли он учесть гендерные различия в тональности голоса и выражении лица при собеседовании? Мы этого не знаем, потому что компании, разрабатывающие алгоритмы, хранят свои продукты в секрете. Однако на основании имеющихся данных можно предположить, что гендерные различия вряд ли будут приняты во внимание.

Технологии искусственного интеллекта используются и в медицине – для диагностики заболеваний. В будущем они могут стать хорошим подспорьем для врачей, но в настоящее время их значение явно преувеличивается [717] https://www.techemergence.com/machine-learning-medical-diagnostics-4-current-applications/ . . Применение таких технологий в диагностике, похоже, сопровождается недостаточным (или вовсе отсутствующим) осознанием постоянного и документально подтвержденного дефицита медицинской статистики, касающейся женщин [718] http://www.bbc.co.uk/news/health-42357257 . . Это может обернуться катастрофой и привести к фатальным последствиям, особенно учитывая эффект усиления предвзятости в процессе машинного обучения. Поскольку наши знания о человеческом организме страдают сильным «мужским перекосом», технологии искусственного интеллекта способны лишь снизить, а не повысить точность диагностики для женщин.

К сожалению, пока мало кто понимает, что в этой области назревает серьезная проблема. Ученые, анализировавшие базу данных на основе Google News в 2016 г., указывают, что ни в одной из «сотни научных работ», посвященных практическому применению программ, использующих словесные ассоциации, не говорится о том, насколько «вопиюще сексистскими» являются базы данных. Авторы исследования баз данных изображений, снабженных описаниями, тоже подчеркивают, что они «первыми продемонстрировали эффект усиления “мужского перекоса” при использовании моделей структурного обучения, и первыми предложили методы смягчения этого эффекта».

Сегодняшний подход к дизайну продуктов ставит женщин в невыгодное положение по сравнению с мужчинами. Он мешает им нормально работать, а иногда, что немаловажно, даже получить работу. Он негативно влияет на их здоровье и безопасность. И, хуже того, существуют доказательства того, что такой подход закладывается и в алгоритмы, которые делают наш мир еще более неравноправным. Однако эти проблемы вполне решаемы – при условии, что мы признаем их существование. Авторы исследования, показавшего, что слово «женщина» автоматически ассоциируется со словом «домохозяйка», разработали новый алгоритм, более чем на две трети смягчающий гендерные стереотипы – например, «что doctor (“врач”) – обязательно he (“он”), а nurse (“медсестра” или “медбрат”) – обязательно she (“она”)» – и оставляющий лишь вполне уместные указания на половую принадлежность, (например, «он» применительно к «страдающему раком предстательной железы» или «она» применительно к «страдающей раком яичников») [719] Bolukbasi et al. (2016). . А авторы исследования 2017 г., посвященного интерпретации изображений, разработали новый алгоритм, уменьшающий эффект усиления «мужского перекоса» в процессе машинного обучения на 47,5 %.

Когда в 2013 г. Яника Альварес собирала деньги на создание своего высокотехнологичного стартапа Naya Health Inc., ей с трудом удавалось заставить инвесторов относиться к ней всерьез. На одной из встреч «инвесторы погуглили мой продукт и оказались на порносайте. Они зависли на нем и начали отпускать шуточки». Яника Альварес чувствовала себя «как девушка, случайно забредшая на собрание студенческого братства» [720] https://www.bloomberg.com/news/articles/2017-09-21/a-smart-breast-pump-mothers-love-it-vcs-don-t . . Других инвесторов продукт «шокировал». Были и такие, которые «вообще не понимали, что это такое», а один мужчина даже сказал, что «ни за что не возьмет эту штуку в руки, потому что она вызывает у него отвращение» [721] Там же. . Что же это был за гнусный, отвратительный, странный и непонятный продукт, на производство которого Яника Альварес пыталась собрать деньги? Знай, читатель: это был молокоотсос.

Что интересно, молокоотсосы – продукт, давно созревший для «прорывных инноваций», если бы таковые могла предложить Кремниевая долина. Производство устройств для сцеживания грудного молока – процветающий бизнес, особенно в США. В этой стране нет официальных декретных отпусков, и большинству американок, стремящихся следовать рекомендациям врачей и кормить детей грудью до полугода (на самом деле Американская академия педиатрии рекомендует кормить ребенка грудью до года), приходится сцеживать молоко [722] https://www.newyorker.com/business/currency/why-arent-mothers-worth-anything-to-venture-capitalists/amp . .