Джошуа Ганс - Искусственный интеллект на службе бизнеса

Разделение труда между человеком и компьютером оказалось эффективным, потому что устранило недостатки работы читающего – низкую скорость и недостаточную внимательность – и ошибки машинной интерпретации текста.

Ошибаются и люди, и машины. Не зная типичных неточностей, мы не понимаем, как объединить их для прогнозирования. Зачем? Согласно идее разделения труда, существующей еще с XVIII века, со времен экономики Адама Смита [38], – роли распределяются в соответствии со способностями. В нашем случае с целью прогнозирования разделение труда должно произойти между человеком и машиной. Для этого необходимо разобраться, какие обязанности лучше выполняют люди, а какие – компьютеры. Таким образом мы определим отдельные роли.

В известном психологическом эксперименте испытуемому показывали случайную последовательность Х и О и просили ее продолжить. Например, такую:

OXXOXOXOXOXXOOXXOXOXXXOXX

Почти все сразу замечают, что Х здесь больше, чем О , – если подсчитать, получится 60 % Х и 40 % О . Поэтому чаще выбирают Х и иногда разбавляют О . Однако для повышения шансов на точный прогноз нужно всегда выбирать Х . Тогда ответ окажется верным в 60 % случаев. Если рандомизировать 60/40 (как это делают большинство испытуемых), прогноз окажется верным только в 52 % случаев. И это немногим лучше, чем выбирать, вообще не задумываясь о соотношении Х и О , а просто угадывать (с вероятностью 50/50) [39].

Из подобных экспериментов напрашивается вывод, что из людей получаются плохие статистики даже в ситуации, когда они способны оценить вероятности. Такую ошибку не сделала бы ни одна прогностическая машина. Но люди, вероятно, не относятся к подобным задачам ответственно, для них это просто игра. Допускали бы они такие ошибки, если последствия были бы серьезнее, чем в игре?

Ответ на этот вопрос подтвержден психологами Дэниелом Канеманом и Амосом Тверски в многочисленных экспериментах: несомненно «да» [40]. Они предлагали людям решить задачу про две больницы: если в одной рождается 45 младенцев в день, а в другой 15, то в какой из них будет больше дней, когда 60 % новорожденных или более окажутся мальчиками? Верный ответ давали очень немногие – в маленькой. Он правильный, потому что чем больше количество событий (в данном случае рождений), тем выше вероятность, что итог каждого дня будет ближе к среднему (в данном случае к 50 %). Попробуем понять почему: представьте, что вы подбрасываете монетку. Вероятность выпадения нескольких орлов подряд выше, если подбросить монетку пять, а не пятьдесят раз. Таким образом, в маленькой больнице – потому что там рождается меньше младенцев – вероятность отклонений от среднего значения выше.

О подобных эвристических опытах и отклонениях написано немало книг [41]. Большинство людей не умеют составлять прогноз на основе статистических правил, поэтому нанимают специалистов. Но и те, к сожалению, не всегда могут избежать таких же отклонений и сложностей со статистикой во время принятия решений. Отклонениями заражены разнообразные сферы, такие как медицина, право, спорт и бизнес. Тверски вместе с исследователями Гарвардской школы медицины описывал медикам два вида лечения рака легких: лучевую терапию и операцию. На основании показателей выживаемости за пять лет он рекомендовал операцию. Для двух групп участников информацию о краткосрочной выживаемости после операции – более рискованного варианта, чем лучевая терапия, – сформулировали по-разному. Исходя из формулировки «в течение месяца выжили 90 % пациентов», операцию предпочли 84 % врачей, а когда данные перефразировали: «в первый месяц смертность составляет 10 %» – уже всего 50 %. Суть обоих вариантов одна и та же, а на решение влияла исключительно формулировка. Машина не учитывала бы ее.

Дэниел Канеман обнаружил множество ситуаций, когда специалисты не способны дать качественный прогноз на основе сложной информации. Опытные рентгенологи в оценке снимков в одном случае из пяти противоречили сами себе. Аудиторы, врачи клинической лабораторной диагностики, психологи и менеджеры демонстрировали такую же непоследовательность.

Канеман пришел к выводу: если для прогноза вместо человека возможно использовать формулу, так и следует поступать.

Низкое качество экспертных прогнозов стало темой книги Майкла Льюиса Moneyball [42]. Бейсбольная команда Oakland Athletics оказалась в затруднении после ухода трех лучших игроков, поскольку не располагала средствами приобрести новых. Ее менеджер Билли Бин (в фильме «Человек, который изменил всё» роль Бина исполнил Брэд Питт) для прогноза эффективности игроков использует статистическую систему Билла Джеймса. Билли и его аналитики махнули рукой на рекомендации скаутов и собрали собственную команду с помощью саберметрики [43]. Несмотря на скромный бюджет, команда обошла соперников и дошла до игр Мировой серии 2002 года. Суть новой системы заключалась в смене приоритетных критериев – вместо таких показателей, как кражи базы, средний уровень, баттинг [44], учитывались другие, в том числе эффективность на базе и процент сильных ударов. Заодно удалось исключить иногда совершенно непостижимую логику скаутов. Один из них в фильме обронил: «Его подружка – уродина. Значит, у него низкая самооценка». В свете подобных алгоритмов принятия решений неудивительно, что основанные на данных прогнозы в бейсболе взяли верх над человеческими.

Новые показатели учитывали вклад игрока в эффективность команды в целом. Прогностическая машина позволила подобрать в Oakland Athletics игроков с более низкими показателями по традиционной шкале оценки и, следовательно, более высокой ценностью из расчета отношения стоимости к повышению продуктивности команды. Без прогностики на их качества никто не обратил бы внимания. Oakland Athletics сыграли на отклонениях в свою пользу [45].

Явственное представление о проблемах с прогнозами, которые делают люди, даже если это опытные и маститые специалисты, дает исследование решений о выдаче под залог в судах США [46]. Ежегодно там принимается 10 млн таких решений – с последствиями для семьи, работы и других сфер жизни, не говоря уже о государственных расходах на тюремное содержание. Судья в своем решении должен исходить из того, не сбежит ли обвиняемый и не совершит ли другие преступления, будучи отпущенным под залог, а не из вероятности признания его виновным. Критерии ясные и четко описаны.

В исследовании использовали машинное обучение для разработки алгоритмов, прогнозирующих вероятность того, что данный обвиняемый совершит побег или снова нарушит закон, если его выпустить под залог. Обучающих данных было предостаточно: 750 тыс. человек, отпущенных под залог в Нью-Йорке с 2008 по 2013 год. В алгоритмы также включили список предыдущих правонарушений, предъявленные обвинения и демографические сведения.