Джошуа Ганс - Искусственный интеллект на службе бизнеса

Машинный прогноз оказался точнее человеческого. Например, согласно прогнозу, из 1 % обвиняемых, причисленных машиной к самым опасным, 62 % совершат преступление, будучи отпущенными под залог. Судьи же (у которых не было доступа к прогнозам машины) выпустили почти половину из них. Прогноз оказался почти идеальным – 63 % обвиняемых действительно совершили повторные преступления, а половина из них не явилась на следующее заседание суда. Из них 5 % совершили изнасилования и убийства.

Если бы судьи последовали рекомендациям машины, то могли бы отпустить то же количество обвиняемых и снизить показатель преступности среди выпущенных под залог на 75 %. Или сохранить показатели преступности и посадить за решетку вдвое меньше обвиняемых [47].

В чем же дело? Почему прогноз судей так заметно расходится с машинным? Одна из причин, возможно, в том, что судьи пользуются недоступной алгоритмам информацией, скажем, внешностью и поведением обвиняемых в суде. Она бывает полезной, но может и вводить в заблуждение. С учетом высоких показателей совершения преступлений выпущенными под залог разумно заключить, что последнее более вероятно; прогнозы судей никуда не годятся. В исследовании достаточно и других подтверждений данного неутешительного вывода.

Прогностика в такой ситуации представляет сложность для человека из-за неоднозначных факторов, влияющих на показатели преступности. Прогностические машины гораздо лучше людей определяют факторы сложных взаимодействий отдельных показателей.

Получается, когда вы уверены, что прошлые преступления обвиняемого повышают риск побега, машина подсчитывает, что это произойдет только в случае, скажем, если он не сможет найти работу в течение определенного периода. Иными словами, эффект взаимодействия может быть важнее, а поскольку многоплановость таких взаимодействий возрастает, способность человека к составлению точных прогнозов снижается.

Отклонения не просто проявляются время от времени в медицине, бейсболе и суде, это неотъемлемая часть любой профессиональной деятельности. Специалисты обнаружили, что и менеджеры, и рабочие прогнозируют часто – причем с полной уверенностью, – не догадываясь, что их предположения несостоятельны. Занимаясь исследованием 15 агентств по найму неквалифицированных рабочих, экономисты Митчелл Хоффман, Лиза Кан и Даниэль Ли обнаружили: когда решения по найму принимались на основании объективного проверяемого теста и обычного собеседования, стаж работы на следующем месте был выше на 15 %, чем в результате одного только собеседования [48]. А перед менеджерами при этом стояла задача по увеличению стажа.

Достаточно объемный тест включал вопросы на проверку когнитивных способностей и соответствие обязанностям. А после того как свободу действий менеджеров ограничили – запретили аннулировать баллы при неудовлетворительных результатах теста, – стаж дополнительно вырос и доля увольнений по собственному желанию снизилась. Итак, даже с учетом поставленной задачи по увеличению продолжительности стажа и при наличии весьма точных машинных прогнозов менеджеры все же умудрялись делать неверные предположения.

Бывший министр обороны Дональд Рамсфелд однажды сказал:

«Есть известные известные – вещи, в знании которых мы уверены. Еще есть известные неизвестные – когда мы знаем, что есть кое-что, чего мы не знаем. Но есть еще и неизвестные неизвестные – мы их не знаем и не подозреваем об их существовании. Если посмотреть на историю нашей страны и других свободных государств, самой сложной является последняя категория» [49].

Это обеспечивает удобную структуру понимания условий, на которых «спотыкаются» прогностические машины. Первое: «известные известные» – это наличие большого объема данных, когда есть уверенность в правильности прогноза. Второе: «известные неизвестные» – когда данных мало и очевидно, что сделать прогноз будет сложно. Третье: «неизвестные неизвестные» – события, не знакомые по опыту или не имеющиеся в данных и тем не менее вероятные, поэтому прогнозировать их трудно, хотя мы можем об этом не подозревать. И наконец, не упомянутая Рамсфелдом категория – «неизвестные известные»: когда подтвержденный в прошлом опыт представляет собой результат неизвестного или ненаблюдаемого фактора, изменяющегося со временем, из-за чего прогноз становится ненадежным. Прогностические машины ошибаются именно в тех случаях, когда не могут исходить из хорошо известных рамок статистики.

С достаточным объемом данных машинный прогноз чаще всего верен. Машине известна ситуация, она выдает качественный прогноз, и мы убеждаемся в этом. Вот что составляет зону комфорта нынешнего поколения машинного интеллекта: выявление мошенничества, медицинская диагностика, бейсбол и решения по выпуску осужденных под залог – все попадает в эту категорию.

Даже лучшие на сегодня (и ближайшее будущее) прогностические модели требуют огромного количества данных. Следовательно, в случаях, когда их не хватает, точность прогноза соответственно понизится. Мы знаем, чего мы не знаем: известные неизвестные.

Недостаток данных обычно сопутствует достаточно редко происходящим событиям, поэтому их прогнозировать сложно. Президентские выборы в США проводятся только раз в четыре года, а кандидаты и политическая обстановка всегда разные. Предугадать итоги президентских выборов на несколько лет вперед практически невозможно. Как показали выборы 2016 года, трудно предположить итоги даже недели или хотя бы одного дня. Крупные землетрясения тоже достаточно редки (к счастью), и прогнозировать, когда они произойдут, где и с какой интенсивностью, пока нереально (но сейсмологи работают над этим) [50].

В отличие от машин, людям иногда отлично удаются прогнозы на основе ограниченного объема данных. Мы опознаём лица, даже если видели их лишь пару раз и в другом ракурсе. Сорок лет спустя мы узнаём одноклассника, с которым учились в четвертом классе, как бы он ни изменился внешне. С ранних лет мы угадываем траекторию полета мяча (даже если у нас еще недостаточно развита координация, чтобы его поймать). Мы легко проводим аналогии, усмотрев схожие с прошлым опытом обстоятельства в новой ситуации. Например, ученые в течение нескольких десятилетий представляли атом как миниатюрную солнечную систему, и во многих школах его до сих пор так и описывают [51].

IT-специалисты стараются снизить потребность машин в данных и разрабатывают такие методы, как «обучение на одном примере», в которых машины учатся прогнозировать объекты, увидев их единожды, но полный успех пока не достигнут [52]. Поскольку люди пока лучше умеют прогнозировать на основе известных неизвестных, можно запрограммировать машины так, чтобы в подобных ситуациях они призывали человека на помощь.