Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

«В программе возник сбой, который мог заставить Каспарова неправильно оценить способности Deep Blue, – рассказал Кэмпбелл. – Однако Каспаров даже не стал рассматривать вероятность того, что это был сбой». Сбой возник на 44‑м ходу первой игры против Каспарова; программа не смогла выбрать следующий ход и обратилась к последнему средству – совершенно случайному ходу . Сбой был довольно непоследовательным и возник в момент, когда позиция компьютера уже была проигрышной. Кэмпбелл и команда исправили его на следующий день. «Мы видели нечто подобное чуть раньше, в ходе тестовой игры, и думали, что уже с этим справились, – рассказал он. – К сожалению, кое-что мы тогда упустили». Однако этот сбой сыграл Deep Blue на руку – возможно, что именно он, в конечном итоге, позволил компьютеру обыграть Каспарова. В пересказах матча Каспарова против Deep Blue считается, что проблема возникла во второй партии – когда Каспаров допустил почти беспрецедентную ошибку и отказался от продолжения игры, исходом которой могла стать ничья. Однако что заставило Каспарова совершить ошибку? Беспокойство, вызванное 44‑м ходом Deep Blue в первой игре – ходом, когда компьютер передвинул ладью без какой-либо явной цели. Каспаров предположил, что странное поведение компьютера представляет собой знак высшего интеллекта. Он даже не мог подумать о том, что случившееся оказалось результатом простого сбоя.

Несмотря на то что мы активно полагаемся на технологии XXI в., у нас до сих пор остались слепые пятна Эдгара Аллана По, касающиеся роли, которую машины играют в нашей жизни. Компьютер заставил Каспарова ошибиться, но лишь из-за неправильного кода программы.

Компьютеры умеют очень быстро производить расчеты. Более того, мы можем рассчитывать, что они будут делать это безупречно – не уставая, не подчиняясь эмоциям и не меняя настроения во время игры.

Но это не значит, что компьютеры всегда создают идеальные прогнозы (или даже хорошие). Эта проблема отлично описывается аббревиатурой GIGO (garbage in, garbage out, или «мусор на входе – мусор на выходе»). Если «скормить» компьютеру плохие данные или создать неправильный набор инструкций для анализа, он не сможет превратить грязь в золото. Кроме того, компьютеры довольно плохо исполняют задачи, требующие креативности и воображения, такие как разработка стратегии развития или теории о том, как работает мир.

Таким образом, компьютеры более всего полезны прогнозистам в таких областях, как прогнозирование погоды и шахматы, где система следует сравнительно простым и понятным законам, но где уравнения, управляющие системой, должны решаться по множеству раз, чтобы создать хороший прогноз. Судя по всему, компьютеры мало чем могут помочь нам в таких областях, как экономика или прогнозирования землетрясений, где причины кажутся более расплывчатыми, а данные сильнее перемешаны с шумом. В каждой из этих областей и в 1970‑х, и в 1980‑х гг. на компьютеры, ставшие доступными ученым для решения повседневных задач, возлагались большие надежды, однако до сих пор серьезный прогресс так и не достигнут.

Но между этими двумя полюсами находится множество других областей применения. Зачастую данные можно считать хорошими, но не отличными, и у нас есть некое (далеко не идеальное) понимание систем и процессов, в результате действия которых они получены. В подобных случаях существует возможность улучшить предсказания благодаря процессу, который использовали программисты Deep Blue, – применению метода проб и ошибок. Именно этот метод лежит в основе бизнес-стратегии компании, которую мы чаще всего связываем в настоящее время с Большими данными.

Если вы приедете в офисный комплекс Googleplex, расположенный в городе Маунтин-Вью, штат Калифорния, где я побывал в конце 2009 г., то заметите, что не всегда понимаете, когда с вами говорят серьезно, а когда шутят. Здесь царит культура, стимулирующая креативность и выражающаяся, помимо прочего, в ярких цветах, наличие волейбольных площадок и невероятных разновидностей двухколесных средств передвижения. Сотрудники Google, даже программисты и экономисты, могут быть достаточно капризными и вести себя необычным образом.

«Такие эксперименты проходят у нас все время, – сказал мне на встрече Хэл Вариан, главный экономист Google. – Нашу компанию лучше всего представлять себе как организм, нечто живое. Я уже много раз говорил о том, что нам нужно обращать внимание на то, когда этот организм оживает и может напоминать Skynet [121]. Однако мы договорились с губернатором Калифорнии, – на тот момент Арнольдом Шварценеггером, – что он придет и нам поможет». Google проводит масштабное тестирование своих поисковых и других продуктов. «В прошлом году мы провели 6000 экспериментов в области поиска и еще примерно столько же в области монетизации рекламных объявлений, – сказал мой собеседник. – Так что можно сказать, что Google проводит не менее 10 тыс. экспериментов в год». Некоторые из этих экспериментов заметны всем нам – зачастую благодаря им появляется новая продуктовая линейка. Однако большинство из них мы не отслеживаем – в ходе экспериментов логотип перемещается на несколько пикселей в сторону, или чуть-чуть меняется цвет фона в рекламе, а затем исследователи Google отслеживают, какое влияние это оказывает на количество кликов или монетизацию. Многие эксперименты охватывают всего 0,5 % пользователей Google (чаще всего охват зависит от того, насколько многообещающей кажется идея).

Когда вы вводите свой поисковый запрос в Google, то, возможно, и не знаете, что участвуете в эксперименте. Однако Google понемногу предлагает вам небольшие изменения. И результаты поисковых запросов, и порядок, в котором они появляются на странице, представляют собой предсказание компании о том, какие результаты вы посчитаете наиболее полезными.

Как можно измерить и предсказать такое качество, как «полезность», порой кажущееся нам субъективным? Если ваш запрос выглядит как лучший новый мексиканский ресторан , то означает ли он, что вы планируете поездку в Альбукерке? Или вы ищете недавно открытый мексиканский ресторан? Или то, что вам нужен мексиканский ресторан, подающий блюда в стиле Nuevo Latino? Может быть, вам стоило перефразировать свой запрос, но, раз вы этого не сделали, Google может собрать группу из 1000 человек, сделавших тот же запрос, показать им различные наборы веб-страниц, а затем попросить их оценить полезность каждого набора по шкале от 0 до 10. После этого Google будет показывать вам только ссылки на страницы, расположенные по порядку среднего рейтинга, начиная с самого высокого.