Джошуа Ганс - Искусственный интеллект на службе бизнеса

• Прогресс роста точности прогнозов обманчив. Например, улучшение с 85 до 90 % кажется больше, чем с 98 до 99,9 % (в первом случае на 5 %, а во втором – на 2 %). Однако улучшение с 85 до 90 % означает, что количество ошибок уменьшилось на 30 %. А с улучшением с 98 до 99,9 % ошибок стало в 20 раз меньше. В некоторых условиях это меняет все.

• За волшебством прогностических машин стоит самое что ни на есть заурядное заполнение информационных пробелов. Машины умеют видеть (распознавание объектов), ориентироваться (беспилотные автомобили) и переводить.

В 1956 году группа учеников Дартмутского колледжа в Нью-Гемпшире планировала исследование с целью создания ИИ. Их интересовало, можно ли запрограммировать компьютер на познавательный процесс, чтобы он учился, скажем, играть, доказывать математические теоремы и прочее. Также они предусмотрели язык и соответствующие данные, с тем чтобы компьютер мог описывать вещи. Они хотели, чтобы компьютер выбирал лучший из предложенных вариантов. Исследователи видели возможности ИИ в самом радужном свете. В обращении за финансированием к Фонду Рокфеллера они написали:

«Мы намерены выяснить, как научить компьютер использовать язык, оперировать абстрактными понятиями, решать разные типы задач, которые сейчас решают люди, и самосовершенствоваться. Полагаем, что за лето при условии сплоченной работы коллектива ученых мы заметно продвинемся в направлении одной из этих целей» [26].

Но эти планы по большей части остались в мечтах. Помимо прочего, в 1950-х компьютеры были недостаточно мощными и быстродействующими для воплощения в жизнь всех замыслов студентов.

После этого заявления ИИ показал некоторый прогресс в языковых переводах, но незначительный. Разработки ИИ для узкоспециализированной среды (например, создания программы-психотерапевта) были неприменимы в других случаях. В начале 1980-х появилась надежда на создание экспертных систем для замены квалифицированных специалистов, в том числе для постановки медицинских диагнозов, но проекты оказались дорогостоящими, громоздкими и не могли учитывать миллиарды исключений и вариантов, что привело к периоду, называемому «зимой ИИ».

Но, похоже, зима закончилась. Сейчас данных больше, модели лучше, компьютеры мощнее, поэтому недавние разработки в сфере машинного обучения привели к повышению качества прогнозов. Усовершенствования в сборе и хранении большого объема данных обеспечили основу для новых алгоритмов машинного обучения. По сравнению со своими предшественниками современные компьютеры оборудованы более мощными процессорами, а новые модели машинного обучения гибче и выдают более точные прогнозы – настолько, что эту отрасль IT снова стали называть «искусственным интеллектом».

В основе развития прогностики лежат улучшенные данные, модели и компьютеры. Для понимания их ценности давайте рассмотрим давнюю проблему прогнозирования «оттока клиентов», как выражаются маркетологи. Большинству компаний привлечение клиентов обходится дорого, и, следовательно, их отток приносит убытки. С набранной клиентской базой компания экономит на этих расходах, снижая отток. Сложнее всего его контролировать в сферах профессиональных услуг: страховании, финансовых операциях и телекоммуникации. Первый шаг к снижению оттока – выявление ненадежных клиентов, для чего компании могут использовать прогностические технологии.

Раньше отток клиентов прогнозировали статистическим методом, называемым «регрессия». Научные исследования позволили усовершенствовать его.

Ученые предложили и протестировали сотни различных методов регрессии в теории и на практике.

Регрессия делает прогноз на основе средних показателей прошлого. Например, если вам необходимо определить, пойдет ли завтра дождь, и у вас есть только данные за предыдущие семь дней, то оптимально использовать средний показатель. Если дождь лил два дня из семи, то вероятность завтрашних атмосферных осадков составит примерно два из семи, то есть 29 %. Но благодаря всему, что нам теперь известно о прогностике, мы можем сконструировать модели, способные извлекать из контекста больше данных и точнее рассчитывать средний показатель.

Мы делали это с помощью так называемого условного среднего значения. Например, если вы живете на севере Калифорнии, то из опыта знаете, что вероятность осадков зависит от времени года – она ниже летом и выше зимой. Таким образом, если зимой вероятность дождя достигает 25 %, а летом – 5 %, вы не считаете, что завтра она составит 15 %. Почему? Потому что вам известно, зима сейчас или лето, и прогнозируете вы с учетом этих данных.

Поправка на сезон – только одно из условий среднего значения (хотя и распространенное в розничной торговле). Учитываются также время суток, уровень загрязнения, облачность, температура океана и вообще любая доступная информация.

Поправки можно делать на несколько факторов одновременно: пойдет ли завтра дождь, если сегодня пасмурно, сейчас зима, дождь идет в 320 км к западу, в 160 км к югу солнечно, земля влажная, температура Северного Ледовитого океана низкая и дует юго-западный ветер со скоростью 24 км/ч? Однако все это обрастает громоздкими вычислениями. Только расчет среднего для семи категорий данных дает 128 комбинаций, а с дополнительными данными – в разы больше.

До машинного обучения множественная регрессия была эффективна для учета нескольких условий без необходимости рассчитывать десятки, сотни и тысячи условных средних значений.

Регрессия собирает данные и пытается извлечь результат с минимумом прогностических ошибок и с максимальной «точностью приближения», как ее называют.

К счастью, математическое значение термина точнее, чем это может показаться, исходя из формулировки. Регрессия минимизирует прогностические ошибки среднего значения и за крупные ошибки карает строже, чем за мелкие. Это достаточно надежный метод, особенно для работы с относительно небольшим объемом данных и при условии понимания, чт о в прогнозе самое главное. Например, если оценивать отток аудитории кабельного телевидения, то важны привычки людей; те, кто включает телевизор редко, с большей вероятностью откажутся от подписки на канал.

Кроме того, регрессионные модели способствуют генерации объективных результатов, поэтому при достаточном количестве прогнозов в среднем они будут точными. Хотя мы предпочитаем объективные прогнозы субъективным (в которых систематически переоценивается или недооценивается какой-либо показатель, например ценность), первые все еще не идеальны. Это утверждение можно проиллюстрировать старой статистической шуткой.