Тим О'Райли - WTF? Гид по бизнес-моделям будущего [litres]

Задачи, выполняемые этими работниками – программным обеспечением, – отражают оперативный рабочий процесс цифровой организации. На коммерческом веб-сайте один электронный работник помогает пользователю найти товары, которые могут соответствовать его или ее критериям поиска. Другой показывает информацию о товарах. Третий предлагает альтернативный вариант. После того как клиент решил купить товар, цифровой работник предлагает заполнить веб-форму для оплаты и проверяет введенные данные (например, действительна ли кредитная карта с таким номером или соответствует ли пароль тому, который хранится в базе данных сайта). Другой работник формирует заказ и связывает его с регистрационными данными клиента. Еще один формирует список товаров, которые человек или робот должен забрать со склада. Еще один сохраняет данные об этой транзакции в системе бухгалтерского учета компании, а другой отправляет клиенту подтверждение по электронной почте.

В предыдущем поколении компьютерных технологий эти действия могли осуществляться одним монолитным приложением, отвечающим на запросы одного-единственного пользователя. Но современные веб-приложения вполне могут одновременно обслуживать миллионы пользователей, а их функции разбиты на так называемые микросервисы – наборы отдельных структурных элементов, каждый из которых делает что-то одно, и делает это очень хорошо. Если бы традиционное монолитное приложение, такое как Microsoft Word, было переделано в набор микросервисов, вы могли бы легко изменить опцию проверки орфографии на более качественную или добавить новую функцию, которая превращала бы веб-ссылки в сноски, или наоборот.

Микросервисы – это эволюция ориентированного на коммуникации конструктивного шаблона, который мы видим в структуре Unix и Интернета, а также в меморандуме Джеффа Безоса. Микросервисы определяются входящими и исходящими данными – тем, как они сообщаются с другими сервисами. Они могут быть написаны на разных языках и работать на множестве машин. Если они правильно спроектированы, любой из компонентов может быть заменен на улучшенный вариант, который выполняет ту же функцию, не требуя обновления остальной части приложения. Это то, что позволяет осуществлять непрерывное использование, при котором новые функции могут обновляться постоянно, а не одним мощным рывком, а также проводить А/Б-тестирование, во время которого альтернативные версии одной и той же функции можно протестировать на отдельных группах пользователей.

По мере увеличения количества и скорости разработки интернет-приложений характер работы в сфере программного обеспечения для множества людей также изменился. Это чем-то похоже на замену пропеллеров на реактивные двигатели в авиации. Для широкой категории приложений этот «реактивный двигатель» появился в виде первой прикладной статистики и теории вероятности, затем в виде машинного обучения и все более изощренных алгоритмов ИИ.

В 2006 году Роджер Магоулас, вице-президент O’Reilly Media по научным исследованиям, впервые ввел термин «большие данные» для описания новых инструментов управления данными в масштабе, который позволяет обслуживать такие компании, как Google. Бывший научный сотрудник корпорации Bell Labs Джон Маши использовал этот термин еще в 1998 году, но для описания растущего объема собираемых и хранимых данных, а не для каких-то управляемых этими данными услуг, основанных на статистике, и не для обозначения крупных достижений в области программного обеспечения и рабочих процессов, которые делают возможным предоставление этих услуг.

Большие данные означают не просто более масштабную версию реляционной базы данных, такой как Oracle. Это нечто совершенно иное. В своем докладе 2009 года «Необъяснимая эффективность данных» (своим названием он обязан классическому докладу Юджина Вигнера 1960 года «Необъяснимая эффективность математики в естественных науках») исследователи машинного обучения корпорации Google Алон Халеви, Питер Норвиг и Фернандо Перейра объяснили растущую эффективность статистических методов при решении сложных тогда проблем, таких как распознавание речи и машинный перевод.

Большая часть предшествующей работы была основана на грамматике. Смогли бы вы сконструировать, по сути, огромный поршневой двигатель, который использовал бы свои знания грамматических правил для распознавания человеческой речи? Успех был бы незначительным. Но по мере появления в Интернете все большего количества документов ситуация менялась. Несколько десятилетий назад исследователи полагались на тщательно отобранные фигуры человеческой речи и литературные произведения, которые в лучшем случае содержали несколько миллионов слов. Но в конечном итоге в Интернете стало настолько много контента, что правила игры сильно изменились. В 2006 году корпорация Google собрала базу из триллиона слов для исследователей языка и разработала «реактивный двигатель» для их обработки. С того момента прогресс пошел быстро и решительно.

Халеви, Норвиг и Перейра отмечали, что эта база, взятая из Интернета, во многом отличалась от курируемых версий, которыми пользовались предыдущие исследователи. В ней было полно незаконченных предложений, грамматических и орфографических ошибок, она не была привязана к грамматическим конструкциям и не содержала аннотацию. Но тот факт, что она была в миллион раз объемнее, перекрывал все эти недостатки. «База объемом в триллион слов – вместе с другими фигурами речи из Интернета, из миллионов, миллиардов или триллионов ссылок, видео, изображений, таблиц и взаимодействий пользователей – охватывает даже очень редкие аспекты человеческого поведения», – писали они. Вместо того чтобы создавать все более сложные языковые модели, исследователи начали «использовать лучшего имеющегося союзника: необъяснимую эффективность данных». Путем к пониманию языка были не сложные, основанные на правилах модели: нужно было просто воспользоваться статистическим анализом и позволить данным самим рассказать им, какой должна быть модель.

Хотя в этом докладе основное внимание уделялось переводу с одного языка на другой, он обобщил понимание того, каким должен быть подход для успеха основного поискового сервиса Google. Достигнутое понимание того, что «простые модели и множество данных лучше, чем более сложные модели, основанные на меньшем количестве данных», стало основополагающим для прогресса во всех областях и легло в основу работы множества компаний Кремниевой долины. Еще более важное значение это имеет для последних достижений в области искусственного интеллекта.