Крис Клирфилд - ?Неуязвимость! Отчего системы дают сбой и как с этим бороться

Только оказавшись на сцене и открыв конверт, Битти понял, что что-то пошло не так. Он не знал, что ему предпринять. Он показал карточку Данауэй, чтобы заручиться ее поддержкой, однако она увидела на кусочке картона только одно – «Ла-Ла Ленд» – и неосторожно выпалила это название.

Пока продюсеры фильма произносили свои речи, в толпе на сцене появился представитель организаторов церемонии в наушниках. Затем туда же вышли и представители PwC. В их руках замелькали красные конверты. Через две с половиной минуты после начала благодарственных речей команды «Ла-Ла Ленд» продюсер Джордан Горовиц взял микрофон из рук очередного оратора: «Ребята, мне очень жаль, но здесь произошла ошибка. Премию за лучший фильм года получаете вы, команда кинокартины “Лунный свет”»… это не шутка». Горовиц показал в камеру карточку с названием победителя номинации «Лучший фильм»:

«Лунный свет. Лучший фильм».

На последовавшей за церемонией гламурной вечеринке репортер разыскал Шерил Бун Айзекс, президента Киноакадемии. Она сидела на белой софе и неотрывно смотрела в свой мобильный телефон. Репортер спросил Шерил, какие мысли посетили ее во время скандала на церемонии {130}. «Ужас», – ответила она.

Я просто думала: «Что происходит, что происходит?» Я посмотрела на сцену и увидела, как на нее выходят представители PwC. И сказала себе: «О нет. Что, что, ЧТО? Что вообще могло…?» А потом я подумала: «Боже мой, как же так вышло? Как. Так. Вышло».

Хотя и для Академии, и для PwC это были очень неприятные моменты, в результате этого происшествия никто не умер. Это был весьма несущественный сбой системы. Однако он все же учит нас чему-то важному.

Как сказал Куллинан перед этим событием, передача конвертов знаменитостям для вручения награждаемым – это не высшая математика. Но сложности были . Имена победителей и названия победивших фильмов держались в секрете до самого момента их оглашения, что добавляло интригу – и сложность. А элитная публика и демонстрация церемонии по телевидению в прямом эфире делали все это мероприятие жестко связанным.

В системе имелись три значительно слабых места. Первое – номинации на конвертах трудно читались {131}. Они напечатаны тонкими золотыми буквами на красном фоне, поэтому сложно было заметить, что Куллинан передал Битти конверт с именем лучшей исполнительницы женской роли вместо конверта с названием лучшего фильма. А на самих карточках номинация была напечатана в самом низу, причем мелким шрифтом. Имя победительницы в номинации «Лучшая женская роль» (Эммы Стоун) и название фильма («Ла-Ла Ленд») были набраны одинаково большими буквами. Когда Битти показал карточку Данауэй, она мельком взглянула на нее и увидела крупное название «Ла-Ла Ленд».

Второе – представители фирмы PricewaterhouseCoopers (PwC) выполняли неожиданно тяжелую работу. За кулисами царила суматоха, и, как впоследствии сказал Куллинан, «приходилось напрягаться, чтобы сохранить концентрацию». Одни награждавшие получали конверты из рук Руис, другие – из рук Куллинана. И вокруг было много отвлекающих моментов – среди них и охвативший Куллинана соблазн сразу выложить фотографию Эммы Стоун в Twitter.

Но самым интересным слабым местом была придуманная в PricewaterhouseCoopers система двух кейсов. Здесь просматривается некая логика: наличие двух экземпляров каждого конверта защищало PwC от возможных сбоев, которые они предвидели. Например, если один из аудиторов потеряет кейс или другой попадет в пробку на дороге. Однако это излишество, задуманное как мера безопасности, добавило во всю эту историю дополнительную сложность. Дубликаты конвертов создавали потенциал для неожиданных взаимодействий внутри системы. Они заставляли следить за бóльшим количеством вещей, за бóльшим количеством подвижных частей, за бóльшим количеством отвлекающих моментов – то есть за бóльшим количеством путей, по которым внутрь системы мог проникнуть сбой.

Чарльз Перроу написал однажды, что «системы безопасности – одни из главных источников катастрофических событий внутри сложных и жестко связанных систем» {132}. При этом он имел в виду атомные электростанции, химические предприятия и самолеты. Но с таким же успехом он мог бы сказать это и о церемонии вручения премии «Оскар». Если в ходе мероприятия не возникло бы такого количества «лишних» конвертов, этого досадного провала никогда бы не случилось.

Несмотря на предупреждения Перроу, сами по себе системы безопасности, безусловно, хорошее дело. Они предотвращают некоторые предсказуемые ошибки, поэтому возникает соблазн использовать как можно больше таких систем. Однако зачастую функции безопасности сами по себе становятся частями общей системы – и это добавляет ей сложности. А по мере возрастания сложности повышается и вероятность сбоев, возникающих с неожиданной стороны [11].

Излишества функций безопасности – не единственная причина, по которой случаются неприятные происшествия. Исследование систем экстренного вызова персонала в пяти реанимационных отделениях показало {133}, что только за месяц было зафиксировано 2,5 млн сигналов тревоги, 400 000 из которых сопровождались каким-то звуком. Это один сигнал тревоги каждую секунду и один звуковой сигнал каждые восемь минут. Около 90 % из них оказались ложными. Это как в старой сказке: кричите «Волк!» каждые восемь минут и скоро вас просто перестанут слушать. Что еще хуже: в тот момент, когда происходит что-то действительно серьезное, постоянные сигналы тревоги не дают отличить те, которые действительно важны, от тех, что имеют дежурный характер.

Это парадокс: дополнительные функции безопасности снижают общий ее уровень {134}. Мало кто так отчетливо это понимает, как Боб Уотчер, врач и автор книг из Калифорнийского университета в Сан-Франциско. В своей книге «Цифровой доктор» (The Digital Doctor) {135}Уотчер вспоминает случай с Пабло Гарсия, подростком, который чуть не умер, когда медсестра случайно дала ему гигантскую дозу антибиотиков.

В 2012 году в университетском госпитале внедрили новую компьютерную систему. Она управляла в том числе и роботом-фармацевтом, который занимал целую комнату и при помощи манипуляторов комплектовал лекарства для больных, набирая их из специальных ящичков. Врачи и медсестры надеялись, что новые технологии устранят человеческие ошибки и повысят безопасность пациентов. «Компьютеризированный процесс заказа лекарств сделал рукописные назначения врачей таким же достоянием прошлого, как царапины на грампластинках, – писал Уотчер. – Робот-фармацевт мог гарантировать, что доставалось нужное лекарство, а его доза отмерялась с ювелирной точностью. Штрихкод на упаковке представлял собой еще один элемент безопасности, поскольку в том случае, если сестра взяла неправильное лекарство или ошибочно принесла его не тому больному, подавался сигнал» {136}.