Филип Фернбах - Иллюзия знания. Почему мы никогда не думаем в одиночестве

Парадокс автоматизации заключается в том, что сама эффективность автоматизированных систем безопасности порождает зависимость от них, и в силу этой зависимости вклад человека-оператора в работу системы уменьшается, что, в свою очередь, повышает уровень опасности. Современные технологии чрезвычайно сложны, и они усложняются все больше и больше. Автоматизированные системы безопасности непрерывно совершенствуются. По мере их усложнения, дублирования и включения дополнительных функций сфера использования этих систем расширяется. Но в случае их отказа масштабы катастрофы могут быть намного больше. Ирония судьбы заключается в том, что автоматизированные системы на самолетах, поездах и промышленном оборудовании могут снижать общий уровень безопасности (109). Поскольку технология не способна понять, что собирается выполнить система (потому что она не осознает и не разделяет намерений человека), всегда существует опасность, что что-то пойдет не так. Если человек как часть системы не подготовлен к действиям в условиях отказа технологии, может случиться беда.

Ниже мы опишем один реальный случай. Сваливание самолета в штопор происходит, если его скорость движения относительно воздуха слишком мала и не обеспечивает достаточную подъемную силу для удержания воздушного судна в полете. В случае сваливания в штопор самолет фактически падает. Чтобы выйти из штопора, нужно направить нос самолета вниз и увеличить тягу двигателей для достижения скорости, которая обеспечит достаточную подъемную силу, чтобы самолет прекратил падение. Выход из штопора – один из основных технических навыков, которыми будущие летчики овладевают в летной школе. В 2009 г. в океан упал аэробус компании Air France, выполнявший рейс 447; погибли 228 человек. После расшифровки записей черного ящика члены комиссии, расследовавшей причины катастрофы, пришли в шоковое состояние. Оказалось, что Airbus A330 начал сваливаться и падать. По непонятной причине второй пилот вместо того, чтобы опустить нос корабля, попытался поднять его. Как это могло случиться? В докладе, подготовленном в 2013 г. по поручению Федеральной администрации гражданской авиации США, говорится о том, что пилоты слишком понадеялись на автоматику, что у них не было необходимых навыков ручного пилотированияи они не смогли принять правильное решение в нештатной ситуации. Вполне возможно, что у членов экипажа даже не возникала мысль, что такой самолет может свалиться в штопор, и они неправильно оценили предупреждающие сигналы, посылаемые оборудованием. Это прекрасный пример проявления парадокса автоматизации. Оборудование самолета было настолько значимым, что, когда оно вышло из строя, пилоты как команда не поняли, что нужно делать (110).

Поскольку GPS-устройства сейчас распространены очень широко, наверное, и вы уже сталкивались с парадоксом автоматизации. Некоторые люди полностью доверяют этим устройствам и выполняют все их рекомендации, забывая при этом, что GPS-устройства не понимают, что вам нужно, а просто следуют заложенным в них программам. Известно много случаев, когда водитель въезжал в водоем или летел с обрыва, потому что слишком доверял своему GPS-навигатору (111).

В 1995 г. круизный лайнер Royal Majesty плыл мимо острова Нантакет, находящегося у побережья штата Массачусетс (112). От сильного порыва ветра нарушился контакт кабеля, соединявшего GPS-устройство корабля с его антенной. К несчастью, экипаж не понял, что случилось. GPS-устройство выдавало сообщение об ошибке (с GPS-экрана раздавался легкий «щебет»), но никто не обратил на него внимания. При отсутствии спутниковых данных GPS-система через небольшой промежуток времени перешла в предусмотренный для такого случая режим работы, а именно переключилась на навигационное счисление (определение местонахождения на основании предыдущего положения, оценочной скорости, азимута и времени движения). Подача импульсного сигнала при этом прекратилась. Никто не заметил, что на экране появились акронимы, информирующие об обоих изменениях (DR – навигационное счисление и SOL – отсутствие входного сигнала; следует признать, что SOL, часть слова solution – решение, все-таки весьма неудачная аббревиатура для выражения, обозначающего «расчет точного определения местонахождения невозможен»). Навигационное счисление – это только обоснованная прикидка, поскольку оно не учитывает влияния ветра и течений. Автопилот судна руководствовался поступающими данными, которые, будучи правдоподобными, становились все менее точными. Экипаж отслеживал положение судна по радиолокационной карте, но на ней высвечивался маршрут, проложенный на основании неточной информации от GPS, так что эта карта не показывала истинное местонахождение судна. Кроме того, экипаж не проверил работу GPS по второму надежному источнику – навигационной системе, которая осуществляет триангуляцию радиосигналов с берега. Окончательно решило судьбу корабля еще одно несчастливое совпадение: буй, предназначенный для оповещения об опасных водах вблизи острова Нантакет, находился примерно в том месте, в котором GPS-система ожидала обнаружить буй, указывающий вход в гавань Бостона. Радар обнаружил его, но экипаж продолжал считать, что все идет как надо. Никто не заподозрил неладное, пока не заметили, что цвет воды океана изменился так, что стало понятно: судно вышло на мелководье. Но было уже поздно. Лайнер водоизмещением 32 000 тонн сел на мель в 16 км от острова Нантакет.

К счастью, в итоге ничего страшного не случилось. Через сутки после аварии пять буксиров сняли Royal Majesty с мели. Благодаря корпусу с двойным дном судно осталось на плаву и доставило пассажиров в Бостон, но, чтобы оно смогло снова выйти в море, пришлось выложить 2 миллиона долларов на ремонт.

Чему нас может научить этот случай, едва не завершившийся трагедией? Машины делали то, что им положено было делать. Все дублирующие системы функционировали как надо. Да, машины не представляли операторам подробную информацию о происходящем, но ведь нельзя требовать от машин слишком многого. Они не способны понять, что именно необходимо знать человеку и что тот собирается делать. Как было показано выше, именно это ограничивает возможности машин. Они не более чем инструменты, а не верныесотрудники, преследующие общую с вами цель.

Единственную настоящую ошибку на судне совершили ответственные люди, доверившиеся GPS-системе. Отчасти их можно понять – до этого случая машины всегда были эталоном точности. Офицеров ввела в заблуждение иллюзия знания. Они считали, что понимают информацию, поступающую от машин, но в действительности не оценили важность появившихся на экране не очень заметных символов (тех самых DR и SOL), потому что просто не знали, как работает их GPS-устройство. Они не знали, что означают эти символы, не знали, что они сообщают о расчете лишь приблизительного местонахождения судна и предупреждают о ситуации, грозящей катастрофой. Поскольку экипаж не знал о своем заблуждении, двойной контроль не осуществлялся. За многие годы успешных плаваний у людей выработалось глубокое чувство уверенности в себе, маскирующее сформировавшуюся у них иллюзию знания.