Николас Карр - Стеклянная клетка. Автоматизация и мы

Становится все труднее выявлять вероятность наступления таких нарушений. «В промышленных машинах прошлого, – объясняет научный сотрудник MIT Нэнси Ливсон в своей книге “Engineering a Safe Word” (“Создание безопасного мира”), – взаимодействие между деталями можно было надежно спланировать, понять и защитить, а всю конструкцию машины – полностью протестировать, прежде чем запускать ее в действие». Современные высокотехнологичные системы уже не обладают этими свойствами. Они стали менее управляемыми в интеллектуальном смысле, чем их предшественники, собранные с помощью болтов и гаек [9]. Все части машины могут работать безупречно, но небольшая ошибка в конструкции способна привести к непоправимой катастрофе.

Опасность еще более увеличивается из-за невероятной скорости, с какой компьютеры принимают решения и начинают действовать. Это было наглядно продемонстрировано ужасным утром 1 августа 2012 года, когда крупнейшая торговая фирма Уолл-стрит Capital Group запустила новую автоматизированную программу для покупки и продажи акций. В этой суперсовременной программе был небольшой изъян, оставшийся незамеченным во время ее испытаний. Программа немедленно вздула валютные курсы своими абсолютно иррациональными распоряжениями, продавая ежесекундно акции на 2,6 миллиона долларов. Через 45 минут, которые потребовались математикам и программистам для того, чтобы разобраться в проблеме и остановить это безумие, программа успела растранжирить 7 миллиардов долларов, поставив компанию на грань банкротства. Через неделю консорциум других фирм Уолл-стрит компенсировал убытки Capital Group, чтобы избежать катастрофы на финансовом рынке.

Естественно, технология не стоит на месте, а неисправности всегда устраняются. Но безупречность работы автоматизированных систем, увы, навечно останется недостижимым идеалом. Даже если инженерам удастся создать совершенную систему, то ей придется подстроиться под наш мир. Беспилотные автомобили поедут не по улицам города Солнца. Роботы работают не в райских кущах. По небу по-прежнему будут летать гуси, а из туч – сверкать молнии. Убеждение в том, что когда-нибудь будет построена абсолютно самодостаточная, надежная автоматизированная система, – это не более чем утопия. К сожалению, такая вера характерна не только для высоколобых технократов, но и для инженеров и программистов, создателей этих систем. В своей знаковой статье, напечатанной в 1983 году в журнале Automatica, Лизанна Бэйнбридж, профессор инженерной психологии из Лондонского университетского колледжа (University College London), сформулировала причину наделения компьютерных систем все бо́льшими задачами, заключающуюся в том, что создатели программ часто считают людей «ненадежными и неэффективными» по сравнению с компьютерами. Люди, таким образом, превращаются в наблюдателей, пассивных созерцателей экранов [10]. Исследования вигильности [25]  Вигильность – настороженность, осторожность, как преднамеренная и осознанная, так и скрытая, бессознательная (например, настороженность спящей матери в отношении своего ребенка). операторов британских радаров, следивших за немецкими подводными лодками во время Второй мировой войны, показали, что даже высокомотивированный человек не способен внимательно следить за экраном монитора больше чем полчаса, если эта информация не меняется [11]. Людям становится скучно, они отвлекаются на посторонние мысли, концентрация внимания падает. «Это означает, – писала Бэйнбридж, – что человек физически не способен наблюдать за экраном, на котором долгое время не происходит ничего существенного» [12].

Поскольку навыки утрачиваются, если их не применять на практике, добавляет Бэйнбридж, то даже опытные операторы через некоторое время начинают работать как новички, если основная работа заключается в наблюдении, а не в действии. Инстинкты и рефлексы затухают, когда их не используют. У операторов возникают трудности с выявлением и оценкой возникающих проблем, а реакция на них становится медленной и обдуманной, исчезает автоматизм действий. В сочетании потери интереса к картинке с угасанием навыков кроется причина повышения риска нештатной ситуации, которая рано или поздно непременно произойдет. Как только это случается, разработчики аппаратуры вносят в нее усовершенствования, призванные еще больше ограничить роль оператора и тем самым усугубить вероятность его неверных действий. Убеждение, что человек является самым слабым звеном системы, становится принципом.

Эргономика – наука о правильной организации человеческого труда – восходит по меньшей мере к эпохе древних греков. Гиппократ в трактате «О вещах, относящихся к хирургии» помещает точные инструкции по поводу освещения и оснащения операционной, пишет, как надо раскладывать инструменты, пользоваться ими, и даже о том, во что должен быть одет хирург. В дизайне многих древнегреческих инструментов видны результаты размышлений о форме и весе инструмента, влияющих на производительность, выносливость и здоровье работника. В древних цивилизациях Азии мы тоже находим признаки приспособления орудий труда к физическому и психологическому удобству работника [13].

Однако лишь к моменту начала Второй мировой войны эргономика вместе с ее теоретической кузиной кибернетикой формально стала учебной и научной дисциплиной. Тысячам неопытных солдат надо было доверить сложное и опасное оружие и технику в условиях нехватки времени на обучение и тренировку. Благодаря Норберту Винеру и американским психологам Полу Фиттсу и Альфонсу Шапани, работавшим с личным составом ВВС, военные и промышленные специалисты научились понимать, что люди играют такую же существенную роль в успешной работе сложных технологических систем, как механические детали и электронные регуляторы. Невозможно создать машину, а потом – в духе Тейлора – заставить человека к ней приспособиться. Наоборот, надо конструировать машину, приспособленную к человеку.

Воодушевленные вначале патриотизмом и желанием внедрить компьютеры в торговлю, государственное управление и науку, большие коллективы психологов, физиологов, нейробиологов, инженеров, социологов и конструкторов начали обращать свои таланты и дарования на изучение взаимодействия людей и машин. Их внимание сосредоточивалось как на полях сражений, так и на производственных предприятиях, но цель была вполне гуманной: объединить людей и технологии в плодотворный, устойчивый и безопасный симбиоз, в гармоничное партнерство, позволяющее использовать лучшие свойства и качества обеих сторон.

Так, по крайней мере, должно быть. Однако слишком часто открытия и идеи эргономики, или, как ее сейчас называют, инженерной психологии, попросту игнорировали или, в худшем случае, душили на корню. Заботу о влиянии компьютеров и других машин на душу и тело человека обычно не берут во внимание из стремления добиться максимальной эффективности, скорости и точности или просто из желания получить как можно бо́льшую прибыль. Программисты, как правило, очень плохо знают эргономику и совершенно не интересуются достижениями инженерной психологии. Все усугубляется еще и тем, что инженеры и компьютерные специалисты, увлеченные математикой и логикой, не испытывают интереса к рассуждениям специалистов по эргономике. В 2006 году патриарх этой науки, Дэвид Мейстер, оглядываясь на свой жизненный путь, писал, что он и его коллеги всегда плыли против течения и внедрение достижений казалось им неожиданностью. «Ход технологического прогресса, – резюмировал он, – привязан к стремлению к прибыли; следовательно, прогресс мало задумывается о человеке» [14].