Николас Карр - Стеклянная клетка. Автоматизация и мы

Легкость, с которой мы делаем технологию частью самих себя, может обернуться против нас самих. Передача власти орудиям не всегда идет человеку на пользу. Величайшая ирония нашего времени заключается в том, что, несмотря на открытия ученых о важной роли, которую играют в развитии мышления и памяти навыки физического действия и сенсорное восприятие реальности, мы проводим все меньше времени в реальном мире и все больше – в абстрактной среде компьютерного экрана. Люди сами лишают себя функций собственного тела, накладывая сенсорные ограничения на бытие. В виде компьютеров общего назначения мы ухитрились (достаточно извращенно) создать инструмент, который украл у нас телесную радость работы с инструментами.

Наше интуитивное, но ошибочное убеждение в том, что интеллект работает независимо от тела, привело к пренебрежению реальным миром.

От этого суждения недалеко до уверенности в том, что компьютер является достаточным и к тому же превосходным инструментом, выполняющим работу мозга. Специалист из Google Майкл Джонс считает за данность, что благодаря картам Google и другим онлайновым приложениям компании IQ людей повысился на 20 баллов [59]. Обманутые нашим собственным мозгом, мы полагаем, что не жертвуем ничем жизненно важным, полагаясь на различные компьютерные программы: навигационные, проектирования зданий и другие, требующие развитого мышления и изобретательности. Хуже того, мы забыли о том, что существуют альтернативы, и игнорируем саму возможность перестроить компьютерные программы так, чтобы они не ослабляли наше восприятие мира, а усиливали его. Специалисты по эргономике и другие эксперты по автоматизации нашли способы разбить «стеклянную клетку», не уничтожая преимуществ, которыми наградили нас компьютеры.

Кому вообще нужны люди?

Этот вопрос в той или иной риторической форме неизбежно возникает в спорах об автоматизации. Если люди по сравнению с компьютерами выглядят медлительными, неуклюжими и склонными к ошибкам, то почему бы не построить безупречную самоуправляющуюся систему, которая функционировала бы без вмешательства человека, а заодно и без его промахов? Почему бы не исключить из уравнения человеческий фактор?

«Нам нужно все перепоручить роботам», – объявил теоретик по технологии Кевин Келли в 2013 году в статье, напечатанной в журнале Wired. Ссылаясь на авиацию, он заявил: «Компьютерный мозг, называемый автопилотом, может без всякой посторонней помощи управлять Boeing-787, но мы по какой-то иррациональной причине сажаем в кабину пилотов, чтобы на всякий случай следить за автопилотом» [1]. Новость о том, что автомобиль Google попал в аварию из-за того, что в тот момент машиной управлял человек, заставила одного из блогеров в сердцах воскликнуть: «Нужно больше роботов-водителей!» [2] Комментируя трудности, с которыми столкнулись общественные школы в Чикаго, обозреватель The Wall Street Journal Энди Кесслер полушутя заметил: «Почему бы нам не забыть об учителях? Вместо них надо снабдить каждого ученика iPad или планшетом с Android?» [3] В 2012 году уважаемый в Кремниевой долине венчурный капиталист Винод Кхосла предположил, что здравоохранение можно было бы значительно улучшить, если бы медицинская компьютерная программа (доктор Алгоритм, как назвал ее Кхосла) перестала быть помощником врача, а заменила бы его полностью. «В конце концов, – писал Кхосла, – отпадет нужда в среднем враче» [4]. Лекарством от несовершенной автоматизации объявляется тотальная автоматизация.

Идея соблазнительная, но от нее за милю отдает упрощенчеством. Машины наследуют пороки и заблуждения своих создателей. Рано или поздно любая, даже самая передовая технология отказывает, ломается или, как в случае компьютеризованных систем, сталкивается с ситуацией, которую не предвидели ни конструкторы, ни программисты. В этом случае алгоритм становится в тупик. В начале 2009 года, всего за несколько недель до катастрофы в Буффало, у аэробуса А320 компании US Airways отказали все двигатели из-за столкновения со стаей гусей при взлете из нью-йоркского аэропорта La Guardia. Действуя умело и хладнокровно, капитан Чесли Сулленбергер и его второй пилот Джеффри Скайлс смогли в течение трех решающих минут плавно посадить машину в реку Гудзон. С борта удалось снять всех пассажиров и экипаж. Если бы на борту этого А320 не было «нянек» в лице пилотов, то все, кто находился на борту, погибли бы почти неминуемо, ибо у пассажирских лайнеров все двигатели сразу выходят из строя очень и очень редко.

Но иногда пилоты спасают машины при механических поломках, отказах автопилота, плохой погоде и неожиданных событиях. «Снова и снова, – писал в 2009 году немецкий журнал Spiegel в статье о безопасности на воздушном транспорте, – пилоты автоматически управляемых самолетов сталкиваются с жуткими сюрпризами, предусмотреть которые не могли никакие инженеры» [5].

То же самое можно сказать и о положении в других отраслях. В прессе широко освещалось происшествие с Google-мобилем, за рулем которого сидел человек; но мы практически ничего не слышали о тех случаях, когда водители, сидевшие в автоматических машинах Google, брали на себя управление, если компьютер с ним не справлялся. Правила Google требуют ручного управления на улицах жилых кварталов, а каждый, кто хочет покататься на компьютерном автомобиле, должен пройти курсы экстремального вождения [6]. Автоматические автомобили не такие уж и самостоятельные, как кажутся.

В медицине специалистам часто приходится пересматривать инструкции или назначения, сделанные компьютерами. Руководство госпиталей обнаружило, что назначения ими лекарств, устранив некоторые общие расстройства организма человека, создали новые проблемы. Проведенное в 2011 году в одном из госпиталей исследование показало, что число случаев повторного назначения одних и тех же лекарств возросло после внедрения автоматизированной системы [7]. Диагностические программы тоже далеки от совершенства. В большинстве случаев доктор Алгоритм поставит вам правильный диагноз и назначит адекватное лечение, но если набор ваших симптомов отличается от стандартного, то вы будете благодарить судьбу за то, что в кабинете оказался доктор Человек, который исправил неудачные назначения компьютера.

Потенциальных источников ошибок становится больше по мере усложнения технологии автоматизации, увеличения числа перекрестных связей, объемов баз данных и сетевых протоколов. Системы подвергаются «каскадам отказов», в ходе которых небольшая поломка в каком-то одном звене приводит к катастрофическим последствиям, вызывая разлад всей системы. В 2010 году группа физиков писала в журнале Nature: «Человек живет в мире взаимозависимых сетей. Различные элементы инфраструктуры, такие, как водоснабжение, транспорт, заправочные станции и электростанции, – все это соединено в единую систему электроникой и другими средствами, что делает их в высшей степени чувствительными к случайным сбоям и ошибкам» [8].