Николас Карр - Стеклянная клетка. Автоматизация и мы

Война гораздо в большей степени подчиняется шаблонам, чем гражданская жизнь. Есть определенные правила ведения боевых действий, иерархия командования и четко определенные стороны конфликта. Убийство не только не порицается, но и поощряется. Но даже на войне программирование морально значимых задач поднимает проблемы, которые не могут быть решены без предварительного урегулирования некоторых моральных аспектов. В 2008 году командование ВМС США поручило группе по этике и новым наукам Университета штата Калифорния подготовить доклад по этическим проблемам, возникающим в связи с возможным применением смертоносных автоматизированных машин, и выработать предложения по созданию «этически запрограммированных роботов» для военных целей. Специалисты по этике доложили, что существует, в принципе, два способа программирования морально обоснованных компьютерных решений: сверху вниз и снизу вверх. В первом случае все правила, программирующие решения робота, создаются заранее, и машина просто им следует «без изменений или гибкости». Невозможно предвидеть все ситуации, в которых может оказаться робот. «Ригидность программирования сверху вниз может привести к неприятным последствиям, – написали ученые, – когда события или ситуации, не предусмотренные или недостаточно проработанные программистами, заставляют робота поступать неверно или просто совершать ужасные вещи именно потому, что он жестко следует заданным правилам» [5].

При подходе «снизу вверх» робота программируют, задавая ему несколько элементарных правил, и отпускают в свободное плавание. Робот использует обучающую технику для создания собственного морального кода, приспосабливая его к новым ситуациям по мере их возникновения. Подобно ребенку, робот попадает в самые разнообразные положения и учится справляться с ними методом проб и ошибок (за счет обратных связей), самостоятельно выясняя, что можно делать, а чего нельзя. Чем с бо́льшим числом проблем робот сталкивается, тем тоньше становятся его моральные суждения. Однако такой способ программирования чреват еще более серьезными проблемами, чем первый. Во-первых, он неосуществим на практике, пока не изобретены обучающие машинные алгоритмы – достаточно тонкие и жесткие для принятия морально обоснованных решений. Во-вторых, в боевых ситуациях нет места для проб и ошибок – такой подход уже сам по себе аморален. В-третьих, нет никаких гарантий того, что моральные ориентиры, выработанные компьютером, будет совпадать с человеческими. Выпущенный на поле боя робот-пулеметчик с набором обучающих алгоритмов может натворить страшных дел.

Специалисты по этике особо подчеркнули, что люди при принятии морально значимых решений используют «гибрид» двух подходов – сверху вниз и снизу вверх. Человек живет в обществе, управляемом законами и другими ограничениями, которые направляют и контролируют его поведение. Многие люди принимают решения в согласии со своими религиозными и культурными убеждениями. Совесть тоже диктует свои правила, будь она врожденной или благоприобретенной в процессе воспитания. Большую роль играет жизненный опыт. Люди учатся быть нравственными существами по мере роста и взросления, сталкиваясь с необходимостью принимать этически оправданные решения в разнообразных ситуациях. Человек далеко не совершен, его нравственные устои проходят испытание при столкновении с проблемами, с которыми он раньше никогда не встречался. Единственный способ для роботов стать нравственными – это последовать нашему примеру и принять гибридный подход, то есть одновременно подчиняться правилам и учиться на собственном опыте. Но создание такой машины на данном уровне развития технологии невозможно. «В конечном итоге, – заключают специалисты по этике, – люди, возможно, смогут построить нравственных роботов, способных снизу вверх вырабатывать гибкую мораль, воспринимать и обрабатывать самые разнообразные вещи и сравнивать принятые решения с правилами, предписанными подходом сверху вниз». Но для этого надо понять, как программировать компьютеры, чтобы они могли обладать эмоциями, социальными навыками, сознанием и «чувством сопричастности миру» [6]. Другими словами, людям придется стать богами.

Едва ли армия будет так долго ждать. В статье, опубликованной в журнале военного колледжа армии США Parameters, Томас Адамс, военный стратег и подполковник в отставке, утверждает: «Логика, ведущая к созданию полностью автономных систем, неумолима. Благодаря скорости, размерам и чувствительности военных роботов война начинает предъявлять требования, превосходящие способность человека адекватно реагировать на них». Скоро наступит время, когда обычному человеку станет слишком сложно разобраться с новой техникой. «Люди становятся самым слабым звеном военной системы, – говорит Адамс, повторяя утверждения ориентированных на технологию гражданских создателей программного обеспечения, – и сохранение способности к контролю над ситуацией на поле боя становится в современных условиях почти невозможным. …Проблема заключается в том, что обязательно найдутся противники, которые решат, что нанести поражение ориентированным на человека системам можно только с помощью систем, ориентированных на технологию». В конце своей статьи Адамс выражает уверенность: «Наступит такой момент, когда военные действия на тактическом уровне станут уделом машин, а не людей» [7].

Предотвратить применение автономных роботов-убийц едва ли удастся не только по причине их высокой тактической эффективности. Их использование имеет много этических преимуществ. В отличие от живых солдат, роботы не будут подвержены действию инстинктов в горячке и суматохе боя, они не способны испытывать страх, и у них нет крови, в которой может бушевать адреналин. «Главное, – писал Хейнс, – они не будут действовать из мести, не поддадутся панике, гневу, злобе, предрассудкам или страху. Более того, если их специально на это не запрограммировать, машины не станут преднамеренно причинять страдания гражданскому населению, применять насилие и пытки» [8].

Роботы, кроме того, не лгут и не пытаются скрыть следы своих действий. Их можно запрограммировать так, чтобы они оставляли электронные метки на пути своего движения, что сделает их самыми надежными солдатами армии. Их применение (и это, пожалуй, самое важное) позволит избежать гибели и ранений живых солдат. Убивающий робот не только забирает жизни, но и сохраняет их. Как только людям станет ясно, что автоматические солдаты и оружие уменьшат вероятность того, что их сыновья и дочери будут убиты или искалечены на войне, давление на правительство станет непреодолимым, – народы потребуют автоматического ведения войн. «В конечном счете, – считает Хейнс, – не будет иметь никакого значения, что роботы лишены способности к человеческому суждению, здравого смысла, чувства перспективы, понимания скрытых намерений и человеческих ценностей». Отсутствие человеческих чувств у роботов в данном случае имеет даже свои преимущества, так как иначе их не смогли бы с легкостью отправлять на уничтожение.