Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Рис. 3.4

Современные военные дроны (например, стоящий на вооружении ВВС США MQ‐1 Predator) дистанционно управляются человеком. В будущем у подобных дронов есть шанс освободиться от человека в цепи управления.

В этом случае окончательное решение принимал именно человек, включенный в цепь управления, но из-за нехватки времени он был вынужден чрезмерно доверять тому, о чем сообщала автоматизированная система. Пока что высшие должностные лица, ответственные за оборону своих стран, согласны в том, что во всех развернутых системах оружия человек включен в цепь; исключение делается лишь для простых ловушек вроде наземных мин. Но в настоящее время ведется разработка действительно автономного оружия, которое по-настоящему самостоятельно выбирает и атакует цели. В военном отношении перспектива изъять человека из цепей управления очень заманчива, это сразу даст преимущество в скорости: в схватке между полностью автономным дроном, способным реагировать моментально, и вяло реагирующим дроном, подчиняющимся командам человека, сидящего за пультом дистанционного управления на расстоянии в полмира, какой из двух, по-вашему, победит?

Однако бывало и так, что мир висел на волоске, и это большая удача, что в цепи оказался человек. 27 октября 1962 года, во время кризиса из-за размещенных на Кубе ракет, одиннадцать эсминцев ВМС США и авианосец USS Randolph выследили советскую подводную лодку Б‐59 недалеко от Кубы, в международных водах за пределами американской “карантинной” зоны. Они не знали, что температура на борту к тому времени выросла до 45 °C, потому что все аккумуляторные батареи сели и кондиционирование воздуха было прекращено. На грани отравления углекислым газом многие из членов экипажа были без сознания. Подлодка не могла связаться с Москвой уже много дней, и никто на ней не знал, не началась ли уже третья мировая война. Американцы начали сбрасывать небольшие глубинные бомбы, которые, как они потом объясняли Москве, оставались незамеченными советским экипажем, хотя предназначались исключительно для того, чтобы заставить подводную лодку подняться на поверхность. “Думали, все – финиш, – вспоминал один из членов экипажа В. П. Орлов. – Казалось, будто сидишь в железной бочке, по которой колотят кувалдой” [26] Слова капитана второго ранга В. П. Орлова цитируются в русском оригинале по: Астафьева Е. Советский супергерой // Дилетант . 2016. Октябрь (доступно онлайн: http://diletant.media/articles/31508321/) и по: Язов Д. Карибский кризис: 50 лет спустя . М.: Центрполиграф, 2015. С. 344 (фразы “Казалось, будто сидишь в железной бочке, по которой колотят кувалдой” в книге Язова нет). – Прим. перев. . А еще американцы не знали, что Б‐59 была вооружена ядерной торпедой, которую им было разрешено использовать без согласования с Москвой. И капитан Савицкий действительно принял решение пустить эту торпеду. Валентин Григорьевич, торпедный офицер, воскликнул: “Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим!” [27] Цит. по: Язов Д. Карибский кризис: 50 лет спустя . Там же. – Прим. перев. . К счастью, решение о пуске должно приниматься тремя офицерами, и один из них, Василий Архипов, сказал нет. Очень немногие слышали об Архипове, хотя его решение, возможно, предотвратило третью мировую войну и должно рассматриваться как едва ли не наиболее ценный вклад в современную историю человечества {44} 44 Американская телекомпания PBS сняла фильм The Man Who Saved the World ( Человек, который спас мир ) об инциденте, в котором Василий Архипов предотвратил советский ядерный удар по Америке: https://www.youtube.com/watch?v=4VPY2SgyG5w . Почти полная неизвестность Архипова действует отрезвляюще, и не меньше отрезвляют размышления о том, что могло бы случиться, если бы Б‐59 была автономной, контролируемой искусственным интеллектом подводной лодкой без людей в цепи управления.

Два десятилетия спустя, 9 сентября 1983 года, напряженность в отношениях сверхдержав снова выросла: Советский Союз получил клеймо “империи зла” от президента США Рональда Рейгана после того, как неделей раньше был сбит пассажирский самолет Корейских авиалиний, сбившийся с курса в воздушном пространстве, и в результате погибло 269 человек, в том числе конгрессмен США. На этот раз по советской автоматизированной системе раннего оповещения прошла тревога: США выпустили пять ядерных ракет наземного базирования по Советскому Союзу, и у дежурного офицера Станислава Петрова оставались минуты, чтобы решить, не была ли тревога ложной. Спутник проверили – он работал в штатном режиме, и входящий протокол обязывал Петрова рапортовать о начале ядерного нападения. Но он этого не сделал, поверив внутреннему чувству, говорившему ему, что Соединенные Штаты вряд ли стали бы атаковать всего лишь пятью ракетами, и сообщил командованию, что тревога ложная, хотя никакой уверенности, что это действительно так, у него быть не могло. Позднее стало ясно, что спутник ошибочно принял солнечные блики от облаков за пламя ракетных двигателей {45} 45 Рассказ о том, как Станислав Петров не поверил поступившим предупреждениям о готовящейся ядерной атаке Соединенных Штатов на СССР, лег в основу фильма The Man Who Saved the World ( Человек, который спас мир – этот фильм не следует путать с другим, упомянутым в предыдущей сноске, с таким же названием). В 2008 году Петров был приглашен в штаб-квартиру ООН, где получил награду Ассоциации граждан мира: https://www.youtube.com/watch?v=IncSjwWQHMo . Хотел бы я знать, что случилось бы, будь на месте Петрова система искусственного интеллекта, которая должным образом отреагировала бы на должным образом поступивший протокол.

Как вы, несомненно, уже догадались, лично у меня создание автономных систем оружия вызывает серьезную озабоченность. Но я пока даже не начал рассказывать вам о главной причине моего беспокойства: конечной точке в гонке вооружений с применением искусственного интеллекта. В июле 2015 года я выразил это беспокойство в открытом письме, написанном вместе со Стюартом Расселом, с содержательными откликами от моих коллег по Институту будущего жизни {46} 46 Открытое письмо от исследователей в области искусственного интеллекта и робототехники о запрете автономного оружия: http://futureoflife.org/open-letter-autonomous-weapons/ :

Автономное оружие выбирает и поражает цели без вмешательства человека. Это могут быть, например, квадрикоптеры с установленным на них оружием, которые способны разыскивать и уничтожать людей, отвечающих определенным критериям, но отсюда исключаются все крылатые ракеты или дистанционно управляемые дроны, для которых все решения по выбору целей принимаются людьми. Технологии искусственного интеллекта достигли той точки, где создание таких систем практически, а может быть и юридически, осуществимо в течение нескольких лет, не десятилетий, и ставки на них высоки: создание автономного оружия считают третьей революцией в военном деле, после изобретения пороха и атомной бомбы.