Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

По той же самой причине, как мы видели в главе 1, к исследованиям по безопасности искусственного интеллекта был проявлен большой общественный интерес на конференции в Пуэрто-Рико. В оставшейся части этой главы я хочу познакомить вас с четырьмя направлениями в исследованиях технической безопасности искусственного интеллекта, которые доминируют сейчас в дискуссиях вокруг этого вопроса и которые характеризуются четырьмя ключевыми словами: проверка (верификация), валидация, надежность и контроль [20] Если вы хотите более подробную карту исследовательского ландшафта AI-безопасности, вы можете найти ее в представлении одного из знаменосцев Института будущего жизни Ричарда Маллаха, пройдя по ссылке https://futureoflife.org/landscape/ . Чтобы сделать рассказ несколько более живым и наглядным, давайте разберем некоторые прошлые удачи и провалы в различных информационных технологиях и посмотрим, какие уроки мы можем из них извлечь и какие исследовательские задачи на будущее они перед нами ставят.

Большинство этих историй уже довольно старые, и речь в них пойдет о тех компьютерных системах, которые сейчас никто не будет связывать с искусственным интеллектом, при этом ни в одной из этих историй никаких особых инцидентов не случилось, а если и случилось, то последствия их отнюдь не были тяжелыми. Несмотря на все это, мы можем извлечь из них ценные уроки для проектирования безопасных и мощных AI-систем будущего, сбои в работе которых могут оказаться действительно катастрофическими.

Начнем с того, что близко моему сердцу: c исследований космоса. Компьютерные технологии позволили нам летать на Луну и отправлять беспилотные космические корабли, чтобы исследовать все планеты нашей Солнечной системы и даже совершить посадку на спутник Сатурна Титан и на комету. Как мы увидим в главе 6, будущий AI может помочь нам исследовать другие звездные системы и галактики, если будет работать без глюков. 4 июня 1996 года ученые, надеявшиеся исследовать магнитосферу Земли, радостно сообщили, что ракета-носитель Европейского космического агентства “Ариан‐5” взмыла в небо с научными приборами, которые они построили. Спустя тридцать семь секунд их радость угасла, потому что ракета взорвалась, превратившись в гигантский фейерверк стоимостью в миллионы долларов {14} 14 Взрыв ракеты “Ариан‐5”: https://www.youtube.com/watch?v=qnHn8W1Em6E . Причина, как выяснилось, заключалась в программном обеспечении, в котором случился “глюк”, когда оно стало пытаться оперировать с числом, не влезавшим в 16 отведенных под это бит памяти {15} 15 Доклад комиссии по расследованию аварийного пуска “Ариан‐5”: http://tinyurl.com/arianeflop . Спустя два года космический аппарат NASA Mars Climate Orbiter случайно вошел в атмосферу “красной планеты”, и это привело к его гибели, а все из-за того, что два его программных модуля пользовались разными единицами для силы, в результате возникла ошибка в 445 % при расчете необходимой тяги двигателя {16} 16 Доклад по результатам первой фазы расследования неудачного пуска миссии NASA по изучению марсианского климата: http://tinyurl.com/marsflop . Это стало вторым супердорогим “глюком” в истории NASA: в первый раз их миссия “Mariner‐1” на Венеру завершилась взрывом сразу после запуска с мыса Канаверал 22 июля 1962 года, после того как контролирующее полет программное обеспечение прекратило работу из-за неправильного знака пунктуации {17} 17 Наиболее подробный и связный отчет о том, что авария на старте миссии NASA “Маринер‐1” к Венере была вызвана одной-единственной ошибкой – математический символ, написанный рукой человека, был без верхнего подчеркивания: http://tinyurl.com/marinerflop . Как будто специально, чтобы доказать, что не только на Западе освоили искусство компьютерных “глюков” в космосе, советский проект “Фобос‐1” завершился неудачно 2 сентября 1988 года. Это был самый тяжелый из когда-либо запущенных межпланетный космический корабль; целью миссии было посадить станцию на поверхность Фобоса, спутника Марса, – и все это сорвалось, когда недостающий дефис в тексте программы был интерпретирован как команда “конец миссии”, которая и была отправлена на космический корабль, находившийся на пути к Марсу, отключив все его системы {18} 18 Подробное описание причин неудачи с советским зондом “Фобос‐1”, направлявшимся к Марсу, можно найти на с. 308 этой книги: Wesley Huntress & Mikhail Marov. Soviet Robots in the Solar System , Praxis Publishing, 2011. .

Урок, который мы можем извлечь из всех этих историй, – о важности того, что принято называть тестированием, или проверкой программного обеспечения, задача которого заключается в том, чтобы установленный “софт” полностью отвечал всем необходимым требованием. Чем больше жизней и ресурсов поставлено на карту, тем выше должна быть наша уверенность в том, что программное обеспечение будет работать как надо. К счастью, искусственный интеллект может помочь автоматизировать и улучшить процесс тестирования. Например, ядро универсальной операционной системы seL4 недавно было подвергнуто всесторонней математической проверке, чтобы дать надежную гарантию от обрушений системы и выполнения команд, угрожающих безопасности. И хотя у нее еще нет таких же бантиков, как у MS Windows или у MacOS, работая с ней, вы можете быть уверены, что не увидите ни “синего экрана смерти”, ни “радужного колеса судьбы”. Агентство перспективных исследований министерства обороны США (DARPA) профинансировало разработку серии высоконадежных программных средств для кибер-военных систем с открытым источником (HACMS), каждое из которых проверяемо надежно. Чтобы ввести такие средства в широкое обращение, надо сделать их достаточно мощными и простыми в использовании. Еще одна сложность заключается в том, что тестирование программного обеспечения должно будет проводиться при переносе его в роботов или какие-то другие новые среды, а само традиционное программное обеспечение будет заменяться системами с искусственным интеллектом, которые способны учиться, а следовательно, изменять свое поведение, как говорилось в главе 2.

Финансы – это еще одна область, которая была преобразована информационной технологией, позволяющей эффективно перераспределять ресурсы по всему миру со скоростью света и обеспечивать доступное финансирование для всего на свете – от ипотечных компаний до стартапов. Прогресс в развитии систем с искусственным интеллектом, вероятно, предоставит в будущем еще большие возможности для получения прибылей в финансовых сделках: большинство решений о продаже/покупке акций на фондовых рынках сейчас принимаются компьютерами автоматически, и моих выпускников из MIT каждый год искушают астрономическими стартовыми окладами, предлагая поработать над улучшением продажных алгоритмов.