Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Итак, реальная задача, стоящая перед вашим мозгом, состоит не в выборе хода на доске для го, а в отправке команд двигательного контроля мышцам. Если переключить внимание с уровня ходов го на уровень команд двигательного контроля, проблема выглядит совершенно иначе. Человеческий мозг может посылать команды примерно каждые 100 мс. У нас примерно 600 мышц, следовательно, теоретический максимум составляет около 6000 выполнений действий в секунду, 20 млн в час, 200 млрд в год, 20 трлн за всю жизнь. Используйте их мудро!

Допустим, мы пытаемся применить алгоритм типа AlphaZero для решения проблемы принятия решения на этом уровне. Играя в го, AlphaZero смотрит вперед ходов на 50. Однако 50 шагов команд двигательного контроля дают вам всего несколько секунд проникновения в будущее! Недостаточно для 20 млн команд двигательного контроля в ходе часового матча в го и совершенно точно слишком мало для триллиона (col1¦0¦) шагов, совершаемых в процессе написания диссертации на соискание степени PhD. Таким образом, хотя AlphaGo заглядывает в партию го дальше любого человека, эта способность, похоже, не помогает в реальном мире. Это не та возможность заглянуть вперед, что нам нужна.

Я, разумеется, не утверждаю, что для написания диссертации необходимо заранее спланировать триллион мышечных действий. Сначала составляются лишь весьма абстрактные планы: скажем, выбор университета в Беркли или другом месте, выбор научного руководителя или темы исследования, обращение за финансированием, получение студенческой визы, переезд в выбранный город, проведение исследований и т. д. Чтобы сделать выбор, вы просто размышляете необходимое количество времени, пока решение не станет ясным. Если выполнимость некоторых абстрактных шагов, скажем, получения визы, неясна, вы еще думаете, возможно, собираете информацию, то есть делаете план более конкретным в деталях: это может быть выбор типа визы, на который вы имеете право, сбор необходимых документов и подача заявления. На рис. 17 показан абстрактный план и уточнение шага «Получить визу» из трех шагов. Когда наступает время выполнять план, его начальные шаги должны быть уточнены по всей цепочке вплоть до примитивного уровня, чтобы ваше тело могло их осуществить.

AlphaGo просто не способна мыслить подобным образом: единственные действия, которые она когда-либо обдумывает, — это примитивные действия, происходящие в последовательности от начального состояния. У нее нет понятия абстрактного плана . Пытаться применить AlphaGo в реальном мире — все равно что писать роман, гадая, какая буква должна быть первой, А, Б, В и т. д.

В 1962 г. Герберт Саймон подчеркнул важность иерархической организации в знаменитой статье «Архитектура сложности» [339]. Исследователи ИИ с начала 1970-х гг. разработали различные методы создания и уточнения иерархически организованных планов [340]. Некоторые из получившихся систем способны разрабатывать планы в десятки миллионов шагов — например, организовывать производственную деятельность большой фабрики.

Сейчас мы имеем достаточно хорошее теоретическое понимание значения абстрактных действий — того, как определить их практический эффект [341]. Рассмотрим для примера абстрактное действие «Приехать в Беркли» из рис. 17. Его можно выполнить многими способами, каждый из которых по-разному повлияет на мир. Вы можете решить поплыть туда на корабле зайцем, прилететь в Канаду и пешком перейти границу, нанять частный бизнес-джет и т. д. Однако пока вам незачем обдумывать все эти варианты. Если вы уверены, что существует способ сделать это, не требующий слишком много времени и денег или не сопряженный с таким риском, чтобы поставить под угрозу весь план, вы можете просто включить шаг «Приехать в Беркли» в план и не сомневаться, что план будет выполнен. Подобным образом можно строить высокоуровневые планы, которые со временем превратятся в миллиарды или триллионы примитивных шагов, даже не задумываясь о том, что это за шаги, пока не настанет время их выполнять.

Конечно, ничто из этого невозможно без иерархии. Без высокоуровневых действий, таких как получение визы и написание диссертации, мы не можем составить абстрактный план получения PhD. Без действий еще более высокого уровня вроде получения PhD и основания компании не можем планировать получить PhD и основать компанию. В реальном мире мы потерялись бы без обширной библиотеки действий на десятках уровней абстракции. (В игре го очевидная иерархия действий отсутствует, поэтому большинство из нас действительно теряется в ней.) В настоящее время, однако, все существующие методы иерархического планирования основываются на создаваемой человеком последовательности абстрактных и конкретных действий. Мы пока не понимаем, как можно научиться практическому формированию таких иерархий из опыта.

Логика — это наука о рассуждении на основе точного знания. Она носит всецело общий характер, независимо от предмета, а именно, знание может быть абсолютно о чем угодно. Логика, таким образом, есть неотъемлемая часть нашего понимания универсальной разумности.

Главным условием логики является формальный язык с точными значениями предложений этого языка, так, чтобы имелся однозначный процесс определения того, является ли предложение истинным или ложным в данной ситуации. Вот и все. Если это условие выполнено, мы можем писать осмысленные алгоритмы рассуждения, составляющие новые предложения из уже известных. Эти новые предложения гарантированно будут вытекать из предложений, которые система уже знает, следовательно, обязательно будут истинными в любой ситуации, в которой истинны исходные предложения. Это позволяет машине отвечать на вопросы, доказывать математические теоремы или разрабатывать планы, которым гарантирован успех.

Хорошим примером является алгебра, изучаемая в старших классах (хотя, возможно, у кого-то это пробудит тяжелые воспоминания). Ее формальный язык включает такие предложения, как 4х + 1 = 2y — 5. Это предложение истинно в ситуации, когда х = 5 и y = 13, и ложно при х = 5 и y = 6. Из этого предложения можно вывести другое, например y = 2х + 3, и в любом случае, когда первое предложение истинно, второе также гарантированно будет истинным.

Основная идея логики, выработанная независимо в древних Индии, Китае и Греции, состоит в том, что одни и те же понятия с точным значением и обоснованной логикой можно использовать в предложениях совершенно обо всем, не только о числах. Канонический пример исходит из утверждений «Сократ — человек» и «Все люди смертны» и делает из них вывод «Сократ смертен» [342]. Этот вывод является строго формальным в том смысле, что не опирается ни на какую дополнительную информацию о том, кто такой Сократ или что значит человек и смертен . Тот факт, что логическое рассуждение является строго формальным, означает, что возможно написать алгоритм, который это делает.