Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Проблема в том, что в го существует более 10 170возможных позиций для полноразмерной доски 19 × 19. Если найти гарантированно кратчайший маршрут на карте относительно легко, найти гарантированную победу в го почти нереально. Даже если гонять алгоритм миллиард лет, он сможет исследовать лишь крохотную часть полного дерева возможностей. Отсюда вытекает два вопроса. Первый: какую часть дерева должна исследовать программа? Второй: какой ход она должна сделать, исходя из той части древа, которую исследовала?

Сначала ответим на второй вопрос. Основная идея, используемая практически во всех прогностических программах, состоит в том, чтобы приписывать оценку ценности ответвлениям дерева — самым отдаленным будущим состояниям — и затем двигаться назад, выясняя, насколько хороши варианты выбора ближе к корню [336]. Например, посмотрев на две позиции в нижней части схемы на рис. 16, можно дать оценку +5 (с точки зрения черных) позиции слева и +3 позиции справа, поскольку камень белых в углу намного более уязвим, чем сбоку. Если эти оценки верны, то черные могут ожидать от белых хода вбок, что приведет к позиции, представленной справа; следовательно, разумно приписать ценность +3 начальному ходу черных в центр. С небольшими вариациями это схема, использованная шахматной программой Артура Самуэля, победившей своего создателя в 1955 г. [337], Deep Blue, обыгравшей чемпиона мира по шахматам Гарри Каспарова в 1997 г., и AlphaGo, одолевшей бывшего чемпиона мира по го Ли Седоля в 2016 г. Для Deep Blue написали фрагмент программы, оценивавший позиции как ответвлений, на основании, главным образом, своего собственного знания шахмат. Программы Самуэля и AlphaGo изучили их сами по опыту тысяч или миллионов тренировочных игр.

Первый вопрос — какую часть дерева должна исследовать программа — является примером одного из самых важных вопросов в сфере ИИ: какие вычисления должен делать агент? В случае игровых программ это жизненно важно, поскольку они располагают малым, фиксированным временем, и тратить его на бесцельные расчеты — верный путь к проигрышу. Для людей и других агентов, действующих в реальном мире, это еще важнее, потому что реальный мир несравненно сложнее: без качественного выбора никакое количество вычислений не сделает ни малейшей зарубки в проблеме принятия решения о том, как действовать. Если вы ведете машину и на дорогу выходит лось, нет смысла размышлять о том, следует ли обменять евро на фунты стерлингов или черным сделать первый ход в середину доски.

Способность людей управлять своей вычислительной деятельностью так, чтобы принимать разумные решения в разумное время, по меньшей мере столь же потрясающа, как и их способность верно воспринимать информацию и рассуждать. Представляется, что мы приобретаем ее естественно и без усилий. Когда отец учил меня играть в шахматы, то объяснил мне правила, но не учил конкретным умным алгоритмам выбора, какую часть дерева исследовать, а какую игнорировать.

Как это происходит? На основании чего мы направляем ход своих мыслей? Ответ заключается в том, что вычисление ценно лишь постольку, поскольку повышает качество ваших решений. Процесс выбора вычислений называется метарассуждением , что означает рассуждение о рассуждении. Как действия можно выбирать рационально, исходя из ожидаемой ценности, так и вычисления. Это так называемое рациональное метарассуждение [338]. Оно строится на очень простой идее:

Выполняйте те вычисления, которые обеспечат наибольшее ожидаемое повышение качества решения, и прекращайте их, когда затраты (выраженные во времени) превысят ожидаемое улучшение.

Вот и все. Никаких новомодных алгоритмов! Этот простой принцип обеспечивает эффективное вычислительное поведение применительно к широкому спектру задач, включая шахматы и го. Представляется вероятным, что наш мозг реализует похожий процесс, что объясняет, почему нам не нужно изучать новые алгоритмы рассуждения, привязанные к конкретной игре, всякий раз, как мы учимся играть в новую игру.

Разумеется, исследование дерева возможностей, вырастающего в будущее из нынешнего состояния, не единственный путь к решению. Часто более разумно двигаться ретроспективно от цели. Например, наличие лося на дороге предполагает цель избежать столкновения с лосем , что, в свою очередь, предполагает три возможных действия: резко повернуть налево, резко повернуть направо или ударить по тормозам. Не предполагаются такие действия, как обмен евро на фунты стерлингов или помещение черного камня в центр доски. Таким образом, цели оказывают на наше мышление прекрасный эффект фокусировки. Никакие современные игровые программы не используют это преимущество; на самом деле они в массе своей рассматривают все возможные допустимые действия. Это одна из (многих) причин того, что я не боюсь, что AlphaZero захватит мир.

Предположим, вы решили сделать определенный ход на доске для игры в го. Прекрасно! Теперь вы должны совершить его на практике. В реальном мире для этого нужно протянуть руку к чаше с камнями, взять камень, расположить руку над выбранным местом и положить камень точно на обозначенную точку, спокойно или эмоционально, в зависимости от того, как это принято в го.

Каждая из этих стадий, в свою очередь, состоит из сложного взаимодействия команд восприятия и двигательного контроля, включающего мышцы и нервы руки и глаз. Пока вы тянетесь за камнем, нужно следить, чтобы тело не потеряло равновесие из-за смещения центра тяжести. Тот факт, что вам не нужно участие сознания для выбора этих действий, не означает, что они не выбираются вашим мозгом. Например, в чаше может быть много камней, но ваша рука — на самом деле ваш мозг, обрабатывающий сенсорную информацию, — все равно должна выбрать, какой из них взять.

Практически все, что мы делаем, устроено подобным образом. Когда мы ведем машину, мы можем выбрать перестроиться в левый ряд , но это действие включает несколько других: посмотреть в зеркало и налево через плечо, иногда скорректировать скорость и повернуть рулевое колесо, одновременно следя за ходом маневра, пока он не будет завершен. Во время разговора обыденный ответ, например «хорошо, я сверюсь с календарем и перезвоню вам», предполагает произнесение 16 слогов, каждый из которых требует нескольких сотен точно скоординированных команд двигательного контроля мышцам языка, губ, челюсти, гортани и органов дыхания. Когда вы говорите на своем родном языке, это автоматический процесс, что очень похоже на выполнение вспомогательных подпрограмм компьютерной программы. То, что эти сложные последовательности действий могут стать обыденными и автоматическими, выступая в роли единых действий в еще более комплексных процессах, является фундаментальной характеристикой человеческой когнитивной системы. Если приходится произносить слова на языке, которым хуже владеешь, — например, спрашивая дорогу на Шебжешин по-польски, — то вспоминаешь о том периоде жизни, когда чтение и письмо были сложными задачами, требующими мыслительных усилий и большой практики.