Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Как вы не понимаете… Ведь это мы умираем, а единственное, что здесь еще живет по-настоящему, — это Машина! Мы создали Машину, чтобы она исполняла нашу волю, но не можем заставить ее исполнить нашу волю сейчас. Она похитила у нас чувство пространства и ощущение прикосновения, размыла все отношения между людьми, парализовала наше тело и волю… Мы существуем лишь как кровяные тельца, циркулирующие в ее артериях, и если бы она смогла работать без нас, то дала бы нам умереть. О, я не знаю лекарства от этого, или, вернее, знаю лишь одно-единственное — снова и снова говорить людям, что вижу холмы Уэссекса, как видел их Альфред в день победы над данами {20} .

На Земле жило свыше 100 млрд человек. Они (мы) затратили порядка 1 трлн человеко-лет на приобретение и передачу знания, чтобы наша цивилизация могла существовать. До сих пор единственной возможностью ее выживания являлось воссоздание знания в умах новых поколений. (Бумага — прекрасный способ передачи, но она не делает ничего, пока знание, записанное на ней, не будет постигнуто разумом другого человека.) Теперь мир меняется: все в большей мере становится возможным помещать наше знание в машины, которые самостоятельно могут поддерживать нашу цивилизацию для нас.

С исчезновением практического стимула передачи нашей цивилизации следующему поколению станет очень трудно обратить процесс вспять. Триллион лет суммарного обучения окажется, буквально, потерянным. Мы превратимся в пассажиров прогулочного лайнера, управляемого машинами, в круизе, который продолжается вечно, — в точном соответствии с предвидением мультфильма «ВАЛЛ-И».

Убежденный консеквенциалист скажет: «Очевидно, это нежелательное последствие чрезмерной автоматизации! Правильно сконструированные машины никогда этого не сделают!» Верно, но вдумайтесь, что это означает. Машины могут хорошо понимать, что автономия и компетенция человека — это важные аспекты того, как мы предпочитаем проводить свою жизнь. Они могут добросовестно настаивать, чтобы люди сохраняли контроль над собственным благополучием и ответственность за него, — иными словами, машины скажут «нет». Однако мы, близорукие, ленивые люди, необязательно с ними согласимся. Это пример трагедии общих ресурсов в действии: каждому отдельному человеку, возможно, покажется бессмысленным тратить долгие годы самоотверженной учебы на приобретение знаний и навыков, которыми машины уже владеют, но если все будут думать так, человечество коллективно утратит автономию.

Решение этой проблемы, как представляется, носит культурный, а не технический характер. Нам понадобится движение в сторону переформирования наших идеалов и предпочтений в направлении автономии, способности к деятельности и знаниям, прочь от сибаритства и зависимости — если хотите, современная, окультуренная версия воинского идеала древних спартанцев. Это будет означать конструирование человеческих предпочтений во всемирном масштабе наряду с радикальными изменениями в том, как функционирует наше общество. Чтобы не ухудшить плохую ситуацию, нам может потребоваться помощь сверхинтеллектуальных машин, как в оформлении решений, так и в реальном процессе обретения равновесия каждым индивидом.

Любому родителю маленького ребенка знаком этот процесс. Когда ребенок проходит стадию беспомощности, выполнение родительских обязанностей требует постоянно меняющегося равновесия между полюсами: делать для ребенка все и целиком или полностью предоставить его самому себе. На определенном этапе ребенок начинает понимать, что родитель прекрасно может завязать ему шнурки, но сознательно не делает этого. Это ли будущее человеческой расы — вечно находиться на положении ребенка, на попечении совершенных машин? Думаю, нет. Хотя бы потому, что дети не могут выключить своих родителей. (Слава богу!) В нашем современном мире в действительности нет аналога отношениям, которые сложатся у нас в будущем с полезными интеллектуальными машинами. Нам еще предстоит узнать, чем закончится игра.

Выбор действия на основе прогноза будущего и оценки результатов возможных последовательностей действий — фундаментальная способность интеллектуальных систем. Ваш сотовый телефон делает это всякий раз, как вы спрашиваете у него, в каком направлении двигаться. На рис. 14 приведен типичный пример: как попасть из текущего местоположения, 19-й пирс, в целевое, Койт-Тауэр. Алгоритм должен знать, какие действия ему доступны; в случае навигации по карте, как правило, каждое действие связано с фрагментом дороги, соединяющим два соседних перекрестка. В данном примере у 19-го пирса доступно лишь одно действие: повернуть направо и ехать по Эмбаркадеро до следующего перекрестка. Затем имеется выбор: продолжить движение или резко повернуть налево на Бэттери-стрит. Алгоритм последовательно исследует все эти возможности, пока не находит маршрут. Обычно мы добавляем некоторые указания, исходя из здравого смысла, например предпочтение улиц, ведущих прямо к цели, а не в сторону от нее. Благодаря этим указаниям и еще нескольким хитростям алгоритм очень быстро находит оптимальное решение — обычно за несколько миллисекунд, даже в случае поездки по сложным маршрутам.

Поиск маршрута на карте — очевидный и всем известный пример, но, возможно, недостаточно объективный, поскольку отдельных локаций очень мало. Например, в США имеется лишь около 10 млн перекрестков. Казалось бы, большое число, но это ничто по сравнению с количеством отдельных позиций в пятнашках. Пятнашки — это игра с сеткой 4 × 4, где находятся 15 пронумерованных фишек и пустое место. Перемещая фишки, нужно достичь целевой конфигурации, скажем, расположить их все по порядку номеров. В пятнашках около 10 трлн состояний (в миллион раз больше, чем перекрестков в США!); пазл с 24 клетками допускает около 8 триллионов триллионов состояний. Это пример того, что в математике называется комбинаторной сложностью , — очень быстрого увеличения количества комбинаций с ростом числа «подвижных элементов» задачи. Вернемся к карте США: если компания-грузоперевозчик хочет оптимизировать движение 100 своих грузовиков по территории страны, количество возможных состояний составит 10 700.

Многие игры отличаются комбинаторной сложностью, в том числе шахматы, шашки, нарды и го. Поскольку правила го просты и изящны (рис. 15), я использую эту игру для примера. Задача сформулирована четко: выиграть, окружив больше территории, чем противник. Возможные действия также понятны: клади камень на свободное пересечение. Как и в случае навигации по карте, очевидный способ принятия решения о действии состоит в том, чтобы представить разные варианты будущего, вытекающие из разных последовательностей действий, и выбрать наилучший. Вы спрашиваете себя: «Если я сделаю это, как может поступить мой противник? Что я сделаю тогда?» Эта мысль продемонстрирована на рис. 16 на примере го размерности 3 × 3. Даже для доски 3 × 3 я могу показать лишь малую часть возможных вариантов будущего, но, надеюсь, мысль ясна. Действительно, этот способ принятия решений кажется проявлением самого обычного здравого смысла.