Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

• Являются ли среда и действия дискретными (как в шахматах) или фактически непрерывными (как при вождении)?

• Содержит ли среда других агентов (как в шахматах и вождении) или нет (как при поиске кратчайшего маршрута на карте)?

• Являются ли результаты действий, заданные «предписаниями» или «физикой» среды, предсказуемыми (как в шахматах) или непредсказуемыми (как при вождении и прогнозировании погоды), а сами предписания — известными или неизвестными?

• Испытывает ли среда динамическое изменение, вследствие чего время принятия решения жестко ограничено (как при вождении), или не испытывает (как в стратегии оптимизации налогообложения)?

• Каков период времени, для которого производится оценка качества решения в соответствии с задачей? Он может быть очень коротким (как при экстренном торможении), средним (как в шахматах, где матч длится до сотни ходов) или очень длинным (как при доставке меня в аэропорт, что может потребовать сотен тысяч циклов принятия решения, если такси принимает их 100 раз в секунду).

Как видите, эти характеристики порождают ошеломляющее многообразие типов задач. Одно лишь перемножение вышеперечисленных вариантов дает 192 типа. Для всех них можно найти примеры в реальном мире. Некоторые виды задач обычно изучаются вне сферы ИИ: например, разработка автопилота, поддерживающего полет в заданном эшелоне, — это непрерывная динамическая задача с коротким горизонтом — такие обычно решаются в теории автоматического управления.

Очевидно, некоторые типы задач проще других. ИИ достиг большого прогресса в таких задачах, как настольные игры и пазлы, которые являются наблюдаемыми, дискретными, детерминистскими и имеют известные правила. В отношении относительно более простых задач исследователи ИИ разработали общие и достаточно эффективные алгоритмы и достигли глубокого понимания теории. Часто машины в этих случаях превосходят результативность человека. Мы можем сказать, что алгоритм является общим, если имеются математические доказательства того, что он обеспечивает оптимальные или близкие к оптимальным результаты при разумной сложности вычислений во всем классе задач; если он хорошо работает на практике при решении этих типов задач, не требуя каких-либо модификаций под конкретную задачу.

Видеоигры, например StarCraft, несколько сложнее настольных: они включают сотни движущихся частей и временные периоды в тысячи шагов, а доска лишь частично видна в любой момент времени. В каждый момент игрок может иметь выбор по меньшей мере из 10 50ходов; для сравнения: в игре го лишь около 10 2ходов [57] Размер пространства состояний в StarCraft рассматривается в статье: Santiago Ontañon et al., «A survey of real-time strategy game AI research and competition in StarCraft», IEEE Transactions on Computational Intelligence and AI in Games 5 (2013): 293–311. Огромное количество ходов возможно, потому что игрок может перемещать все юниты одновременно. Число ходов снижается с введением ограничений относительно того, сколько юнитов или их групп могут быть перемещены одновременно. . С другой стороны, правила известны, а мир дискретен и включает немного типов объектов. На начало 2019 г. машинные программы были так же хороши, как некоторые профессиональные игроки в StarCraft, но еще не готовы бросить вызов самым лучшим игрокам-людям [58] О состязании человека и машины в StarCraft: Tom Simonite, «DeepMind beats pros at StarCraft in another triumph for bots», Wired , January 25, 2019. . Что более важно, требуется немало ориентированных на конкретную задачу усилий, чтобы этого достичь; методы общего назначения для StarCraft не вполне разработаны.

Такие задачи, как руководство правительством или преподавание молекулярной биологии, намного сложнее. Они имеют комплексную, по большей части ненаблюдаемую среду (состояние целой страны или состояние ума студента), намного больше объектов и их типов, отсутствие четкого определения того, в чем заключаются действия, практически неизвестные правила, огромную неопределенность и очень длинные временные интервалы. У нас есть идеи и стандартные инструменты, направленные на каждую из этих характеристик в отдельности, но на данный момент нет общих методов, которые охватывали бы все характеристики одновременно. Если мы строим системы ИИ для задач этого типа, они обычно требуют сложной доработки под конкретную задачу и часто очень ненадежны.

Прогресс в движении к общности происходит, когда мы изобретаем методы, эффективные для самой трудной задачи в данном типе, или же методы, требующие меньшего количества допущений, что делает их применимыми к большему числу задач. ИИ общего назначения будет методом, применимым ко всем типам проблем и эффективно работающим в масштабных и трудных случаях, требуя очень мало допущений. Это конечная цель исследования ИИ: система, не требующая доработки под конкретную задачу, которую запросто можно «попросить» вести занятия по молекулярной биологии или руководить правительством. Она будет учиться тому, что ей нужно будет уметь, пользуясь всеми доступными ресурсами, при необходимости задавать вопросы и начнет формулировать и осуществлять работающие планы.

Такого метода общего назначения пока не существует, но мы к нему приближаемся. Возможно, вас удивит, что в значительной мере это приближение к универсальному ИИ обеспечивается исследованиями, не связанными с построением экономных систем ИИ общего назначения. Оно обеспечено изучением инструментов ИИ , или узкого ИИ , под которым подразумеваются точные, надежные, скучные системы ИИ, разработанные для конкретных задач, например игры в го или распознавания рукописных цифр. Многие считают, что исследование этого типа ИИ не несет в себе никакого риска, потому что связано с конкретными задачами и не имеет ничего общего с разработкой универсального ИИ.

Это убеждение вытекает из непонимания того, какого рода работа входит в круг задач этих систем. В действительности исследование инструментов ИИ может обеспечить и часто обеспечивает прогресс в создании универсального ИИ, особенно когда им занимаются талантливые ученые, берущиеся за задачи, которые выходят за рамки существующих общих методов. В данном случае «талантливые» означает, что подход к решению не сводится к простой кодировке действий разумного человека в такой-то ситуации, но представляет собой попытку наделить машину способностью находить решение самостоятельно.

Например, команда AlphaGo из Google DeepMind сумела создать программу игры го, обыгравшую чемпиона мира, не работая в действительности над программой игры в го . Я имею в виду, что они не писали полный код, предназначенный исключительно для го, указывая, что делать в разных ситуациях этой игры. Они не разрабатывали процедуры принятия решений, работающие только для го. Они внесли улучшения в два более-менее общих метода — прогностическое исследование для принятия решений и обучение с подкреплением для обучения оценке позиций, — и этого оказалось достаточно, чтобы играть в го на сверхчеловеческом уровне. Эти улучшения применимы ко многим другим задачам, в том числе до сих пор относимым к области робототехники. Просто для примера: версия AlphaGo под названием AlphaZero недавно научилась побеждать AlphaGo в го, а также сокрушила Stockfish (лучшую в мире шахматную программу, далеко опережающую любого человека) и Elmo (лучшую в мире программу для игры сёги, также играющую гораздо лучше любого человека). AlphaZero сделала все это за один день [59] AlphaZero описана в: David Silver et al., «Mastering chess and shogi by self-play with a general reinforcement learning algorithm», arXiv:1712.01815 (2017). .