Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Есть и другие причины считать, что глубокое обучение может выйти на плато задолго до достижения универсальной разумности, но я сейчас не ставлю перед собой задачу диагностировать все проблемы. Многие из них перечислены другими специалистами, как входящими в сообщество исследователей глубокого обучения [367], так и сторонними [368]. Дело в том, что, просто создавая все более крупные и глубокие сети, объемные комплексы данных и мощные машины, невозможно создать ИИ человеческого уровня. Мы уже познакомились (в Приложении Б) с мнением генерального директора DeepMind Демиса Хассабиса, что «высокоуровневое мышление и символическое рассуждение» принципиально важны для ИИ. Другой видный эксперт по глубокому обучению Франсуа Шолле выразил эту мысль следующим образом: «Намного большее число приложений совершенно недостижимо для сегодняшних методов глубокого обучения — даже при наличии огромного объема аннотированных человеком данных… Мы должны отходить от прямолинейного картирования „от входа к выходу“ и двигаться к рациональному рассуждению и абстракции» [369].

Всякий раз, как вы ловите себя на обдумывании чего-либо, вы это делаете, поскольку еще не знаете ответа. Если у вас спрашивают номер только что купленного мобильного телефона, скорее всего, вы его не знаете. Вы думаете: «Итак, я не знаю номер. Как бы мне его выяснить?» Не являясь рабом сотового телефона, вы не представляете, как получить эту информацию, и спрашиваете себя: «Как бы мне установить способ, которым можно это выяснить?» На этот вопрос есть универсальный ответ: «Наверняка его написали на чем-то, что пользователям легко найти». (Это естественно!) Очевидные места — в верхней части основного экрана (не здесь), в приложении смартфона или в установках приложения. Вы набираете Settings>Phone — вот и он.

В следующий раз, когда у вас спросят номер, вы будете знать или его, или точный способ его найти. Вы помните процесс, и не только для этого телефона в данной ситуации, но для всех аналогичных телефонов во всех ситуациях, а именно — вы храните и повторно используете обобщенное решение задачи. Обобщение является обоснованным, поскольку вы понимаете, что особенности данного конкретного телефона и данной конкретной ситуации не относятся к делу. Вы были бы потрясены, если бы этот метод работал только по вторникам для телефонных номеров, оканчивающихся на 17.

Го демонстрирует прекрасный пример обучения аналогичного типа. На рис. 25(а) мы видим типичную ситуацию, когда черные угрожают захватить камень белых, окружив его. Белые пытаются вырваться из окружения, добавляя камни, соседствующие с исходным, но черные продолжают отрезать пути к бегству. Эта схема ходов образует лестницу из камней по диагонали через доску, в конце концов упирающуюся в край, когда белые больше ничего не могут сделать. Если бы вы играли белыми, то, вероятно, не захотели бы повторить эту ошибку. Вы поняли бы, что схема лестницы всегда приводит к последующему захвату при любой начальной ситуации и любом направлении, на любой стадии игры, независимо от того, играете вы белыми или черными. Единственное исключение возникает, если лестница упирается в какие-то дополнительные камни, принадлежащие убегающему. Универсальность схемы лестницы напрямую вытекает из правил го.

Примеры с забытым номером телефона и с лестницей в го иллюстрируют возможность обучения эффективным общим правилам на единственном примере — огромное отличие от миллионов примеров, необходимых для глубокого обучения. В сфере ИИ этот тип обучения называется обучением на основе объяснения : увидев пример, агент может самостоятельно объяснить, почему все обернулось подобным образом, и извлечь общий принцип, выяснив, какие факторы имеют решающее значение для объяснения.

Строго говоря, процесс как таковой не добавляет новое знание. Например, белые могли бы просто вывести существование и результат общей схемы лестницы из правил го, даже не видя пример [370]. Скорее всего, однако, белые никогда не узнали бы о понятии лестницы, если бы не увидели его пример. Таким образом, обучение на основе объяснения можно рассматривать как действенный метод сохранения результатов вычислений в генерализованном виде, без необходимости повторять один и тот же мыслительный процесс (или ту же самую ошибку, при несовершенном мыслительном процессе) в будущем.

Исследования в области когнитивных наук подчеркнули важность этого типа обучения для человеческого познания. Под названием сворачивания он является краеугольным камнем очень влиятельной теории познания, предложенной Алленом Ньюэллом [371]. (Ньюэлл был одним из участников Дартмутского семинара 1956 г. и одним из лауреатов премии Тьюринга 1975 г., которую разделил с Гербертом Саймоном.) Он объясняет, почему с практикой люди начинают легче решать когнитивные задачи — многие подзадачи, изначально требующие осмысления, становятся автоматическими. Не будь этого процесса, общение людей ограничивалось бы одно- или двухсложными ответами, а математики до сих пор считали бы на пальцах.

Многие люди способствовали созданию этой книги. Это, прежде всего, превосходные редакторы из издательств Viking (Пол Словак) и Penguin (Лора Стикни); мой агент Джон Брокман, подтолкнувший меня что-нибудь написать; Джил Леови и Роб Райд, щедрые на полезные комментарии; а также другие читатели первых черновых текстов, особенно Зияд Марар, Ник Хэй, Тоби Орд, Давид Дювено, Мас Тегмарк и Грейс Кэсси. Кэролайн Джинмэйр оказала громадную помощь в сортировке бесчисленных рекомендаций первых читателей, а Мартин Фукуи занимался разрешениями на публикацию изображений.

Основные идеи, освещенные в этой книге, разрабатывались совместно с членами Центра исследования совместимого с человеком ИИ в Беркли. Это в первую очередь Том Гриффитс, Анка Драган, Эндрю Критч, Дилан Хэдфилд-Менелл, Рохин Шах и Смита Милли. Центром прекрасно руководят исполнительный директор Марк Нитцберг и заместитель директора Рози Кэмпбелл при щедром финансировании Open Philanthropy Foundation.

Рамона Альварес и Карин Вердо обеспечили бесперебойную работу в течение всего проекта, а моя замечательная жена Лой и наши дети, Гордон, Люси, Джордж и Айзек, щедро одаривали автора жизненно необходимыми ему любовью, терпением и подбадриванием в доведении дела до конца, не всегда в этом порядке.