Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В традиционном представлении такой приказ должен стать для робота целью . Любая последовательность действий, достигающая этой цели, — ведущая к тому, что человек получает чашку кофе, — считается решением. В типичной ситуации у робота также будет возможность ранжировать решения, вероятно, на основе затрачиваемого времени, преодоленного расстояния, стоимости и качества кофе.

Это очень буквальный способ понимания инструкции. Он может привести к патологическому поведению робота. Представим, например, что человек Гарриет остановилась на автозаправочной станции посреди пустыни; она посылает робота Робби за кофе, но на заправке кофе не продают, так что Робби катится со скоростью 4,5 км/ч в ближайший городок — за 300 км — и возвращается через десять дней с высохшими следами кофе на донышке чашки. Тем временем владелец автозаправки безотказно снабжает томящуюся в ожидании Гарриет чаем со льдом и колой.

Если бы Робби был человеком (или хорошо сконструированным роботом), он бы не интерпретировал команду Гарриет настолько буквально. Команда — это не цель, которая должна быть достигнута любой ценой . Это способ передачи некоторой информации о предпочтениях Гарриет с намерением добиться от Робби определенного поведения. Вопрос заключается в том, что это за информация.

Один из вариантов: это информация о том, что Гарриет предпочитает кофе отсутствию кофе при прочих равных условиях [270]. Это значит, что, если у Робби есть возможность достать кофе, ничего больше в мире не меняя, то сделать это будет правильно, даже если он не имеет ни малейшего представления о предпочтениях Гарриет в отношении других аспектов состояния среды . Поскольку мы ожидаем от машины состояния вечной неопределенности в плане человеческих предпочтений, приятно сознавать, что она тем не менее может быть полезной. Представляется, что изучение процессов планирования и принятия решений в условиях частичной и неопределенной информации о предпочтениях станет ядром исследования ИИ и разработки продукта.

В то же время при прочих равных условиях означает, что не разрешаются никакие другие изменения — например, идея прибавить кофе, в то же время убавив деньги, может быть как хорошей, так и плохой, если Робби ничего не знает об относительных предпочтениях Гарриет в плане кофе и денег.

К счастью, инструкция, данная Гарриет, скорее всего, означает нечто большее, чем просто сообщение, что она предпочитает иметь кофе при прочих равных. Дополнительный смысл проистекает не только из сказанных ею слов, но и из самого факта, что они были сказаны, из конкретной ситуации, в которой эти слова были произнесены, и того обстоятельства, что больше она ничего не сказала. Особое направление лингвистики, прагматика , изучает именно это — расширенное понятие смысла. Например, было бы бессмысленно со стороны Гарриет говорить: «Подай мне чашку кофе!» — если бы она знала, что поблизости невозможно раздобыть кофе или оно стоит непомерно дорого. Следовательно, когда Гарриет говорит: «Подай мне чашку кофе!» — Робби делает вывод не только о том, что Гарриет хочет кофе, но и что она считает, что кофе можно купить рядом по цене, которую она готова за него заплатить. Таким образом, если Робби находит кофе по цене, которая кажется нормальной (то есть было бы разумно ожидать, что Гарриет рассчитывает именно на такую цену), то может продолжить действие и купить его. Напротив, если Робби выясняет, что ближайший кофе находится в 300 км или стоит $22, с его стороны будет разумно сообщить этот факт, а не слепо кидаться исполнять свою миссию.

Этот общий подход к анализу часто называют Грайсовым в честь Г. Пола Грайса, философа из Беркли, который предложил набор максим для оценки расширенного смысла высказываний вроде того, что сделала Гарриет [271]. В случае предпочтений анализ может стать весьма сложным. Например, вполне вероятно, что Гарриет не хочет именно кофе; ей просто надо взбодриться, но она исходит из ложного убеждения, что на автозаправочной станции продается кофе, следовательно, его она и просит. Она бы ничуть не меньше обрадовалась чаю, коле или даже энергетическому напитку в упаковке кислотного цвета.

Это лишь немногие соображения, сопутствующие интерпретации запросов и команд. Тема имеет бесконечные вариации из-за комплексности предпочтений Гарриет, огромного спектра обстоятельств, в которых Гарриет и Робби могут оказаться, и разных состояний знания и представлений Гарриет и Робби в данных обстоятельствах. Готовые сценарии позволили бы Робби справиться с немногочисленными стандартными ситуациями, но гибкое и безотказное поведение может возникнуть только вследствие взаимодействия Гарриет и Робби, то есть фактически из результатов игр в помощника, в которых они участвуют.

В главе 2 я описывал систему вознаграждения в нашем головном мозге, действующую на основе дофамина, и ее роль в управлении поведением. Функция дофамина была открыта в конце 1950-х гг., но уже к 1954 г. было известно, что непосредственная электрическая стимуляция мозга крыс может вызывать такую же реакцию, что и вознаграждение [272]. На следующем этапе исследований крысе дали доступ к рычагу, подсоединенному к батарейке и проводу, вызывавшему электрическую стимуляцию мозга зверька. Результаты оказались печальными: крыса снова и снова нажимала на рычаг, не прерываясь на еду или питье, пока не погибла [273]. Люди в подобном эксперименте ведут себя не лучше, стимулируя себя тысячи раз и забывая о еде и личной гигиене [274]. (К счастью, опыты на людях обычно прекращаются по прошествии одного дня.) Склонность животных отказываться от нормального поведения ради непосредственной стимуляции собственной системы вознаграждения называется зависимостью от токовой стимуляции .

Может ли что-нибудь подобное случиться с машинами, запустившими алгоритмы обучения с подкреплением, например AlphaGo? Первая мысль — это невозможно, ведь единственная возможность для AlphaGo получить свое вознаграждение плюс один балл за победу — это реально выиграть в смоделированной партии в го. К сожалению, это верно лишь в силу навязанного и искусственного разграничения между AlphaGo и ее внешней средой и того факта, что AlphaGo не слишком интеллектуальна. Позвольте объяснить эти два момента подробнее, поскольку они очень важны для понимания некоторых путей, следуя которым сверхразум может уйти не в ту степь.

Мир AlphaGo состоит только из модели игровой доски для го, состоящей из 361 клетки, которые могут быть пустыми или содержать черный или белый камень. Хотя AlphaGo запускается на компьютере, она ничего не знает об этом компьютере — в частности, о маленьком участке кода, который вычисляет, выиграла она данную партию или проиграла. В процессе обучения она не имеет и никакого представления о своем противнике, который в действительности является ее собственной версией. Единственные действия AlphaGo — это помещать камень в пустую клетку, и эти действия влияют только на доску для игры в го и ни на что больше, потому что в модели мира AlphaGo больше ничего нет . Эта структура соответствует абстрактной математической модели обучения с подкреплением, в которой вознаграждающий сигнал поступает из внешней вселенной . Ничто из того, что AlphaGo может сделать, насколько ей известно, не оказывает никакого влияния на код, генерирующий вознаграждающий сигнал, поэтому в AlphaGo не может развиться зависимость от токовой стимуляции.