Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Оценка предпочтений обычно рассматривает лишь единичный выбор между объектами, ценность которых считается очевидной для тестируемого. Непонятно, как перенести этот метод на предпочтения в отношении будущей жизни. Поэтому мы (и машины) должны учиться путем наблюдения за поведением, включающим множественные варианты выбора и неопределенные результаты.

Еще в 1997 г. мы с моими коллегами Майклом Дикинсоном и Бобом Фуллом обсуждали, как можно было бы применить идеи из области машинного обучения для понимания двигательной активности животных. Майкл в мельчайших деталях изучал движение крыльев плодовых мушек. Боб был в восторге от многоногих тварей и устроил небольшую беговую дорожку для тараканов, чтобы наблюдать, как их «аллюр» меняется со скоростью. Мы думали, что удастся использовать обучение с подкреплением, чтобы научить роботизированное или смоделированное насекомое воспроизводить эти сложные действия. Проблема заключалась в том, что мы не знали, какой вознаграждающий сигнал использовать. Что оптимизировали плодовые мушки и тараканы? Без этой информации мы не могли применить обучение с подкреплением для тренировки виртуального насекомого и застряли.

Однажды я шел по дороге от нашего дома в Беркли к супермаркету. Дорога шла под уклон, и я заметил, как и наверняка большинство людей, что наличие уклона немного меняет походку. Более того, неровный тротуар — следствие многих десятков лет мини-землетрясений — также вносил изменения в мою походку: я чуть выше поднимал ноги и ставил их менее жестко из-за непредсказуемого уровня поверхности. Занимаясь этими обыденными наблюдениями, я понял, что мы можем применить их в обратном направлении. Если обучение с подкреплением формирует поведение посредством вознаграждения, то мы в действительности хотим противоположного — узнать из поведения, в чем заключается вознаграждение. Поведение у нас уже есть, это действия мушек и тараканов; мы хотим узнать конкретный вознаграждающий сигнал, который оптимизируется этим поведением. Иными словами, нам нужен алгоритм обратного обучения с подкреплением (Inverse Reinforcement Learning, IRL) [254] Статья, представляющая идею IRL: Stuart Russell, «Learning agents for uncertain environments», in Proceedings of the 11th Annual Conference on Computational Learning Theory (ACM, 1998). . (В то время я не знал, что аналогичная проблема изучается под менее известным названием структурная оценка процессов принятия решений Маркова и что первопроходцем в этом направлении стал нобелевский лауреат Том Сарджент в далеких 1970-х гг. [255] Первая статья о структурном оценивании процессов принятия решения Маркова: Thomas Sargent, «Estimation of dynamic labor demand schedules under rational expectations», Journal of Political Economy 86 (1978): 1009–44. ) Подобные алгоритмы смогли бы не только объяснить поведение животного, но и предсказать, как оно будет вести себя в новых условиях — например, как будет бежать таракан по ухабистой беговой дорожке с уклоном.

Перспектива ответить на эти фундаментальные вопросы вызвала у нас восторг, с которым мы едва могли справиться, тем не менее нам далеко не сразу удалось разработать первый алгоритм для IRL [256] Первые алгоритмы IRL: Andrew Ng and Stuart Russell, «Algorithms for inverse reinforcement learning», in Proceedings of the 17th International Conference on Machine Learning , ed. Pat Langley (Morgan Kaufmann, 2000). . С тех пор было предложено много формулировок и алгоритмов IRL. Имеются формальные гарантии, что алгоритмы работают, то есть могут принести достаточно информации о предпочтениях существа, чтобы быть способными действовать столь же успешно, что и наблюдаемое существо [257] Более совершенные алгоритмы IRL: Pieter Abbeel and Andrew Ng, «Apprenticeship learning via inverse reinforcement learning», in Proceedings of the 21st International Conference on Machine Learning , ed. Russ Greiner and Dale Schuurmans (ACM Press, 2004). .

Пожалуй, самый простейший путь к пониманию IRL состоит в следующем: наблюдатель отталкивается от некоего общего предположения об истинной функции вознаграждения и уточняет это предположение по мере дальнейшего наблюдения за поведением. На языке Байесова подхода [258] Понимание обратного обучения с подкреплением как Байесова обновления: Deepak Ramachandran and Eyal Amir, «Bayesian inverse reinforcement learning», in Proceedings of the 20th International Joint Conference on Artificial Intelligence , ed. Manuela Veloso (AAAI Press, 2007). : начнем с априорной вероятности возможных функций вознаграждения и будем уточнять это распределение вероятностей по мере появления данных В. Предположим, например, что робот Робби наблюдает за человеком Гарриет и гадает, в какой степени она предпочитает место у прохода месту у иллюминатора. Первоначально он находится в неопределенности по этому вопросу. Теоретически Робби может рассуждать так: «Если бы Гарриет действительно хотела сидеть ближе к проходу, то изучила бы схему расположения мест, чтобы узнать, доступно ли место у прохода, вместо того чтобы согласиться на место у иллюминатора, которое предложила ей авиакомпания. Однако она этого не сделала, хотя, вероятно, заметила, что это место у иллюминатора, и вроде бы не торопилась. Следовательно, сейчас значительно более вероятно, что ей все равно, где сидеть, или она даже предпочитает место у прохода».

Самым потрясающим примером IRL в действии является работа моего коллеги Питера Эббила по обучению исполнению фигур высшего пилотажа на вертолете [259] Как научить вертолет летать и выполнять фигуры высшего пилотажа: Adam Coates, Pieter Abbeel, and Andrew Ng, «Apprenticeship learning for helicopter control», Communications of the ACM 52 (2009): 97–105. . Опытные пилоты могут заставить модели вертолетов делать потрясающие трюки: петли, спирали, маятникообразные движения и т. д. Оказалось, что попытки копировать действия человека не приносят особого результата из-за невозможности точно воспроизвести условия — если повторять те же последовательности управляющих действий в других обстоятельствах, это может закончиться катастрофой. Вместо этого алгоритм изучает, чего хочет пилот, в форме ограничений траектории, движение по которой может осуществить. Этот подход дает даже лучшие результаты, чем у эксперта, поскольку у людей более медленная реакция и они постоянно совершают мелкие ошибки, которые вынуждены исправлять.

Метод IRL уже является важным инструментом создания эффективных ИИ-систем, но в нем делается ряд упрощающих допущений. Первое — что робот воспримет функцию вознаграждения, когда изучит ее путем наблюдения за человеком, следовательно, сможет выполнять то же задание. Это прекрасно работает в случае управления автомобилем или вертолетом, но не относится к питью кофе: робот, наблюдающий за моим утренним ритуалом, усвоит, что я (иногда) хочу кофе, но не научится сам его хотеть. Решить эту проблему легко — нужно лишь сделать так, чтобы робот ассоциировал предпочтения с человеком, а не с самим собой.