Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Первой успешной системой обучения с подкреплением являлась шахматная программа Артура Самуэля, ставшая сенсацией после демонстрации по телевидению в 1956 г. Программа училась фактически с нуля, играя сама с собой и отмечая вознаграждения за победы, а также оценивая свои поражения [70] Строго говоря, программа Самуэля не рассматривает выигрыш и проигрыш как абсолютные вознаграждения; однако, фиксируя стоимость материала как положительную, программа в общем склонна действовать на достижение победы. . В 1992 г. Джерри Тезауро применил ту же идею к нардам, достигнув игры уровня чемпиона мира после 1 500 000 матчей [71] Применение обучения с подкреплением для создания программы, играющей в нарды на мировом уровне: Gerald Tesauro, «Temporal difference learning and TD-Gammon », Communications of the ACM 38 (1995): 58–68. . С 2016 г. AlphaGo команды DeepMind и ее наследницы применяли обучение с подкреплением и игру с собой, чтобы научиться побеждать лучших игроков в го, шахматы и сёги.

Алгоритмы обучения с подкреплением могут также научиться выбирать действия на основе восприятия первичных входных данных. Например, разработанная DeepMind система DQN научилась совершенно с нуля играть в 49 видеоигр Atari, в том числе Pong, Freeway и Space Invaders [72] Система DQN, которая учится играть в широкий спектр видеоигр с использованием глубокого обучения с подкреплением: Volodymyr Mnih et al., «Human-level control through deep reinforcement learning», Nature 518 (2015): 529–33. . Она пользовалась только пикселями экрана в качестве входных данных и счетом в игре в качестве вознаграждения. В большинстве игр DQN научилась играть лучше профессиональных игроков, несмотря на то что не имела предшествующего понимания времени, пространства, объектов, движения, скорости или стрельбы. Довольно трудно выяснить, что же в действительности делает DQN, помимо того, что она выигрывает.

Если бы новорожденный научился играть в десятки видеоигр на сверхчеловеческом уровне в первый день жизни или стал чемпионом мира по го, шахматам и сёги, мы заподозрили бы бесовскую одержимость или инопланетное вмешательство. Вспомним, однако, что все эти задачи намного проще реального мира: они полностью наблюдаемы, предполагают короткие временные горизонты, имеют относительно мало статичных пространств и простые предсказуемые правила. Отмена любого из этих условий означает, что стандартные методы не сработают.

Напротив, сегодняшние исследования нацелены именно на выход за рамки стандартных методов, чтобы системы ИИ могли действовать в более широких классах среды. В тот день, когда я писал предыдущий абзац, например, OpenAI объявила, что ее команда из пяти программ ИИ научилась обыгрывать команды опытных игроков в Dota 2. (Для непосвященных, к которым отношусь и я: Dota 2 — обновленная версия «Обороны древних», стратегия в реальном времени из семейства игр Warcraft. На сегодняшний день это самый доходный и конкурентный киберспорт с призами в миллионы долларов.) Dota 2 предполагает коммуникацию, работу в команде и неограниченные время и пространство. Игры длятся десятки тысяч временных шагов, и определенный уровень иерархической организации поведения представляется принципиально важным. Билл Гейтс описал эту новость как «колоссальную веху в создании искусственного интеллекта» [73] Высказывания Билла Гейтса об ИИ Dota 2: Catherine Clifford, «Bill Gates says gamer bots from Elon Musk-backed nonprofit are ‘huge milestone’ in A. I»., CNBC , June 28, 2018. . Через несколько месяцев обновленная версия программы победила команду лучших в мире профессиональных игроков в Dota 2 [74] Отчет о победе OpenAI Five над людьми — чемпионами мира по Dota 2: Kelsey Piper, «AI triumphs against the world’s top pro team in strategy game Dota 2», Vox , April 13, 2019. .

Такие игры, как го и Dota 2, являются отличным способом протестировать методы обучения с подкреплением, поскольку функция вознаграждения заложена в правила игры. Однако реальный мир не столь удобен, и в десятках случаев ошибочное определение вознаграждения ведет к странному и неожиданному поведению [75] Собрание примеров из литературы, когда неверное определение функции вознаграждения приводило к неожиданному поведению: Victoria Krakovna, «Specification gaming examples in AI», Deep Safety (blog), April 2, 2018. . Некоторые ошибки безвредны, например в случае системы эволюционного моделирования, которая должна была эволюционным путем создать быстро движущиеся существа, но на деле сотворила невероятно долговязые существа, которые быстро двигались за счет того, что падали [76] Случай, когда функция эволюционной пригодности, определенная через максимальную скорость передвижения, привела к очень неожиданным результатам: Karl Sims, «Evolving virtual creatures», in Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques (ACM, 1994). . Есть и менее безобидные ошибки, скажем, оптимизаторы переходов в социальных сетях, превращающие наш мир в кошмар.

Последняя категория агентов, которую я рассмотрю, является самой простой. Это программы, напрямую связывающие восприятие с действием без какого-либо промежуточного обдумывания или мыслительного процесса. В сфере ИИ программа такого типа называется рефлекторным агентом , что отсылает нас к нервным рефлексам нижнего уровня у человека и животных, не связанных мышлением [77] Захватывающее знакомство с возможностями рефлекторных агентов: Valentino Braitenberg, Vehicles: Experiments in Synthetic Psychology (MIT Press, 1984). . Например, рефлекс моргания у человека соединяет выходные сигналы низкоуровневых цепей обработки данных зрительной системы непосредственно с двигательной зоной, управляющей веками, так что любая быстро появляющаяся область в поле зрения вызывает сильное моргание. Вы можете проверить это прямо сейчас: попробуйте ткнуть себя (не слишком сильно) пальцем в глаз. Эту рефлекторную систему можно рассматривать как простое «правило» в следующем виде:

if <���быстро появляющаяся область в поле зрения> then <���моргание>.

Мигательный рефлекс «не знает, что делает»: задача (защитить глазное яблоко от инородных предметов) нигде не представлена; знание (что быстро движущаяся область соответствует предмету, приближающемуся к глазу, и что предмет, приближающийся к глазу, может его повредить) также нигде не представлено. Поэтому, когда нерефлекторная часть вас хочет закапать лекарство в глаза, рефлекторная часть все равно моргает.

Другой всем известный рефлекс — экстренное торможение, когда впереди идущая машина неожиданно останавливается или на дорогу шагает пешеход. Быстро решить, нужно ли тормозить, нелегко: в 2018 г., после того как экспериментальный автомобиль на автопилоте убил пешехода, компания Uber объяснила, что «маневр экстренного торможения запрещен, когда транспортное средство находится под компьютерным управлением, во избежание возможного неуправляемого поведения транспортного средства» [78] Газетная статья об аварии со смертельным исходом с участием автомобиля в режиме самоуправления, который сбил пешехода: Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch , May 24, 2018. . Таким образом, задача разработчика очевидна — не убивать пешеходов, — но политика агента (если он активирован) некорректно ее реализует. Опять-таки задача в агенте не представлена: никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.