Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Возникает вопрос: что это должна быть за гипотеза? За последние 50 с лишним лет исследования компьютерного зрения было опробовано много подходов. Сегодня фаворитом является глубокая сверточная нейронная сеть . Разберем по пунктам. Она называется сетью , потому что представляет собой комплексное математическое выражение, составленное упорядоченным образом из множества меньших выражений, причем композиционная структура имеет форму сети. (Такие сети часто называют нейронными , потому что их разработчики вдохновляются сетями нейронов головного мозга.) Она называется сверточной , потому что это хитрый математический способ сказать, что структура сети повторяется согласно определенной закономерности по всему входному изображению. Наконец, она называется глубокой , потому что обычно у такой сети много слоев, к тому же это звучит впечатляюще и чуточку зловеще.

Упрощенный пример (упрощенный, потому что реальные сети могут иметь сотни слоев и миллионы узлов) представлен на рис. 23. Сеть в действительности является изображением комплексного корректируемого математического выражения. Каждый узел сети соответствует простому корректируемому выражению, как показано на рисунке. Корректировки осуществляются путем изменения веса каждого входного сигнала, о чем свидетельствует выражение «регулятор уровня». Взвешенная сумма входных сигналов затем проходит контрольную функцию, после чего достигает выходной стороны узла. Обычно контрольная функция подавляет малые значения и пропускает большие.

Сеть обучается, просто «подкручивая все ручки регулировки громкости», уменьшая ошибку прогнозирования по подписанным примерам. Все очень просто: ни магии, ни особенно хитрых алгоритмов. Выяснение того, в какую сторону крутить ручки, чтобы уменьшить ошибку, — это самый обычный случай вычисления того, как изменение каждого веса изменит ошибку в выходном слое. Это ведет к простой формуле проведения ошибки обратным ходом от выходного слоя к входному с подкручиванием ручек по пути.

Удивительно, но процесс работает! В задаче распознавания объектов на фотографиях алгоритмы глубокого обучения продемонстрировали потрясающие результаты. Первый намек на них дал конкурс 2012 г. ImageNet, участникам которого предлагались обучающие данные, состоящие из 1,2 млн подписанных изображений из 1000 категорий, на основании которых алгоритм должен был подписать категории 100 000 новых изображений [363]. Джефф Хинтон, британский специалист по вычислительной психологии, стоявший у истоков первой революции нейронных сетей в 1980-х гг., экспериментировал с очень большой глубокой сверточной сетью: 650 000 узлов и 60 млн параметров. Со своей группой в Университете Торонто он добился на ImageNet уровня ошибок в 15 % — резкое улучшение по сравнению с предыдущим рекордом — 26 % [364]. К 2015 г. десятки команд использовали методы глубокого обучения, и уровень ошибок упал до 5 %, что сопоставимо с результатами человека, потратившего несколько недель на обучение распознаванию тысяч категорий этого теста [365]. К 2017 г. уровень ошибок у машин составил 2 %.

Примерно в тот же период были достигнуты сравнимые улучшения в распознавании речи и машинном переводе на основе аналогичных методов. В совокупности это три самые важные сферы применения ИИ. Глубокое обучение сыграло важную роль и в приложениях для обучения с подкреплением, например в изучении функции ценности, с помощью которой AlphaGo оценивает желательность возможных будущих позиций, а также в освоении регуляторов сложного роботизированного поведения.

В то же время мы очень слабо понимаем, почему глубокое обучение так хорошо работает. Пожалуй, лучшее объяснение заключается в глубине глубоких сетей: поскольку они имеют много слоев, каждый слой может изучить относительно простое преобразование входного сигнала в выходной, и множество этих простых преобразований в совокупности дает сложное преобразование, необходимое для перехода от фотографии к определению категории. Кроме того, глубокие сети для распознавания визуальных образов имеют встроенную структуру, усиливающую трансляционную и масштабную инвариантность. Это означает, что собака является собакой, независимо от того, в каком месте изображения находится и насколько большой выглядит на нем.

Другим важным свойством глубоких сетей является то, что они часто находят внутренние представления, передающие элементарные признаки изображений, скажем, глаза, полосы и простые формы. Ни один из этих признаков не является встроенным. Мы знаем, что они есть, потому что можем поставить эксперимент с обученной сетью и увидеть, какие данные заставляют внутренние узлы (обычно ближние к внешнему слою) активироваться. В действительности можно запустить обучающийся алгоритм по-другому, так, чтобы он скорректировал само изображение, вызывая более сильный отклик в избранных внутренних узлах. Многократное повторение этого процесса приводит к явлению, ныне известному как глубокое сновидение , или инцепционизм , как на примере из рис. 24 [366]. Инцепционизм стал самостоятельным видом искусства, в котором создаются изображения, не похожие ни на какие творения человека.

При всех замечательных достижениях системы глубокого обучения, насколько мы их понимаем на сегодняшний день, далеки от того, чтобы стать основой универсальных интеллектуальных систем. Их принципиальной слабостью является то, что они представляют собой схемы ; это родственники пропозиционной логики и Байесовых сетей, которые, при всех своих прекрасных свойствах, также не способны выражать комплексные формы знания последовательным образом. Это значит, что глубокие сети, функционирующие в «собственном режиме», требуют огромных схем для репрезентации относительно простых типов общего знания, что, в свою очередь, предполагает изучение огромного количества весов, следовательно, на выходе получаем непомерно много примеров — больше, чем найдется во Вселенной.

Высказывается мнение, что мозг также состоит из цепей, элементами которых являются нейроны, следовательно, цепи могут поддерживать интеллект человеческого уровня. Это верно, но лишь в том же смысле, в каком истинно утверждение, что мозг состоит из атомов. Действительно, атомы могут поддерживать интеллект человеческого уровня, но это не значит, что достаточно собрать атомы вместе, чтобы получить интеллект. Атомы должны быть определенным образом организованы. Компьютеры также состоят из цепей, как в блоках памяти, так и в обрабатывающих модулях, но эти цепи должны быть определенным образом организованы и добавлено программное обеспечение, чтобы компьютер смог поддерживать высокоуровневые языки программирования и системы логического рассуждения. В настоящее время, однако, нет признаков того, что системы глубокого обучения способны выработать эти способности самостоятельно, — и с научной точки зрения бессмысленно ждать от них этого.