Станислас Деан - Как мы учимся. Почему мозг учится лучше, чем любая машина… пока

Мозг работает так же? Уже в 1970-х годах появились первые данные в пользу этой теории [32] Прогнозирование будущего результата как основной механизм организации поведения было представлено в работах П.К. Анохина и Н.А. Бернштейна в СССР в 1950-е. (Прим. научн. ред.) . Два американских исследователя, Роберт Рескорла и Аллан Вагнер, выдвинули следующую гипотезу: мозг учится только в том случае, если замечает разрыв между тем, что он прогнозирует, и тем, что он получает в итоге. Никакое научение невозможно без сигнала ошибки: «Организмы учатся только тогда, когда события не совпадают с их ожиданиями» 284. Другими словами, удивление является одной из фундаментальных движущих сил научения.

Теория Рескорлы—Вагнера прекрасно объясняет детали такой парадигмы научения, как «классическое обусловливание». Все слышали о собаке Павлова. В павловских экспериментах по обусловливанию собака слышит звон колокольчика, который изначально является нейтральным и неэффективным стимулом. Однако после многократного сочетания с пищей тот же колокольчик вызывает условный рефлекс. Всякий раз, когда собака слышит колокольчик, у нее начинается обильное слюноотделение: она усвоила, что этот звук систематически предшествует появлению пищи. Как теория объясняет это явление? Правило Рескорлы—Вагнера предполагает, что мозг использует сенсорные сигналы (ощущения, генерируемые колокольчиком) для прогнозирования вероятности последующего стимула (пищи). Система работает следующим образом.

● Мозг генерирует прогноз, вычисляя взвешенную сумму поступающих сенсорных сигналов.

● Мозг вычисляет разницу между этим прогнозом и реальным стимулом, который он получил; ошибка прогноза , фундаментальное понятие теории, определяет степень неожиданности, ассоциированную с каждым стимулом.

● Мозг использует неожиданный сигнал для коррекции внутренней репрезентации: внутренняя модель изменяется прямо пропорционально силе стимула и величине ошибки прогнозирования. Правило гарантирует, что следующее предсказание будет ближе к реальности.

Данная теория уже содержит все семена наших трех столпов обучения: научение происходит только в том случае, если мозг отбирает соответствующие сенсорные сигналы (внимание), использует их для формулирования прогноза (активное вовлечение) и оценивает точность прогноза (обратная связь).

Уравнение, предложенное Рескорлой и Вагнером в 1972 году, оказалось на удивление прозорливым. Оно практически идентично «дельта-правилу», которое позже применялось в искусственных нейронных сетях. Оба представляли собой упрощенные версии правила обратного распространения ошибки, которое сегодня используется практически во всех современных системах обучения с учителем (сети дается эксплицитная обратная связь относительно верного ответа). Аналогичное уравнение до сих пор работает и в обучении с подкреплением (сети просто говорят, насколько она ошиблась): система прогнозирует вознаграждение и на основе разницы между своим прогнозом и фактическим вознаграждением обновляет внутреннюю репрезентацию.

Следовательно, можно утверждать, что современные кремниевые машины опираются на уравнения, непосредственно вдохновленные нейробиологией. Как мы видели выше, человеческий мозг идет еще дальше: чтобы извлечь максимум информации из каждого учебного эпизода, он использует язык мышления и статистические модели, гораздо более совершенные, чем современные искусственные нейросети. Однако основная идея Рескорлы и Вагнера остается верной: мозг пытается предсказать входные сигналы, которые он получает, и корректирует эти предсказания в соответствии со степенью неожиданности, маловероятности или ошибки. Учиться – значит уменьшать непредсказуемость.

Теория Рескорлы и Вагнера оказала сильное влияние на науку, ибо представляла собой важный шаг вперед по сравнению с предыдущими теориями, основанными на концепции ассоциативного обучения. В прошлом считалось, что мозг просто учится ассоциировать звон колокольчика с едой, а не прогнозировать одно на основе другого. Согласно данной точке зрения, мозг регистрирует все совпадения между стимулами и реакциями сугубо пассивным образом. Однако даже в случае павловского обусловливания этот подход явно ошибочен 285. Мозг собаки – не пассивный орган, который просто впитывает ассоциации. Научение представляет собой активный процесс и зависит от степени удивления, вызванного нарушением наших ожиданий.

Явление блокировки – одно из самых эффектных опровержений ассоцианистской точки зрения 286. В экспериментах с блокировкой животному предлагают два сенсорных ключа, предсказывающих скорое появление пищи: скажем, звон колокольчика и свет. Фокус в том, что они предъявляются последовательно. Мы начинаем со света: животное понимает, что всякий раз за зажиганием света следует появление пищи. После этого мы вводим двойные испытания, в которых пищу предсказывают и свет, и звон колокольчика. Наконец, мы проверяем действие одного колокольчика. Сюрприз: он не дает эффекта – вообще! Услышав звон, животное не выделяет слюну; оно, кажется, совершенно не замечает повторяющейся связи между колокольчиком и пищей. Что же произошло? Это открытие несовместимо с ассоцианизмом, зато отлично согласуется с теорией Рескорлы—Вагнера. Ключевая идея в том, что заучивание первой ассоциации (свет и пища) блокирует вторую (колокольчик и пища). Почему? Потому что прогноза, основанного только на свете, достаточно, чтобы объяснить все. Животное уже знает, что свет предсказывает пищу, а потому его мозг не генерирует никакой ошибки прогноза во время второй части теста, где о скором появлении пищи сигнализируют и свет, и звон. Ноль ошибок – ноль научения: собака не приобретает никаких знаний об ассоциации между звуком и едой. Какое бы правило ни было усвоено первым, оно блокирует усвоение второго.

Этот эксперимент с блокировкой ясно свидетельствует о том, что научение не работает по принципу ассоциаций. В конце концов, сочетание «звон колокольчика – пища» повторялось сотни раз, но условная реакция так и не сформировалась. Кроме того, эксперимент показывает, что в отсутствие удивления никакого научения не происходит: важнейшим условием научения является ошибка прогноза – по крайней мере у собак. Впрочем, имеющиеся на сегодняшний день данные говорят о том, что системы ошибок прогноза присутствуют в мозге всех видов животных.

Важно понимать, что сигнал ошибки, о котором мы говорим, – это внутренний сигнал, который распространяется в мозге. Нам не нужно совершать фактические ошибки, чтобы учиться; достаточно заметить несоответствие между тем, что мы ожидали, и тем, что получили в итоге. Рассмотрим простой двоичный выбор – скажем, какое второе имя Пабло Пикассо: Диего или Родриго? Предположим, мне посчастливилось высказать верную догадку с первой попытки (Диего; полное имя Пабло Пикассо – Пабло Диего Хосе Франсиско де Паула Хуан Непомусено Мария де лос Ремедиос Сиприано де ла Сантисима Тринидад Мартир Патрисио Руис и Пикассо). Научусь ли я чему-нибудь? Конечно. Даже при том, что я сразу ответил правильно, моя уверенность была низкой. Шансы, что я окажусь прав, составляли 50 на 50. Поскольку я не был уверен, полученная обратная связь дала мне новую информацию: она убедила меня, что мой случайно выбранный ответ на самом деле правильный на 100%. Согласно правилу Рескорлы—Вагнера, эта новая информация генерирует сигнал ошибки, который описывает разрыв между тем, что я предсказал (50%-ная вероятность оказаться правым), и тем, что я знаю теперь (100%-ная уверенность в знании правильного ответа). Распространяясь в моем мозге, сигнал ошибки уточняет мои знания, тем самым увеличивая мои шансы ответить «Диего» в следующий раз, когда меня об этом спросят. Следовательно, было бы неверно полагать, что для научения важно совершать много ошибок (хотя Шадоки, провалившие первые 999 999 запусков своей ракеты, едва ли с этим согласятся). Что действительно важно, так это получить эксплицитную обратную связь, которая позволит снизить неуверенность.