Коллектив авторов - Теории всего на свете

ТД-обучение обладает такой высокой эффективностью, поскольку позволяет объединять ценностную информацию множества разных аспектов – к примеру, сравнивая яблоки и апельсины. Оно играет такую важную роль, ибо рациональное принятие решений бывает весьма затруднительным, когда мы имеем дело с большим количеством переменных параметров и неизвестных величин. Обладание внутренней системой, умеющей быстро снабжать нас удачными догадками, несет в себе громадные преимущества и может даже спасти нам жизнь в тех случаях, когда срочно требуется решение. ТД-обучение зависит от нашего жизненного опыта, от былых переживаний. Оно извлекает самое существенное из этого опыта даже спустя долгое время после того, как отдельные подробности уже забылись.

ТД-обучение также дает объяснение многим экспериментам, которые ставили психологи, обучая крыс и голубей выполнять несложные задания. Алгоритмы психологического подкрепления при обучении считаются слишком слабыми для объяснения сложных моделей поведения, поскольку при этом обратная связь со стороны среды минимальна. Тем не менее обучение методом подкрепления распространено почти у всех видов и играет важнейшую роль в возникновении самых сложных форм сенсорно-моторной координации – таких, например, как игра на фортепиано или речь. Обучение методом подкрепления оттачивалось сотнями миллионов лет эволюции.

Насколько сложную проблему можно решить с помощью ТД-обучения? «TD-Gammon» – компьютерная программа, которая учится играть в нарды, просто сражаясь сама с собой. Трудность такого подхода в том, что награда приходит лишь в конце партии, так что неясно, какие именно ходы были хорошими и привели к победе. Вначале программа ничего не знает об игре кроме правил. Играя сама с собой много раз и применяя алгоритмы ТД-обучения, программа постепенно поднимается от уровня новичка к уровню опытного игрока, попутно придумывая и запоминая хитроумные стратегии, похожие на те, что используются игроками-людьми. Сыграв сама с собой миллион раз, программа достигла чемпионского уровня и открыла новый метод позиционной игры, изумивший специалистов-людей. Такие же принципы, примененные к игре го, позволили компьютерам достичь впечатляющего мастерства; не за горами их выступление на профессиональном уровне.

Когда речь идет об огромном количестве возможных исходов, полезно применять методы предварительного отбора, отсечения незначимых вариантов. Внимание и работоспособная память позволяют нам сосредоточиваться на самых важных элементах проблемы. Обучение методом подкрепления становится еще эффективнее благодаря сознательной (декларативной) памяти, которая отслеживает уникальные объекты и события. Когда у приматов в ходе эволюции появился более крупный мозг, соответствующее увеличение емкости памяти чрезвычайно улучшило их способность принимать сложные решения, позволив осуществлять более длинные последовательности действий для достижения целей. Мы – единственный вид, который изобрел систему образования и который ввергает себя в долгие годы уроков и экзаменов. Отложенное вознаграждение может восприниматься как нечто ожидающее нас лишь в далеком будущем (в некоторых случаях – в воображаемой жизни после смерти): такова власть допамина над нашим поведением.

В начале когнитивной революции 1960‑х даже самые блестящие умы не могли представить себе, что обучение с подкреплением может служить причиной разумного поведения. Ум ненадежен. Природа умнее нас.

Майкл Нортон

Адъюнкт-профессор бизнес-администрирования Гарвардской бизнес-школы

Пол Мейер, скончавшийся в 2011 году, известен прежде всего благодаря так называемой процедуре Каплана – Мейера, применяемой для оценки выживаемости. Однако Мейер также сыграл важнейшую роль в широком распространении бесценного объяснительного средства – рандомизированного эксперимента. Нарочитая сухость термина маскирует его элегантность, которая в руках лучших исполнителей достигает уровня искусства. Попросту говоря, такие эксперименты представляют собой уникальное и мощное средство получения ответов на вопрос, интересующий ученых из самых разных областей: как нам узнать, работает что-то или нет?

Возьмем вопрос, каждый год всплывающий в прессе: полезно или вредно для нас красное вино? Мы многое выясним насчет того, как действует эта жидкость, опрашивая людей об их режиме потребления напитка и состоянии здоровья, а затем ища корреляции между первым и вторым. Однако для того, чтобы избирательно оценить воздействие красного вина на здоровье, требуется задать людям много вопросов – обо всем, что они потребляют (о еде, о лекарствах, которые они принимают), об их привычках (здесь и физическая активность, и сон, и секс), об их прошлом (об «истории болезней» не только самого человека, но и его родителей, бабушек и дедушек) и т. п. – а уж затем попытаться просеять эти факторы, чтобы выделить роль вина. Только представьте длину такой анкеты и продолжительность соответствующего исследования!

И тут рандомизированные эксперименты коренным образом меняют наш подход. Мы принимаем как данность, что люди отличаются друг от друга по множеству вышеописанных (и других) параметров, но справляемся с этим разнообразием, случайным образом выбирая людей, которым поручаем или пить красное вино, или не пить его. Если любители пончиков, никогда не занимающиеся физическими упражнениями, с равной вероятностью попадают и в «винную группу», и в «контрольную группу» (ту, которой не дают вина), мы можем довольно уверенно оценить усредненное влияние красного вина вне зависимости от других факторов – как бы «поверх» их. Звучит просто? Что ж, это действительно довольно просто, но всякий раз, когда столь простая методика позволяет достичь столь многого, уместно назвать ее изящной.

Количество экспериментов в общественных науках сильно выросло в 1950‑е годы (к этому периоду относятся и работы Мейера). В последние годы экспериментальная деятельность в этой сфере вновь переживает взлет благодаря широкому применению рандомизированных экспериментов в самых разных сферах – от медицины (скажем, при проверке результатов применения когнитивно-поведенческой терапии) до политологии (опыты по оценке явки на избирательные участки) и образования (изыскания, при которых родителям предлагают платить детям за школьные успехи). Этот экспериментальный метод начал просачиваться и в публичную политику, оказывая на нее немалое влияние: так, президент Обама назначил Касса Санстейна, специалиста по поведенческой экономике, главой Службы информации и нормативно-законодательного регулирования Белого дома, а британский премьер-министр Дэвид Кэмерон учредил Группу поведенческих исследований.