Роберт Сапольски - Биология добра и зла. Как наука объясняет наши поступки

Может ли сигнал о скорой награде сам стать в итоге наградой? Этот вопрос изучала Худа Акил из Мичиганского университета. В ее эксперименте свет в левой стороне клетки давал крысе понять, что, нажав на рычаг, она получит награду в правой кормушке. В результате, что примечательно, крысы старались держаться левой стороны клетки – потому, что им там больше нравилось. Просто световой сигнал слева позаимствовал «дофаминовую» силу той пищевой награды, на которую он указывал. В принципе крысы начинают крутиться около того указателя, который обозначает возможность хоть какой-нибудь награды , неважно какой. Именно так работают фетиши, будь то сексуальные или племенные символы {110} 110 S. Flagel et al., “A Selective Role for Dopamine in Stimulus-Reward Learning,” Nat 469 (2011): 53; K. Burke et al., “The Role of the Orbitofrontal Cortex in the Pursuit of Happiness and More Specific Rewards,” Nat 454 (2008): 340. .

В лаборатории Шульца было показано, что уровень повышения дофамина при предвкушении зависит от двух параметров. Во-первых, от размера ожидаемой награды. Обезьяна выучивает, что свет сигнализирует об одной изюмине, а звук – о 10, конечно, если в обоих случаях 10 раз нажать на рычаг. И вскоре при звуке у нее выделялось заметно больше «обнадеживающего» дофамина, чем при включении света. Как будто дофаминовая система в одном случае сообщала «Сейчас произойдет кое-что потрясающее», а в другом – «Сейчас произойдет кое-что потрясающее !»

А во-вторых… Второй параметр вообще замечательный. Представим обычный эксперимент: включается свет, нажимается рычаг, выпадает награда. Теперь изменим правила: включается свет, нажимается рычаг и… награда выпадает только в половине случаев. И когда этот новый сценарий усваивается – вот чудо! – выделение дофамина увеличивается. Почему? Потому что ничто не подогревает выброс дофамина сильнее, чем все эти перебои в закреплении награды, все эти «может быть» {111} 111 P. Tobler et al., “Adaptive Coding of Reward Value by Dopamine Neurons,” Sci 307 (2005): 1642; C. Fiorillo et al., “Discrete Coding of Reward Probability and Uncertainty by Dopamine Neurons,” Sci 299 (2003): 1898. .

Когда новый сценарий с перебоями тоже выучивается, то дофамин начинает выделяться в неожиданный момент. За световым сигналом в ответ на перспективу награды следует закономерный всплеск дофамина. Затем нажимается рычаг – мы все еще в том предсказуемом времени, когда сигнал обозначал конкретную обязательную награду, – уровень дофамина на прежнем уровне, а затем, при получении награды, он чуточку увеличивается. Но теперь, с усвоением 50 % вероятности, после нажимания на рычаг уровень дофамина резко подскакивает – это ответ на неопределенность, на то самое «получу или нет?».

Изменим условия эксперимента еще больше: теперь вероятность награды не 50:50, а 25:75. Сдвиги с 50 к 25 % и с 50 к 75 % противоположны, если посмотреть с точки зрения вероятности получения награды. ПФК это хорошо понимает, как было показано в лаборатории Кнутсона: чем выше вероятность получения награды, тем выше активация ПФК {112} 112 B. Knutson et al., “Distributed Neural Representation of Expected Value,” J Nsci 25 (2005): 4806; M. Stefani and B. Moghaddam, “Rule Learning and Reward Contingency Are Associated with Dissociable Patterns of Dopamine Activation in the Rat Prefrontal Cortex, Nucleus Accumbens, and Dorsal Striatum,” J Nsci 26 (2006): 8810. . Но при этом сдвиг к 25 % или к 75 % сходным образом уменьшает неопределенность. И в таком случае подъем дофамина на промежуточном этапе оказывается ниже, чем при 50:50. Из вышеизложенного следует, что дофаминовый пик «предвкушения» зависит от неопределенности получения награды [71] Как-то, обсуждая со мной эту тему, Грин иронично заметил, что бюджетное прогнозирование Гарвардского университета имеет в виду эти ожидания: они откуда-то ведь берут значение 50 %, когда прогнозируют, какая часть хорошо работающих молодых преподавателей получит постоянные позиции. . В таких условиях добавочный дофамин выделяется в основном в мезокортикальном пути, в мезолимбическом же пути этот добавочный дофаминовый ответ существенно меньше. Следовательно, удовольствие от неопределенности усложнено рассудочным элементом – в отличие от привычного удовольствия.

Поклон психологам, изучавшим феномен Лас-Вегаса, – для них все это уже давно не новость. С точки зрения логики игра не должна провоцировать «дофаминовое» ожидание, ведь шансы выиграть астрономически ничтожны. Но здесь срабатывает поведенческое манипулирование – тут тебе и оживленная круговерть вне времени и пространства, тут тебе и настоянное на практически бесплатном алкоголе лобно-сознательное здравомыслие, тут тебе и исходящие отовсюду уверения, что как раз сегодня твой счастливый день. В результате оценка шансов на успех искажается, попадая в тот диапазон, когда дофамин начинает играть вовсю, и вот уже – ого-го! – почему бы снова не попытать удачу?!

Взаимосвязь между «может быть» и склонностью к игре становится понятной в исследовании ситуации «почти получилось!», когда, например, в игровом автомате в линию собираются два из трех предметов. В контрольной группе при недостаче любого рода выделяется минимальное количество дофамина, а у заядлых игроков, если не хватает одного последнего предмета, дофамин подскакивает как сумасшедший. В другом исследовании рассматриваются две похожие ситуации с одинаково вероятным выигрышем. Но в одной из них вероятность выигрыша точно просчитывается, а в другой эта вероятность определяется недостатком информации о выигрыше. То есть во втором случае речь идет не столько о риске, сколько о неопределенности. И в этом случае миндалина активируется и тормозит дофаминергические нейроны. Таким образом, тем, что ощущается как взвешенный риск, формируется зависимость, а неопределенность всего лишь бодрит {113} 113 R. Habib and M. Dixon, “Neurobehavioral Evidence for the “Near-Miss” Effect in Pathological Gamblers,” J the Exp Analysis of Behav 93 (2010): 313; M. Hsu et al., “Neural Systems Responding to Degrees of Uncertainty in Human Decision-Making,” Sci 310 (2006): 1680. .

Мы увидели, что дофамин обслуживает, скорее, ожидание награды, чем саму награду. Теперь пришло время поставить на место еще один кусочек мозаики. Опять вернемся к обезьяне, которой включают свет, после чего она нажимает на рычаг и получает награду. Когда обезьяну натренировали, выделение дофамина, как мы уяснили, достигает максимальных значений в предвкушении животным награды сразу после включения света.

А что случится, если после этого дофамин не выделится? {114} 114 A. Braun et al., “Dorsal Striatal Dopamine Depletion Impairs Both Allocentric and Egocentric Navigation in Rats,” Neurobiol of Learning and Memory 97 (2012): 402; J. Salamone, “Dopamine, Effort, and Decision Making,” Behavioral Nsci 123 (2009): 463; I. Whishaw and S. Dunnett, “Dopamine Depletion, Stimulation or Blockade in the Rat Disrupts Spatial Navigation and Locomotion Dependent upon Beacon or Distal Cues,” BBR 18 (1985): 11; J. Salamone and M. Correa, “The Mysterious Motivational Functions of Mesolimbic Dopamine,” Neuron 76 (2012): 470; H. Tsai et al., “Phasic Firing in Dopaminergic Neurons Is Sufficient for Behavioral Conditioning,” Sci 324 (2009): 1080; P. Phillips et al., “Sub-second Dopamine Release Promotes Cocaine Seeking,” Nat 422 (2003): 614; M. Pessiglione et al., “Dopamine-Dependent Prediction Errors Underpin Reward-Seeking Behavior in Humans,” Nat 442 (2008): 1042. Тогда обезьяна не нажмет на рычаг. Например, крысы с разрушенным прилежащим ядром будут совершать беспорядочные действия вместо того, чтобы нацелиться на предполагаемую отложенную награду. А обезьяны, у которых вместо включения света напрямую стимулируют электродами выделение дофамина в покрышке, поспешат нажать на рычаг. Получается, что дофамин не просто обслуживает ожидание награды, он подпитывает целенаправленное поведение, необходимое для ее получения. Он увязывает размер вознаграждения с требуемыми действиями. Здесь и рождается мотивация: ее начало – в дофаминергических нейронах, идущих в ПФК, на долю которой выпадает самое трудное (т. е. работать).