Эрик Баркер - Лаять не на то дерево

Ученые, изучающие феномен доверия, часто используют в своих исследованиях игру под названием «дилемма заключенного». Суть ее в следующем: вы с другом грабите банк, но, поскольку вы неопытные грабители, вас арестовывают. Полицейские рассаживают вас по отдельным комнатам для допроса. Вы не можете общаться с другом. Полиция предлагает вам сделку: вы даете показания против своего друга как зачинщика преступления, и если он не дает против вас показаний, то вы выходите на свободу, а он получает пять лет тюрьмы. Если вы молчите, а друг валит всю вину на вас, то вы получаете пять лет тюрьмы, а его отпускают. Если вы оба даете показания друг против друга, то оба получаете по три года заключения. Если вы оба молчите, то получаете по одному году тюрьмы.

Если бы вы могли переговорить и знали, что можете друг другу доверять, ответ был бы простым: обоим молчать и отделаться одним годом тюрьмы. Но можете ли вы доверять своему другу в такой ситуации? Может быть, полиция запугала его до смерти? Вдруг вы промолчите, а он даст показания против вас? Тогда он выйдет на свободу, а вы на пять лет сядете в тюрьму.

Решение принять трудно. И если бы это был единичный случай, разумнее всего было бы дать показания. Но что, если вам предстоит сыграть в эту игру 20 раз? Это больше похоже на жизнь, верно? Наша судьба редко зависит от одного-единственного решения.

С этого начинал Роберт Аксельрод. Между США и СССР бушевала холодная война, и он хотел выяснить, что может заставить людей доверять друг другу и сотрудничать. Какая стратегия наиболее эффективна? Аксельрод решил организовать соревнование, в котором будут бороться компьютерные программы с разными алгоритмами взаимодействия, и проверить, какая из них наберет больше баллов.

Психологи, экономисты, математики, социологи и другие ученые прислали в общей сложности 14 алгоритмов (и одну программу, которая вела себя случайным образом). Представьте себе круговой турнир вроде «мартовского безумия» в баскетболе — только для нравственных систем. Одна из программ была до безумия доброй: она всегда сотрудничала — даже после того, как ее обманывали. Другая программа (с названием ALL D) была полной противоположностью: она предавала своего оппонента в каждом раунде игры, без исключений. Остальные алгоритмы располагались посредине. Некоторые из наиболее сложных программ большую часть времени вели себя дружелюбно, но время от времени пытались совершить предательство, чтобы получить преимущество. Одна программа под названием «Проверяющий» (Tester) следила за действиями других игроков, чтобы понять, что может сойти ей с рук, и давала задний ход, если ее застигали врасплох с рукой в банке с печеньем.

Какая нравственная система в итоге оказалась лучшей? К огромному удивлению исследователей, турнир выиграла самая простая из предоставленных программ. Она состояла всего из двух строк кода и действовала по знакомому нам с детства принципу «око за око» (tit for tat).

Все действия этой программы сводились к следующему: она сотрудничала в первом раунде дилеммы заключенного, а в каждом последующем раунде повторяла предыдущее действие оппонента. В предыдущем раунде вы сотрудничали? Значит, я буду сотрудничать в этом раунде. В прошлом раунде вы меня предали? Я предам вас в ответ.

Эта простая программа выкосила всех конкурентов и вышла на первое место. Поэтому Аксельрод снова устроил соревнование. Он обратился к другим экспертам и на этот раз собрал 62 участника. Были предложены и более сложные алгоритмы. Были даже вариации на тему «око за око». Кто выиграл?

Простейшая программа «Око за око». Снова.

Какой волшебной силой обладала эта простая и скромная стратегия? По мнению Аксельрода, все сводилось к нескольким ключевым факторам.

Он увидел то же, что мы заметили при сравнении методов «плохишей» и альтруистичного подхода дающих: в первое время хорошие парни оказываются в проигрыше. Аналогично ситуации, описанной в статье «Плохое сильнее хорошего», в начале взаимодействия плохие парни быстро заняли верхние позиции. Даже победившая в итоге программа «Око за око» вначале всегда проигрывала, потому что ее первым шагом было сотрудничество.

Плохие парни быстро получали свою выгоду, но затем начинали стремительно отставать от алгоритмов, основанных на сотрудничестве. Сталкиваясь с сотрудничающим на каждом ходу алгоритмом, «Око за око» получала огромное преимущество. Даже программы вроде «Проверяющего» (которые опускали руку в банку с печеньем) понимали, что сотрудничество более выгодно, чем периодические выигрыши от предательства.

Программа «Око за око» имела ряд преимуществ. Начинала она всегда с сотрудничества и тем самым демонстрировала добрую волю. При контакте с «добрыми» программами это означало быстрое начало взаимодействия и набор очков. У агрессивных программ не было шанса набрать обороты, так что они, по сути, превращались в «хороших парней». Что касается алгоритмов, созданных по типу «Проверяющего», при взаимодействии с ними «Око за око» демонстрировала готовность наказать за предательство. Никакой бесхарактерности. Поэтому эти программы начали подстраиваться.

Как только они переходили к сотрудничеству, «Око за око» начинала демонстрировать им свое лучшее достоинство — умение прощать. Она была простой и запоминала только самый последний ход оппонента, поэтому могла переманить на сторону добра практически любую программу, которая не была стопроцентно агрессивной и не действовала совершенно случайным образом. Эта программа была способна не только сотрудничать и наказывать, но и обучать. Она демонстрировала другим игрокам более эффективный способ игры. По словам Аксельрода, одной из причин невысоких результатов агрессивных программ было то, что они не умели прощать и сами загоняли себя в ловушку.

Но на этом Аксельрод не остановился. Вместе с другими исследователями он попробовал составить еще более эффективный алгоритм. «Око за око» победила в двух больших турнирах, но можно ли создать истинного суперхищника, который разбил бы конкурентов в пух и прах? Оказывается, это было возможно. Нужно ли было сделать алгоритм более агрессивным? Нет. Наоборот, нужно было усилить его положительную составляющую, а именно способность прощать.

Аксельрод с коллегами убедились в том, что их доработанное «великодушное „Око за око“» еще успешнее первоначальной версии. Теперь этот алгоритм не просто каждый раз повторял предыдущий ход оппонента, но и периодически прощал ему предательство и отвечал сотрудничеством. Из-за этого программа уступила чуть больше очков агрессивным алгоритмам вроде ALL D, но потери более чем компенсировались огромными прибылями за счет того, что она вытягивала потенциально «хорошие» программы из нисходящей петли. (Мужчины, иногда соглашайтесь с женами и признавайте свою неправоту, даже если они ведут себя совершенно неадекватно. Вы же знаете, что в конечном итоге их намерения благие, так зачем разрушать брак из-за цвета стен в гараже?)