Адам Кучарски - Идеальная ставка

Конечно, покерные алгоритмы не всегда были такими эффективными. Когда в начале 2000-х такие программы только набирали популярность, их легко было переиграть. Так что же изменилось за последние годы? Чтобы понять, почему боты достигли таких высот в покере, сначала рассмотрим, как играют в эту игру люди.

Когда в 1969 году Конгресс США внес закон о запрете на рекламу табачных изделий на телевидении, общественность ожидала, что табачные компании придут в ярость. Ведь годом раньше индустрия потратила на продвижение своей продукции более 300 миллионов долларов. С такой суммой на кону, рассудили все, табачное лобби наверняка примется палить из всех орудий – наймет юристов, будет уговаривать членов Конгресса, пойдет войной на активистов антитабачного движения. Голосование было намечено на декабрь 1970 года, так что у компаний оставалось время для действий. И что же они предприняли? Ничего. Абсолютно ничего.

Запрет на рекламу не только не уменьшил прибыли табачников, но даже сыграл им на руку. Годами компании были заложниками абсурдной игры. Телевизионная реклама мало влияла на привычку людей к курению и, в сущности, была пустой тратой денег. Если бы все табачные компании одновременно перестали рекламировать свой товар, то сэкономили бы немало средств. С другой стороны, реклама конкретных марок, очевидно, влияла на выбор курильщиков. Если бы свой товар одновременно прекратили рекламировать все компании, кроме одной, клиенты переметнулись бы именно к этой компании.

Табачным компаниям всегда было выгодно вкладываться в рекламу, переманивая потребителей у тех, кто не желал тратиться на рекламу, или, по меньшей мере, не теряя старых клиентов. При условии общего договора компании могли бы сэкономить большие суммы, но каждая из них предпочитала нести рекламные расходы. В результате все они тратят и тратят деньги на рекламу, стараясь не отставать от конкурентов. Экономисты называют ситуацию, при которой выбор одного человека зависит от того, какой выбор сделал другой, «равновесием Нэша». Так что расходы табачных компаний на рекламу возрастали бы до тех пор, пока наконец не прекратилась бы эта затратная игра. Или пока кто-нибудь ее не прекратил.

В январе 1971 года Конгресс все-таки запретил рекламу табачных изделий на телевидении. Год спустя расходы на рекламу у производителей сигарет упали на 25 %, однако их доходы не пострадали. Благодаря правительству США равновесие Нэша было нарушено.

Свои первые работы по теории игр Джон Нэш опубликовал еще докторантом Принстонского университета. В докторантуру он поступил в 1948 году, получив после бакалавриата стипендию по рекомендации своего тьютора. Она состояла всего из двух предложений: «Мистеру Нэшу девятнадцать лет, в июне он оканчивает Университет Карнеги. Он – математический гений».

В последующие два года Нэш работал над версией «дилеммы заключенного». В этой задаче имеются двое гипотетических подозреваемых, пойманных на месте преступления. Каждый из них сидит в одиночной камере и должен выбрать, что делать – молчать или свидетельствовать против второго. Если оба будут молчать, то получат по году заключения. Если один будет молчать, а другой заговорит, то «молчун» получит три года тюрьмы, а того, кто его оговорит, освободят. Если заговорят оба, они получат по два года.

Получается, что наилучший вариант для обоих заключенных – это держать язык за зубами и получить по одному году тюрьмы. Но для заключенного, запертого в одиночке и не знающего намерений напарника, выгоднее заговорить. Если напарник промолчит, заключенного освободят, если тоже заговорит – ему дадут два года, а не три. Следуя концепции Нэша, оба заключенных должны заговорить. В этом случае каждый получает по два года тюрьмы вместо одного, но если заключенный единолично изменит стратегию, проиграют оба. Поставьте на место заключенных табачные компании, а на место стратегии «молчать или говорить» рост инвестиций в рекламу или отказ от них, и вы поймете суть проблемы.

В 1950 году Нэш получил докторскую степень за 27-страничный труд, в котором описал, как подобное равновесие сводит на нет кажущиеся позитивными результаты. Однако Нэш был не первым ученым, привлекшим математику к решению проблемы соревновательных игр. Этот титул история отводит Джону фон Нейману. В 1926 году фон Нейман, которому только предстояло прославиться своими достижениями в лабораториях Лос-Аламоса и Принстона, был молодым преподавателем Берлинского университета, точнее – самым молодым преподавателем за всю историю этого учебного заведения. Несмотря на свои выдающиеся академические успехи, кое в чем фон Нейман был не силен. Например, в покере.

Покер может показаться идеальной игрой для математиков. На первый взгляд, все в нем построено на вероятности: есть вероятность, что вы получите хорошие карты, и вероятность, что соперник получит руку лучше. Но каждый, кто играл в покер, полагаясь только на вероятность, знает, что все здесь не так просто. «На самом деле жизнь – это блеф, – говорил фон Нейман. – Она состоит из мелких уловок и попыток угадать, что другие думают о моих намерениях». Если ученый хотел постичь суть покера, ему требовалось научиться просчитывать стратегию оппонента.

Фон Нейман начал изучать покер с базового варианта – с участием двух игроков. Для большего упрощения он предположил, что каждому игроку выдается единственная карта со значением от 0 до 1. После того как оба игрока ставят по одному доллару, у первого – назовем его Элис – есть три варианта действий: сказать «пас» и, следовательно, потерять один доллар; пропустить ход (сделать чек, то есть нулевую ставку) или поставить еще один доллар (сделать бет). Оппонент Элис должен решить, спасовать ему, лишившись доллара, или принять ставку. В этом случае победит тот, у кого будет карта большего достоинства.

Понятно, что для Элис нет смысла начинать игру с паса, но что же выбрать – чек или бет? Фон Нейман изучил все возможные варианты с учетом ожидаемой прибыли от реализации каждой стратегии. Он обнаружил, что наша гипотетическая Элис должна повышать ставку в том случае, если на руках у нее карты с очень малым или очень большим количеством очков; во всех других случаях ей следует сделать чек. Иначе говоря, блефовать имеет смысл только в ситуации слабой руки. Это может показаться нелогичным, но именно такой логике следуют все опытные игроки в покер. С картами «средней паршивости» у Элис есть два варианта: блеф или чек. Если карты совсем никуда не годятся, у Элис нет надежды на выигрыш – разве что ее оппонент спасует. Значит, она должна блефовать. Если карты более или менее пристойные, все обстоит сложнее. Соперник, у которого хорошая рука, вряд ли поведется на блеф. Значит, шансы Элис на то, что ее посредственная карта перекроет карту соперника, ничтожны. Самое для нее разумное – сделать чек и надеяться на лучшее.