Адам Кучарски - Идеальная ставка

Покерные программы стремительно развиваются. Боты – участники покерного первенства для компьютеров – умнеют с каждым годом, и Лас-Вегас уже наводнен покерными автоматами, способными переиграть практически любого. Но действительно ли компьютеры превзошли людей? Неужели самые продвинутые боты играют лучше человека?

По мнению Сандхольма, говорить о том, что мы миновали некую критическую точку, пока рано, и тому есть несколько причин. Для начала нужно определить лучших покеристов-людей. К сожалению, в покере трудно назвать чемпионов – здесь нет своих Гарри Каспарова или Мариона Тинсли. «Мы, по правде говоря, не знаем, кто играет в покер лучше всех», – замечает Сандхольм. Кроме того, в покере трудно организовывать игру людей против машин. Между собой боты соревнуются ежегодно, однако смешанные матчи проходят намного реже. По словам Сандхольма, заманить на такие матчи покерных профи почти невозможно.

Но иногда подобные мероприятия все же проводятся. В 2007 году профессиональные покеристы Фил Лаак и Али Эслами сошлись один на один с ботом Polaris , созданным командой из Университета Альберты. Переиграть Polaris было непросто – бот не пытался использовать слабости оппонентов, но применял стратегию, близкую к равновесию Нэша.

Выбор кандидатов удивил покерное сообщество. Лаак был знаменит своим гиперактивным поведением: во время игры он вскакивал из-за стола, прыгал, катался по полу, отжимался. Эслами был едва известен публике по нескольким телевизионным турнирам. Но оба игрока обладали именно теми навыками, которые были нужны ученым. Хорошие покеристы, они не стеснялись выражать свои мысли и чувства, и их не смущала необычная обстановка, в которой протекал поединок человека с машиной.

Соревнование организовали в рамках проходившей в Ванкувере конференции по проблемам искусственного интеллекта. Соперникам предстояло играть в лимитный техасский холдем – ту самую разновидность покера, в которую позже будет играть в Лас-Вегасе бот Даля. Хотя и Лаак, и Эслами играли с Polaris по отдельности, в конце каждой сессии их очки суммировались. Это был поединок «машина против людей», где Лаак и Эслами сражались с Polaris единым фронтом. Чтобы минимизировать фактор случайности, карты раздавали по зеркальному принципу: те, что доставались Polaris , в следующей игре получали люди, и наоборот. Кроме того, организаторы четко определили условия выигрыша: для победы необходимо набрать на 250 долларов больше фишек, чем противник.

В первый день разыгрывалось две сессии, в каждой из которых было сдано по 500 рук. Первая сессия закончилась ничьей ( Polaris добился преимущества в 70 долларов, что было недостаточно для победы). Во второй сессии во время раздачи Лаак получил хорошие карты. Это означало, что в игре против Эслами компьютер получит такие же сильные карты. Polaris капитализировал свое преимущество эффективнее, чем Лаак. В результате бот одержал над людьми чистую победу.

Вечером Лаак и Эслами встретились, чтобы обсудить разыгранные комбинации. Команда Университета Альберты выдала им протокол игры, куда входил перечень всех сданных рук. Это помогло покеристам разобраться в ситуации. К следующему дню у людей созрел план борьбы с Polaris , и они выиграли две финальные сессии. Однако своей победой они не гордились. «Это не было триумфом, – признавался Эслами. – Задача была просто выжить. Я играл хорошо как никогда, и все же мы едва-едва избежали поражения».

Год спустя состоялось второе соревнование «машина против людей» с новым составом участников. В этот раз семь человек сражались с ботом Университета Альберты в Лас-Вегасе. Команда людей состояла из первоклассных покеристов, в том числе тех, кто успел заработать на картах более миллиона долларов. Но и Polaris был уже не тот, что в прошлом году. Это был усовершенствованный Polaris 2.0. После игры с Лааком и Эслами он сыграл сам с собой более восьми миллиардов игр. Бот научился эффективнее работать с комбинациями ходов, и в его стратегии стало меньше слабых звеньев, которыми могли бы воспользоваться оппоненты.

Кроме того, Polaris 2.0 усерднее учился. Бот просчитывал модель поведения соперника, идентифицировал тип применяемой им стратегии и вел игру так, чтобы воспользоваться его слабыми сторонами. Перехитрить Polaris 2.0, выработав совместную тактику, как это сделали Лаак и Эслами, было невозможно – с каждым противником усовершенствованный бот играл по-новому, проявляя чудеса адаптации. Глава разработчиков программы Майкл Боулинг отмечал, что большинство игроков-людей с огромным трудом выдерживали натиск Polaris и признавали, что еще никогда не видели такой стремительной корректировки стратегии.

Как и раньше, люди играли с Polaris парами в лимитный техасский холдем. За четыре дня было сыграно четыре партии. Первые две обернулись для Polaris неудачей – одна ничья и один проигрыш. Но удержать пальму первенства людям не удалось: бот выиграл две финальные партии и весь турнир.

Коль скоро Polaris научился отходить от оптимальной стратегии ради эксплуатации ошибок оппонента, команда из Альберты поставила перед собой новую задачу – создать абсолютно неуязвимого бота. Существующие программы просчитывали равновесие Нэша лишь в некотором приближении, а значит, оставалась теоретическая возможность появления стратегии, способной их победить. Боулинг и его коллеги искали набор приемов, позволяющих ни при каких обстоятельствах не потерять за покерным столом деньги.

Ученые из университета Альберты, применив описанную нами в предыдущей главе технику минимизации сожалений, доработали своих ботов и провели между ними серию игр интенсивностью около 200 раундов в секунду. В результате боты научились избегать эксплуатации со стороны любого, даже идеального соперника. В 2015 году на страницах журнала Science команда представила своего непобедимого компьютерного игрока по имени Cepheus . В память о прошлых шашечных исследованиях статью озаглавили «Тайна лимитного хедс-ап-покера раскрыта».

Отчасти открытия ученых подтвердили очевидные факты, например тот, что в хедс-ап-покере преимущество на стороне дилера. Исследователи также обнаружили, что Cepheus редко следует принципу «тише едешь – дальше будешь» и предпочитает не коллировать, а либо поднимать ставку, либо сбрасывать карты. По словам Йохансона, когда бот выбирает оптимальную стратегию, он начинает применять неожиданные тактики: «Мы периодически видим, как программа принимает решение, которого не принял бы человек». Так, финальная версия Cepheus , имея на руках четверки и шестерки разных мастей – карты, которые многие игроки предпочли бы сбросить, – раскрывает их. В 2013 году разработчики сделали еще одно наблюдение: бот время от времени делает минимально доступную ставку, хотя может поставить больше. С позиции игрового опыта бота такая тактика выглядит оптимальной, но игроки из плоти и крови воспринимают подобные ситуации по-иному. То, что компьютеру видится разумным ходом, большинству людей кажется глупостью. «Такие ставки просто бесят», – признавался Берч. Кроме того, улучшенная версия Cepheus неохотно размещает крупные ставки в начале игры. Даже когда у бота на руках лучшие карты, например пара тузов, он делает максимальную ставку лишь в одном случае из 100.