Чтобы победить людей, роботы должны стать человечнее
Каждое лето сильнейшие создатели покерных ботов собираются вместе, чтобы испытать свои творения в бою. В последние время в этих состязаниях доминируют три команды: университет Альберты (Канада), университет Карнеги-Мелон, создатели «Tartanian» и независимый разработчик Эрик Джексон.
Турниры роботов сильно отличаются от обычных и состоят из нескольких совершенно разных состязаний. Иногда — это битвы на выживание (после каждого раунда игроку с наименьшим количеством фишек засчитывается поражение), а в других соревнованиях победителем становится робот, который выиграет больше всех. Это означает, что для победы оборонительную стратегию нужно сменить на наступательную.
На разработку многих роботов уходят годы труда. В рамках подготовки к турнирам машины разыгрывают миллионы или даже миллиарды раздач, но какой смысл работать над такими программами?
Когда компьютер играет в покер, ему приходится решать проблему, которая актуальна для каждого: как действовать в условиях отсутствия полной информации.
В некоторых играх, например, в шахматах или шашках, информация — не проблема. Обе стороны знают, какие фигуры есть у противника, где они находятся, и, где они могут очутиться в ближайшее время. Элемент удачи появляется в шахматах не потому, что у игрока нет информации, а потому, что он не способен оперативно обработать её в полном объёме.
Иными словами, если у нас есть хороший алгоритм и большая компьютерная мощность, мы можем создать игрока, который будет способен обработать абсолютно всю информацию и просчитать все ходы. Именно так Джонатан Шафер и его коллеги из университета Альберты решили шашки и разработали теорию того, как компьютер может решить шахматы. Компьютер может победить человека в шахматах и шашках потому, что он может просчитать все его ходы. Но покер — это совсем другая игра. Неважно, насколько хорош игрок, ему приходится мириться с тем фактом, что карт противника он не знает.
Те же проблемы возникают во многих сферах жизни: переговоры, аукционы, торги — это всё игры с неполной информацией. «Покер — это идеальный микрокосм для испытания практически всех проблем, с которыми мы имеем дело в реальной жизни», — говорит Шафер.
***
В 2015 году разработчики университета Альберты создали «Цефея», непобедимого мастера лимитного холдема с электронными мозгами.
Чтобы решить лимитный холдем «Цефею» пришлось отыграть миллиарды раздач. Со временем программа становилась лучше и лучше и, в конце концов, просчитала все возможные ходы и ситуации, которые только могут возникнуть за игровым столом. «Цефей» стал лучшим игроком в мире при помощи алгоритма «минимизации потерь». После каждой раздачи программа возвращалась назад, пробовала все возможные ходы, сравнивала результаты и выбирала оптимальный. Иными словами, программа училась методом проб и ошибок.
Цефей доказал, что даже в сложных ситуациях, когда вся информация недоступна, можно найти оптимальную стратегию. Сфера применения использованного алгоритма крайне широка. Его можно использовать, как для патрулирования границ, так и для создания медицинских препаратов.
Когда компьютерные программы решили шахматы, шашки, лимитный холдем, у многих появился соблазн сказать, что у людей больше нет смысла играть в эти игры. Алан Тюринг однажды отметил, если «человек будет притворяться машиной, его результаты могут получиться весьма посредственными». Попросите человека произвести вычисления, нет смысла отрицать, что он будет действовать гораздо медленнее машины и, конечно, допустит гораздо больше ошибок.
Несмотря на то, что превосходство машин во многих сферах деятельности очевидно, в некоторых аспектах игры у роботов по-прежнему возникают серьёзные трудности. Когда «Ватсон», детище IBM, играло с людьми в «Свою игру» (Jeopardy!), выяснилось, что короткие загадки стали для робота самыми трудными. Когда ведущий задавал вопросы из категории «первые леди», компьютеру понадобилось много времени, чтобы найти ответ на вопрос, кто такая «Нэнси Рейган?» (первая леди, вдова Рональда Рейгана — прим. ред.). В то же время компьютер хорошо справлялся с длинными и запутанными вопросами.
Разработчики, которые пытаются решить покер, испытывают ту же трудность. Компьютеру нужно время, чтобы изучить оппонента, а затем научиться его эксплуатировать. Люди в свою очередь могут оценить противника очень быстро и, как следствие, быстро найти к нему подход. «Люди умеют делать довольно точные предположение практически при полном отсутствии информации», — говорит Шафер.
Учёные университета Альберты также пришли к выводу, что люди особенно хороши в использовании «агрессивных тактик».
«Ключ к успеху в покере — это агрессия. Лучшие игроки умеют оказывать давление на оппонента и знают, как добиться своего за счёт применения силы. Давления на оппонента заставляет его ошибаться». Когда роботы играют с людьми, они стараются копировать такой стиль игры.
Иными словами, чтобы добиться успеха, роботам приходиться копировать поведение людей, в том числе их ошибки.