Sztuczna inteligencja coraz lepiej radzi sobie z ludzkimi przeciwnikami

Nowy bot wyposażony w sztuczną inteligencję wygrywa z ludźmi w grze, w której role i motywacje poszczególnych graczy są trzymane w tajemnicy, należy więc się ich domyślić.

Słyszeliśmy już o wielu systemach sztucznej inteligencji, które są w stanie pokonać ludzi. Komputery od dawna radzą sobie z nami w szachach, przed trzema laty program AlphaGo pokonał profesjonalnych graczy w go, a niedawno informowaliśmy o oprogramowaniu, które wygrywa z ludźmi w wieloosobowym pokerze. Są również algorytmy biorące udział w rozgrywkach zespół kontra zespół. Jednak we wszystkich wspomnianych rodzajach gier od początku wiadomo, kto jest przeciwnikiem, a kto sojusznikiem.

W przyszłym miesiącu podczas Conference on Neutral Information Processing Systems naukowcy z MIT zaprezentują DeepRole, pierwszego wygrywającego wieloosobowe gry, w których początkowo nie wiadomo, kto jest przeciwnikiem, a kto sojusznikiem. System wyposażono w mechanizmy, które na podstawie częściowych danych obserwacyjnych pozwalają ocenić, jaką rolę odgrywają poszczególni gracze. Następnie program gra tak, by jego drużyna odniosła zwycięstwo.

DeepRole zmierzył się z ludźmi w online'owej wersji gry „The Resistance: Avalon”. To rozgrywka pomiędzy dwoma grupami: członkami ruchu oporu i rządowymi szpiegami. Gracze muszą domyślić się, kto do jakiej drużyny należy, a jednocześnie starać się ukryć swoje rolę przed innymi. DeepRole rozegrał ponad 4000 rund i bezsprzecznie wykazał swoją wyższość nad ludzkimi graczami. Jeśli zastąpisz człowieka botem, to twój zespół będzie częściej wygrywał. Boty są lepszymi partnerami, mówi główny autor algorytmu, Jack Serrino.

Prace nad DeepRole to część większego projektu, w ramach którego modelowany jest sposób podejmowania decyzji przez ludzi. Ma to pomóc w stworzeniu robotów, które lepiej będą rozumiały ludzi i z nimi współpracowały.

Ludzie uczą się i współpracują z innymi. To pozwala nam osiągać cele, których nie możemy osiągnąć w pojedynkę. Gry takie jak „Avalon” dobrze oddają dynamikę codziennych ludzkich interakcji. Niezależnie od tego, czy jesteśmy pierwszy dzień w przedszkolu czy w nowej pracy, określamy, kto jest z nami i z kim będziemy współpracowali, mówi inny z autorów, Max Kleiman-Weiner.

DeepRole wykorzystuje algorytm o nazwie „counterfactual regret minimization” (CFR), którego uczy się wielokrotnie grając przeciwko samemu sobie. W każdym momencie rozgrywki CFR tworzy drzewo decyzyjne, opisujące potencjalne ruchy każdego z graczy. Na jego podstawie algorytm uczy się, które działania zwiększają, a które zmniejszają szanse na wygraną. W końcu opracowuje optymalną strategię, która w najgorszym przypadku pozwala mu zremisować.

CFR dobrze sprawdza się w takich grach jak poker, gdzie działania każdego z graczy są widoczne. Jednak w „The Resistance” nie zawsze wiemy, kto jaką rolę odgrywa i jaką decyzję podejmuje. Dlatego też bot musi brać pod uwagę większą liczbę możliwości podczas tworzenia drzewa decyzyjnego dla każdego graczy. Gdy w czasie rozgrywki gracz podejmie wystarczająco dużo działań niezgodnych z założonym przez DeepRole drzewem decyzyjnym, algorytm uznaje, że pomylił się co do przynależności gracza i uznaje, że ten odgrywa inną rolę. Po pewnym czasie potrafi z dużym prawdopodobieństwem określić rolę każdego z graczy i dostosować do tego swoje zachowanie, by zwiększyć szanse swojej drużyny. Na przykład jeśli misja dwuosobowa się nie uda, inni gracze wiedzą, że jeden z jej uczestników jest szpiegiem. Wówczas bot, gdy przyjdzie jego kolej na podjęcie decyzji, najprawdopodobniej nie zaproponuje tych osób do kolejnej misji, obawiając się, że jedna z nich będzie jej szkodziła, wyjaśniają twórcy programu.

Co interesujące, bot jest w stanie pokonać ludzi nawet się z nimi nie komunikując. Komunikacja pomiędzy graczami to ważny element rozgrywki, a w online'owej wersji „Avalona” zaimplementowano czat umożliwiający taką komunikację. DeepRole radzi sobie i bez tego. Jednak w najbliższym czasie jego twórcy chcą go wyposażyć w bardzo proste możliwości komunikacyjne, jak określenie, który z graczy jest po dobrej, a który po złej stronie. Być może w przyszłości boty wykorzystujące sztuczną inteligencję będą radziły sobie w grach, wymagających zaawansowanych umiejętności komunikacyjnych, takich jak gra „Werewolf”.
Język to kolejna granica. Jednak tutaj trzeba pokonać wiele barier, stwierdzają autorzy bota.

DeepRole bot sztuczna inteligencja gra The Resistance: Avalon