Umelá inteligencia porazila hráčov v Pokri

12. augusta 201915. apríla 2020 Ing. Barbora Tináková

Poker bol dlhú dobu veľkou výzvou pre umelú inteligenciu. Hoci už boli pokusy prekonať s jej použitím ľudského hráča pokru, tento experiment tímu pre umelú inteligenciu Facebook-u a Carnegie Mellonovej univerzity predstavuje pre danú oblasť obrovský míľnik.

Pozrime sa teda na umelú inteligenciu, ktorá prvýkrát porazila ľudských profesionálov v pokri Texas Hold’em.

Čo bolo to eso v rukáve?

Pluribus. Funguje vďaka novému vyhľadávaciemu algoritmu, ktorý zhodnotí jeho možnosti počas niekoľkých možných ťahov vopred, nielen na konci hry. Taktiež využíva nový algoritmus rýchlejšieho hrania samého proti sebe a aj AIVAT, algoritmus redukcie rozptylu, aby znížili šancu „šťastiu”. Toto zaručilo Pluribusovi víťazstvo.

zdroj: snímka obrazovky, youtube

Vyložme teda karty na stôl

Ako uviedol Facebook, Pluribus začínal hrami samého seba proti svojim kópiám, bez vstupov o hre ľudských hráčov. Hral náhodne a postupne sa zlepšoval len na základe porovnania svojich rozhodnutí a distribúcie pravdepodobnosti z minulých hier. Tento spôsob „self-play” je vylepšený variant iteratívneho algoritmu „Monte Carlo Counterfactual Regret Minimization” (minimalizácia škôd prostredníctvom porovnávania, ďalej „MCCFR”).

V každej iterácii algoritmu označil MCCFR v simulovanej partii jedného hráča ako „cestujúceho”, pričom aktualizoval jeho stratégiu každým krokom. Algoritmus po vyložení kariet hodnotil rozhodnutia „cestujúceho” a porovnal aj alternatívne rozhodnutia, čo by bolo lepšie či horšie pre daný ťah. Pluribus prešiel všetky rozhodnutia a porovnal hypotetické ťahy.

Pluribus poker AI: Traversal graphic

Pluribus is the first AI capable of beating human experts in six-player no-limit Hold’em, the most widely-played poker format in the world. This graphic shows how the Monte Carlo Counterfactual Regret Minimization algorithm updates the traverser’s strategy by assessing the value of real and hypothetical moves. In Pluribus, this traversal is actually done in a depth-first manner for optimization purposes.

Uverejnil používateľ Facebook AI Streda 10. júla 2019

zdroj: Facebook

Menej je viac

Plán stratégie trénovali na serveri so 64 jadrovým procesorom, využili menej než 512GB operačnej pamäte RAM a nepoužili žiadne grafické karty. Vďaka AIVAT-u potrebovali na výhru 10x menej partií, ktorých môže byť u profesionála aj niekoľko tisíc a stále môže prehrať.

Spomínané algoritmy zaručili aj nízke náklady. Popri bežných cenách prenájmu výpočtovej techniky na cloude predstavovali neuveriteľných 135 Eur (menej ako $150). Experti sa obávali, že by mohlo ísť aj o milióny.

Čo bude ďalej?

Pri hre s nulovým súčtom (šach či piškvorky) o dvoch hráčoch dosahuje umelá inteligencia vynikajúce výsledky. Rovnako ako poker, aj realita zahŕňa utajené informácie.

Keďže Pluribus zvládol poraziť piatich súperov, potenciál umelej inteligencie je aj v kybernetickej bezpečnosti, prevencii voči podvodom či riadení online aukcií, kde je v pozadí takisto viac aktérov aj utajované informácie. Namodelovať takéto situácie, upraviť algoritmy a zabezpečiť pôsobnosť umelej inteligencii v nových oblastiach je tak otázkou času.

Ak by ste sa chceli dozvedieť viac o predchodcovi Pluribusu Liberatusovi, informácie si môžete prečítať TU. Ponúkame vám aj článok, ktorý bol uverejnený v uznávanom časopise Science.