GPT-3 – revolúcia alebo evolúcia?
Úvodný obrázok zdroj: kerrtu, Pixabay
Vo svete spracovania prirodzeného jazyka (NLP) existuje veľa techník a metód, ako dosiahnuť priaznivé výsledky. V roku 2017 sa však objavila technológia, ktorá predčila všetky doposiaľ aplikované pokusy o vytvorenie dokonalého generátora človekom-písaného textu. Transformery sa začali používať na modelovanie neurónových sietí od ich vzniku a priniesli mnohé dych-berúce modely. Tento článok však nemá zachádzať do podrobností ako Transformery fungujú, hromada odborného a vedeckého textu by mohla viacerých odradiť. Preto sa budem snažiť Vás navnadiť príkladmi, čoho sú Transformery skutočne schopné. A jedným z nich je aj GPT tretej generácie.
Podstata GPT-3
Generative Pre-trained Transformer-3 (GPT-3), ako už názov napovedá, je pred-trénovaný model hlbokej neurónovej siete. Dielo spoločnosti OpenAI, ktorú sme spomínali aj v článku, je tretia generácia generátora človekom-písaného textu v súčasnosti bez konkurencie, čo sa týka kvality výstupu, ako aj počtu použitých parametrov. Tých je 175 miliárd. Oproti doteraz najväčšiemu pred-trénovanému modelu Turing-NLG od Microsoft-u je to 10x viac a predchádzajúca generácia GPT-2 používala 7 miliárd parametrov. Vďaka týmto špecifikáciám je GPT-3 schopný generovať niekoľko stranové eseje, zvládať rozhovory, vytvárať príbehy, atď. Škála použitia je obrovská. Čo však sú tie parametre a prečo na nich tak záleží?
zdroj: Simon Steinberger, Pixabay
Pointa parametrov
V úlohách lineárnej regresie sa parametre používajú ako koeficienty modelu. Model môže vyzerať napríklad takto: y = B + Ax, kde koeficienty B a A sú parametre. V tomto prípade sú dva, v prípade GPT-3 ich je 175 miliárd. To zaručuje, že model je schopný vygenerovať súvislý text z jediného vstupu bez toho, aby potreboval akýkoľvek tréning navyše.
Spoločnosť OpenAI vypustila na svetlo sveta aj verejnú API, z pohľadu vývojárov aj užívateľsky prístupnú, kde môžete otestovať skutočné schopnosti GPT-3. K dnešnému dňu je však v beta-testovaní, a preto je nutné sa zapísať na čakací list, na ktorom kysnem dodnes. Očividne nie je zatiaľ jednoduché siahnuť si vlastnými rukami na tento zjav, a tak si jeho schopnosti pozrite napr. na Intagrame GPT-3.
Výhľady do budúcna
Na záver, nech je akokoľvek GPT-3 magický a veľa ľuďom ťahá sánky k zemi, varovanie prichádza od samotných tvorcov, apelujúcich na dopad zneužitia GPT-3. V nesprávnych rukách by produkovanie masívneho množstva dezinformácií, spamov alebo phisingu v dnešnom svete, mohlo zmeniť chod histórie. Ako všetko, čo bolo stvorené na dobré účely, nesie so sebou aj odvrátenú stranu veci. Na teraz však ostanem v roli pozorovateľa a uznanlivo budem pokyvkávať hlavou smerom k ľuďom z OpenAI, ktorí zdanlivo nemožné zmenili v realitu.
Zdroj: https://openai.com/blog/openai-api/
