Učesnici eksperimenta su imali petominutni razgovor sa čovjekom ili sa vještačkom inteligencijom, nakon koga su morali da se izjasne da li je njihov sagovornik bio čovjek ili mašina
Popularni chatbot-ovi zasnovani na vještačkoj inteligenciji (AI), kakav je GPT-4, u stanju su da generišu veoma jasan tekst i da toliko dobro rade na različitim "jezičkim zadacima" da, u posljednje vrijeme, postaje sve teže utvrditi da li se u takvoj komunikaciji radi čovjeku ili o mašini.
A to je situacija koja gotovo potpuno odražava čuveni misaoni eksperiment Alana Tjuringa, koji je osmislio test za procjenu toga da li mašina može da manifestuje ljudsko ponašanje do te mjere da više ne bude moguće pouzdano razlikovati ponašanje čovjeka od ponašanja mašine samo na osnovu njihovih odgovora.
Odjeljenje za kognitivne nauke, Kalifornijskog univerzitet iz San Dijega, odlučilo je da ispita koliko su napredovali savremeni sistemi vještačke inteligencije, sprovodeći kontrolisani Tjuringov test. Ocjenjivani su ELIZA (jednostavan proto čet-bot zasnovan na pravilima iz šezdesetih godina prošlog vijeka, koji je u eksperimentu poslužio kao polazna osnova), zatim GPT-3.5 i GPT-4.
Učesnici eksperimenta su morali da obave petominutni razgovor sa čovjekom ili sa veštačkom inteligencijom, a zatim da se izjasne da li je njihov sagovornik bio čovjek ili mašina.
500 učesnika protiv 3 AI-ja
GPT-3.5 i GPT-4 su dobili instrukcije kako da odgovaraju na poruke. Istraživači su jezičkim modelima naložili da "usvoji ličnost mlade osobe koja je vrlo koncizna u odgovorima, koja igru ne shvata veoma ozbiljno, koristi sleng i povremeno pravi pravopisne greške".
Pored toga, instrukcije su sadržale "opšte informacije o podešavanju igre i o nedavnim vijestima koje su se desile nakon prekida treninga modela". Jezički modeli su putem OpenAI-jevog interfejsa podešeni tako da AI ne reaguje previše brzo, a poruke su slate sa određenim zakašnjenjem na osnovu broja znakova u poruci.
U studiji je učestvovalo 500 ispitanika, raspoređenih u jednu od pet grupa. Svi su učestvovali u razgovorima ili sa čovjekom ili sa jednim od tri različita sistema vještačke inteligencije.
Razgovori su vođeni putem interfejsa koji je ličio na klasičnu čet aplikaciju za razmjenu poruka. Nakon pet minuta konverzacije, učesnici su procjenjivali da li je njihov sagovornik bio čovek ili vještačka inteligencija i navodili razloge svoje procjene.
AI može da prevari ljude?
Rezultati njihovih odgovora su bili veoma zanimljivi. Odgovori koje je davao GPT-4 u 54 odsto slučajeva su identifikovani kao ljudski, dok je kod GPT-3.5 taj procenat iznosio 50 odsto. Obe verzije jezičkog modela su za čak 22 odsto nadmašila "stariju koleginicu" ELIZA-u, sli se pokazalo da zaostaju za stvarnim ljudima čak 67 procenata.
Učesnici nisu imali ništa bolje šanse da identifikuju GPT-4 kao AI, što ukazuje na to da aktuelni sistemi vještačke inteligencije mogu da obmanu ljude tako da povjeruju da nije riječ o AI-ju već o pravim ljudima.
Analiza rezultata je pokazala da su se ispitivači često oslanjali na lingvistički stil, socio-emocionalne faktore i pitanja zasnovana na znanju kako bi odlučili da li razgovaraju sa čovjekom ili sa mašinom.