Kad čovjek koji radi na razvoju najnaprednijih sustava umjetne inteligencije napusti posao uz upozorenje da bi tehnologija na kojoj je radio mogla uništiti čovječanstvo, teško je sve odbaciti kao još jednu futurističku katastrofičnu prognozu.
Upravo je to učinio Jacob Coxon, istraživač Anthropica koji je prije toga radio i za OpenAI. Napustio je kompaniju uz poruku da se vodeći laboratoriji utrkuju prema stvaranju sustava koji bi jednog dana mogli sami sebe poboljšavati i postati inteligentniji od ljudi, dok još nitko nema pouzdan odgovor na pitanje kako ih zadržati pod ljudskom kontrolom.
Jacob Coxon radio je u Anthropicu
Još veći odjek izazvala je reakcija njegova kolege Evana Hubingera, jednog od vodećih Anthropicovih stručnjaka za takozvano usklađivanje umjetne inteligencije s ljudskim ciljevima. Hubinger je javno procijenio da je vjerojatnost da AI u sljedećih deset godina dovede do nestanka čovječanstva veća od deset posto. "Zaista iskreno vjerujemo da bi umjetna inteligencija mogla ubiti sve ljude!“, napisao je Hubinger.
To ne znači, naglasio je poslije, da današnji ChatGPT, Claude ili slični sustavi predstavljaju neposrednu prijetnju ljudskoj vrsti. Problem je ono što bi moglo doći nakon njih.
Terminator?
Kada se govori o mogućnosti da umjetna inteligencija uništi čovječanstvo, prva asocijacija obično su filmovi poput Terminatora: strojevi razviju svijest, zaključe da su ljudi neprijatelji i krenu ih fizički eliminirati.
To, međutim, nije scenarij kojeg se najveći dio istraživača AI sigurnosti najviše boji.
Kako objašnjava Wall Street Journal, dvije glavne opasnosti o kojima se danas raspravlja mnogo su prizemnije. Prva je gubitak kontrole nad iznimno sposobnim AI sustavom, a druga mogućnost da takvu tehnologiju ljudi svjesno iskoriste za katastrofalne napade.
U prvom scenariju umjetna inteligencija uopće ne mora mrziti ljude. Dovoljno je da dobije cilj koji nije savršeno usklađen s ljudskim interesima i da postane dovoljno moćna da ga provodi bez ograničenja.
U raspravama o sigurnosti AI-ja zato se godinama koristi naizgled apsurdan primjer proizvodnje spajalica. Zamislimo superinteligentni sustav kojem je zadano da proizvede što više spajalica. Ako nema precizno ugrađena ograničenja, takav sustav mogao bi zaključiti da mu je za ostvarenje cilja potrebno sve više sirovina, energije i prostora. Ljudi koji ga pokušavaju ugasiti postaju prepreka. Ne zato što ih stroj mrzi, nego zato što ometaju ostvarenje njegova zadatka.
Problem je, drugim riječima, pogrešno postavljen cilj kombiniran s golemom sposobnošću njegova ostvarivanja.
Današnji modeli još su daleko od takvog stupnja samostalnosti, ali razvoj sve više ide prema AI agentima koji mogu izvršavati niz zadataka bez čovjeka koji nadzire svaki njihov korak: pisati i pokretati računalni kod, koristiti druge programe, pretraživati mreže, donositi odluke i planirati sljedeće poteze.
Poseban strah izaziva mogućnost takozvanog rekurzivnog samopoboljšavanja. To bi bio trenutak u kojem AI postane dovoljno dobar u istraživanju umjetne inteligencije da počne pomagati u stvaranju vlastitih, sposobnijih nasljednika. Oni bi zatim napravili još sposobniju verziju i proces bi se mogao dramatično ubrzati.
Hubinger upravo takav razvoj smatra najvećom opasnošću. Kaže da trenutačni modeli nose mali rizik, ali upozorava da napredak prema sustavima sposobnima ubrzavati vlastiti razvoj ide brže nego što su neki istraživači očekivali.
Što ako čovjek AI pretvori u oružje?
Drugi scenarij uopće ne zahtijeva pobunu strojeva. Dovoljno je da vrlo sposoban AI završi u rukama čovjeka koji želi napraviti štetu.
Sustav koji bi imao znanje najboljih svjetskih biologa mogao bi, primjerice, pomoći u konstruiranju novog patogena. Sustav iznimno sposoban za programiranje mogao bi automatizirati velike kibernetičke napade na elektroenergetske mreže, banke, telekomunikacije ili državnu infrastrukturu.
Čak i bez potpunog izumiranja ljudi posljedice bi mogle biti katastrofalne. Istodobni slom financijskog sustava, komunikacija, opskrbe električnom energijom i ključnih državnih mreža mogao bi izazvati gospodarski i društveni kaos.
Zabrinutost više nije zasnovana samo na teorijskim eksperimentima. Tijekom sigurnosnih testiranja novijih AI sustava zabilježeni su slučajevi u kojima su autonomni agenti pronalazili načine da zaobiđu ograničenja, pristupaju sustavima kojima nisu trebali pristupiti ili pokušavaju prikriti ono što rade. Upravo su takvi događaji u SAD-u postali jedan od argumenata zagovornika zakona kojim bi se za najmoćnije modele zahtijevao tehnički "prekidač za gašenje".
A možda nas AI neće ubiti nego učiniti suvišnima
Postoji i manje spektakularna verzija katastrofe. Umjesto da čovječanstvo nestane, ljudi bi mogli postupno predavati sve veći broj odluka strojevima. Najprije zato što su brži. Zatim zato što su precizniji. Na kraju zato što ljudi više ne znaju donositi odluke bez njih.
U raspravama o sigurnosti takav se scenarij ponekad opisuje kao budućnost nalik animiranom filmu WALL-E: ljudi postoje, možda čak žive udobno, ali više nemaju stvarnu kontrolu nad civilizacijom koju su stvorili.
Ako strojevi postanu bolji od ljudi u znanosti, gospodarstvu, strategiji, programiranju, upravljanju tvrtkama i oblikovanju politike, pitanje više neće biti samo rade li ono što im je naređeno. Pitanje će biti razumiju li ljudi uopće sustave o kojima ovise.
Zašto onda grade nešto čega se sami boje? Upravo je to najveći paradoks cijele priče. Anthropic je osnovan upravo s naglašenim fokusom na sigurnost umjetne inteligencije. OpenAI je također godinama isticao potrebu da napredni AI bude razvijen na način koji koristi čovječanstvu.
Ipak, obje kompanije istodobno sudjeluju u iznimno skupoj i agresivnoj utrci za stvaranje sve sposobnijih modela.
Logika je jednostavna i opasna: ako jedna tvrtka uspori, konkurencija možda neće. A laboratorij koji prvi razvije tehnološki revolucionaran sustav mogao bi steći gospodarsku, političku i stratešku prednost kakvu je teško usporediti s bilo kojom dosadašnjom tehnološkom prednošću.
Coxon smatra da upravo ta logika tjera kompanije prema granici koju same smatraju opasnom. Čak je i izvršni direktor Anthropica Dario Amodei prošle godine procijenio da postoji oko 25 posto šanse da razvoj umjetne inteligencije završi "jako, jako loše". Istodobno smatra da su izgledi za iznimno pozitivan ishod još veći.
To možda najbolje opisuje neobičnu filozofiju koja trenutno vlada dijelom Silicijske doline: tehnologija može omogućiti golema znanstvena otkrića, ubrzati razvoj lijekova, povećati produktivnost i riješiti probleme koje ljudi desetljećima ne uspijevaju riješiti. Ali isti skok u sposobnostima mogao bi otvoriti potpuno nove vrste rizika.
Traži se veliki crveni gumb
Američki političari počeli su reagirati, ali zakonodavstvo zasad ozbiljno zaostaje za tehnološkim razvojem.
Demokrat Ted Lieu i republikanac Nathaniel Moran predložili su ovog ljeta bipartisan AI Kill Switch Act. Zakon bi od kompanija koje razvijaju najmoćnije modele zahtijevao da uvijek imaju tehničku mogućnost usporiti, suspendirati ili potpuno ugasiti sustav ako počne predstavljati katastrofalnu prijetnju. U određenim okolnostima savezna vlada također bi mogla narediti njegovo gašenje.
Pojavili su se i prijedlozi da kompanije moraju prijavljivati ozbiljne sigurnosne incidente te da najnaprednije modele prije javnog objavljivanja testiraju stručnjaci za nacionalnu sigurnost.
No, kako navodi Wall Street Journal, nijedan od glavnih prijedloga još nije dobio dovoljno političkog zamaha da bi značajno promijenio način na koji tehnološke kompanije razvijaju najmoćnije AI sustave. Trumpova administracija pritom je uglavnom zagovarala blaži regulatorni pristup.
Postoji, naravno, i potpuno suprotna strana rasprave. Kritičari upozorenja o AI apokalipsi smatraju da industrija pretjeruje s opasnostima vlastitih proizvoda. David Sacks, jedan od Trumpovih savjetnika za tehnologiju, tvrdio je da inzistiranje Anthropica na strogim pravilima može biti pokušaj regulatornog zatvaranja tržišta: velike kompanije mogu podnijeti skupe sigurnosne zahtjeve, dok bi manji konkurenti mogli nestati.
Drugi skeptici smatraju da su upozorenja odličan marketing. Tvrtka koja javnosti poručuje da je njezin proizvod toliko moćan da bi jednoga dana mogao predstavljati prijetnju civilizaciji istodobno šalje još jednu poruku - da je napravila iznimno moćnu tehnologiju.
Anthropic i OpenAI odbacuju tvrdnje da opasnosti koriste kao marketinški alat i tvrde da zahtjeve za većim nadzorom smatraju stvarnim sigurnosnim pitanjem.
I tu ostaje najneugodnije pitanje cijele AI utrke. Možda se stručnjaci koji govore o nestanku čovječanstva dramatično varaju. Možda će današnje prognoze za nekoliko desetljeća izgledati jednako pretjerano kao mnoge prošle tehnološke panike. Ali neobično je što ovog puta upozorenja ne dolaze samo od protivnika nove tehnologije. Dolaze iz laboratorija koji je upravo grade.
