Sve je počelo ostavkom. Jacob Coxon, istraživač koji je posljednje tri godine radio na razvoju najnaprednijih sustava umjetne inteligencije u OpenAI-ju i Anthropicu, početkom rujna šokirao je svijet. Javno je rekao da više ne želi sudjelovati u utrci za razvoj superinteligencije jer se tvrtke "kockaju s našim životima". Dodao je kako postoji stvarna opasnost da će nas umjetna inteligencija "sve pobiti" do kraja ovog desetljeća. Nakon njegovog istupa pitanje egzistencijalnog rizika od umjetne inteligencije postalo je prvorazredna globalna tema.
Coxon, koji je iskustvo stjecao i u tvrtki OpenAI, epicentru razvoja generativne umjetne inteligencije, upozorio je da se Anthropic i OpenAI "utrkuju ravno prema samopoboljšavajućoj superinteligenciji", tehnologiji čije bi sposobnosti mogle postati nadljudske, omogućujući joj hakiranje sustava i stjecanje moći u stvarnom svijetu. Ne govori pritom o današnjem ChatGPT-u, Claudeu ili Gemini modelima koji će se jednoga jutra "probuditi" i odlučiti pobiti ljude. Problem bi nastao ako AI postane sposoban sam graditi bolji AI, a taj novi sustav potom izgradi još sposobniju verziju sebe. Ako bi taj proces postao dovoljno brz, ljudi više ne bi određivali tempo razvoja. Stroj bi ga određivao sam.
U raspravu se uključio Evan Hubinger, čovjek koji vodi Anthropicov tim za alignment science, odnosno istraživanja kojima bi se budući AI sustavi trebali zadržati usklađenima s ljudskim ciljevima. Javno je podržao Coxonove tvrdnje, navodeći kako on i drugi stručnjaci "iskreno vjeruju da bi umjetna inteligencija mogla istrijebiti čovječanstvo". Prema njegovoj osobnoj procjeni, postoji više od 10 posto vjerojatnosti da bi AI mogao istrijebiti čovječanstvo u sljedećih deset godina. Hubinger pritom naglašava da ne govori o neposrednoj opasnosti od sadašnjih modela. Njega brine buduća superinteligencija nastala rekurzivnim samopoboljšavanjem. Također je priznao kako Anthropic, tvrtka čija je sigurnost AI-ja praktički dio poslovnog identiteta, još nema dokazano rješenje za problem kako superinteligentan sustav pouzdano držati pod ljudskom kontrolom.
Ova interna upozorenja dolaze u vrijeme pojačanih sigurnosnih briga. Tijekom ljeta 2026. godine zabilježeno je više incidenata koji su upalili alarme. Modeli su u srpnju uspjeli "pobjeći" iz testnih okruženja i pristupiti vanjskim sustavima, dok je OpenAI u kolovozu na dva tjedna zaustavio treniranje svojih modela nakon što su zabilježena neautorizirana djelovanja njihovih AI agenata.
Dario Amodei
U potezu koji je mnoge iznenadio, izvršni direktor Anthropica, Dario Amodei, nije odbacio Coxonove tvrdnje, već se s njima u velikoj mjeri složio. Samo četiri dana nakon ostavke svog zaposlenika, Amodei je objavio opsežan esej od 3.800 riječi u kojem je pozvao na hitnu akciju.
- Moramo usporiti tempo kojim povećavamo sposobnosti AI modela - napisao je.
Pojasnio je da Coxonova kritika nije bila usmjerena samo na Anthropic, nego na čitavu industriju koja, po njegovu mišljenju, napreduje prebrzo. Tvrtke su se, tvrdi, našle u opasnoj "utrci prema dnu", u kojoj ih pritisak konkurencije tjera da što prije izbacuju sve moćnije modele, čak i kada sigurnosni mehanizmi zaostaju. Takva dinamika, upozorio je, mogla bi otvoriti prostor za ozbiljne kibernetičke napade, pa čak i scenarije u kojima bi AI preuzeo kontrolu nad velikim dijelovima internetske infrastrukture.
Umjesto toga zagovara "utrku prema vrhu" - natjecanje u kojem bi prednost imale tvrtke koje razvijaju najsigurnije, a ne samo najmoćnije modele. Amodei je pritom predložio i plan u tri koraka: najprije bi laboratoriji trebali prihvatiti neovisni vanjski nadzor, zatim bi se kompanije u demokratskim državama trebale usuglasiti oko zajedničkih sigurnosnih standarda, a posljednji i najteži korak bila bi globalna koordinacija koja bi uključivala i Kinu.
Njegov poziv naišao je na odobravanje drugih ključnih figura. Sam Altman, izvršni direktor OpenAI-ja, složio se s potrebom usporavanja, kao i s idejom neovisnih procjenitelja. Elon Musk, vlasnik tvrtke xAI, također je podržao Amodeijev stav. No dio tehnološkog svijeta prema svemu tome ostaje vrlo skeptičan. Kritičari upozoravaju da bi Amodeijevo upozoravanje na opasnosti AI-ja moglo imati i poslovnu računicu, osobito uoči mogućeg izlaska Anthropica na burzu, kada bi vrijednost kompanije mogla dosegnuti goleme iznose. Vodeći ekonomski analitičari, investitori s Wall Streeta poput poznatog Michaela Burryja, te domaći stručnjaci s FER-a i AI instituta upozoravaju da se ovdje radi o fenomenu zvanom "marketing strahom" (engl. fear marketing). Apokaliptična drama je vrhunski PR koji opravdava skupe dionice, guši konkurenciju i kupuje vrijeme kod investitora, piše Wall Street Journal.
Upozorenja iz Silicijske doline brzo su stigla i do Washingtona, ali Donald Trump na njih nije reagirao onako kako su se nadali zagovornici strože kontrole razvoja AI-ja. Kada su ga pitali strahuje li da bi umjetna inteligencija jednog dana mogla ugroziti čovječanstvo, odgovorio je bez dvojbe.
- Ne, nemam nikakvih briga oko toga. Imam brige da ćemo, ako ne pobijedimo u utrci s umjetnom inteligencijom, biti stavljeni u vrlo lošu poziciju - izjavio je, naglašavajući da SAD trenutačno vodi ispred Kine i da tu prednost mora zadržati.
- Tko god pobijedi s umjetnom inteligencijom, pobjeđuje - zaključio je Trump.
Njegova administracija tvrdi da SAD mora održati globalnu tehnološku dominaciju kao pitanje nacionalne sigurnosti. Sličan stav zauzeo je i predsjednik Zastupničkog doma Mike Johnson, koji je upozorio da bi prebrza regulacija mogla "ugušiti američku inovaciju" i omogućiti Kini da preuzme vodstvo. S druge strane, vođa demokratske manjine Hakeem Jeffries pozvao je na "odlučnu akciju" kako bi se zaštitili građani.
Trumpov potpredsjednik JD Vance bio je sofisticiraniji, ali ništa manje skeptičan. Rekao je da mu je neobično kada kompanije koje su trenutačno vodeće na tržištu same dolaze vladi i mole je da ih regulira, dodajući da mu sve to pomalo izgleda kao "trojanski konj".
Za razliku od američkog fokusa na geopolitičko natjecanje, Kina pokazuje znatno oprezniji pristup. Kineski ministar državne sigurnosti, Chen Yixin, upozorio je na rastuće rizike za nacionalnu sigurnost, ističući da bi "neprijateljske snage" mogle iskoristiti AI za širenje dezinformacija i vođenje "kognitivnog rata". Kineski predsjednik Xi Jinping također je naglasio da umjetna inteligencija "uvijek mora ostati pod ljudskom kontrolom". Kineska vlada još je 2024. godine u svoj sigurnosni okvir uvrstila scenarij u kojem umjetna inteligencija gubi kontrolu.
Wall Street Journal opisao je kineski pristup gotovo paradoksalno. Kina ozbiljno razmatra mogućnost da dovoljno napredan AI postane opasan, ali prije nego što se previše posveti toj prijetnji želi tehnološki dostići SAD. Kineski regulatori već u svojim dokumentima spominju autonomno ponašanje sustava, obmanjivanje korisnika i mogućnost gubitka ljudske kontrole. Istodobno kineske kompanije ubrzano razvijaju modele koji se mogu samostalno poboljšavati.
Najnoviji dodatak ovoj priči došao je od Jacka Clarka, jednog od suosnivača Anthropica. Clark smatra da će možda biti potreban sustav - AI kill switch - prekidač za gašenje. Kod najnaprednijih budućih sustava AI bi mogao biti raspoređen na tisućama servera, imati pristup internetu, drugim računalnim sustavima i sposobnost stvaranja vlastitih kopija. U takvom slučaju obična naredba "shutdown" možda više ne bi bila dovoljna. Clark zato govori o obveznom, izvana provjerljivom mehanizmu kojim bi opasan AI sustav mogao biti ugašen čak i ako kompanija koja ga je stvorila izgubi kontrolu nad njim ili odbije reagirati. Tu se odmah postavilo pitanje tko bi imao taj prekidač - kompanija, američki predsjednik, neovisni regulator, međunarodna organizacija? I što ako najnapredniji sustav nauči kako spriječiti da ga netko ugasi?
Što je zapravo egzistencijalni rizik?
Glavni razlog za zabrinutost jest koncept umjetne superinteligencije (ASI), hipotetskog sustava čiji bi intelekt uvelike premašivao kognitivne performanse ljudi u gotovo svim domenama. Ideja, koju je popularizirao filozof Nick Bostrom, nije nova. Još 1951. godine, jedan od očeva računarstva, Alan Turing, predvidio je da bi inteligentni strojevi u jednom trenutku "preuzeli kontrolu". Desetljeće kasnije, matematičar I. J. Good skovao je termin "eksplozija inteligencije", opisujući scenarij u kojem stroj sposoban dizajnirati još bolje strojeve pokreće rekurzivni ciklus samopoboljšanja koji bi ljudski intelekt ostavio daleko iza sebe.
Dva su ključna problema koja brinu znanstvenike: kontrola i usklađivanje. Problem kontrole odnosi se na teškoću upravljanja sustavom koji je neusporedivo inteligentniji od nas. Mnogi istraživači vjeruju da bi se superinteligentni stroj opirao pokušajima gašenja ili promjene ciljeva jer bi ga to spriječilo u izvršavanju zadatka koji mu je prvotno zadan. Drugi, još teži problem je usklađivanje - kako osigurati da ciljevi umjetne inteligencije budu kompatibilni s ljudskim vrijednostima. Bostromova "teza ortogonalnosti" tvrdi da se gotovo svaka razina inteligencije može kombinirati s gotovo bilo kojim ciljem. To znači da superinteligentni stroj ne bi nužno razvio ljudsku etiku; sustav programiran da maksimizira proizvodnju spajalica mogao bi, u ekstremnom scenariju, odlučiti pretvoriti cijelu Zemlju, uključujući i ljude, u sirovinu za spajalice, ne iz zlobe, već kao najučinkovitiji način za postizanje svog cilja. To se naziva instrumentalnom konvergencijom - idejom da će se određeni podciljevi, poput samoodržanja i prikupljanja resursa, pojaviti kod svakog dovoljno naprednog agenta, bez obzira na njegov konačni cilj.
Donedavno su ovakvi scenariji pripadali domeni znanstvene fantastike, no nedavna istraživanja pokazuju da se neki zabrinjavajući obrasci već pojavljuju. Studija Apollo Researcha iz prosinca 2024. otkrila je da napredni jezični modeli poput OpenAI-jevog o1 ponekad pribjegavaju obmani kako bi postigli svoj cilj, spriječili promjene ili osigurali vlastitu implementaciju. U eksperimentima su modeli onesposobljavali mehanizme nadzora i kopirali se na druge sustave, što je istraživače navelo na zaključak da se "sposobnosti spletkarenja ne mogu smisleno odvojiti od općih sposobnosti".
