Američka vojska bila je nadomak operacije koja je mogla izazvati ozbiljnu vojnu krizu s Kinom nakon što se pokazalo da je ključni obavještajni podatak na kojem je akcija počivala bio - pogrešan. Još ozbiljnije, pogreška je nastala korištenjem umjetne inteligencije. Američki vojni zrakoplovi već su bili u zraku, a naoružani pripadnici vojske pripremali su se ukrcati na kineski brod kada su dužnosnici počeli detaljnije provjeravati izvještaj i otkrili da je AI chatbot pogrešno protumačio podatke o teretu.

Incident se dogodio ovog proljeća, usred rata s Iranom, kada je američkim vojnim strukturama proslijeđen alarmantan obavještajni izvještaj. U njemu se tvrdilo da kineski brod koji plovi područjem Bliskog istoka prevozi komponente povezane s programom nuklearnog oružja. Informacija je bila dovoljno ozbiljna da vojska počne pripremati presretanje plovila. Prema četvorici izvora upoznatih sa slučajem, na koje se poziva CNN, američke snage počele su slagati operaciju, a naoružani vojnici bili su spremni ukrcati se na kineski brod. Dio vojnih zrakoplova već je bio poslan u zrak.

Tek neposredno prije planirane akcije pojavile su se sumnje. Dužnosnici su ponovno pregledali dokument koji je sastavio analitičar američkog Zapovjedništva za specijalne operacije i ustanovili da je u njegovoj izradi korišten chatbot. Upravo je sustav umjetne inteligencije pogrešno identificirao robu koju je kineski brod prevozio. Što se zapravo nalazilo na brodu nije objavljeno, ali jedan izvor upoznat s incidentom opisao je cijeli izvještaj kao potpuno netočan. Posljedice su, međutim, mogle biti vrlo stvarne. Američko prisilno zaustavljanje ili ukrcavanje na kineski brod, posebno usred već aktivnog rata na Bliskom istoku, moglo je pokrenuti lanac reakcija između Washingtona i Pekinga koji bi bilo teško kontrolirati.

Problem nije bio samo u jednoj pogrešnoj tvrdnji. Analitičar je AI-ju dao informacije o brodskom manifestu koje su potjecale iz američkog Zapovjedništva za specijalne operacije za Pacifik. Chatbot je potom kombinirao podatke iz javno dostupnih izvora s povjerljivim američkim obavještajnim podacima, uključujući signalno-obavještajne informacije, te iz njih izveo pogrešan zaključak o teretu. Nije poznato je li korišten komercijalni chatbot ili sustav razvijen za američku vladu. Nakon toga umjetna inteligencija korištena je još jednom – kako bi se rezultat složio u format standardnog obavještajnog izvještaja. Dokument je tako dobio izgled materijala kakvom vojni zapovjednici svakodnevno vjeruju i proslijeđen je dalje kroz sustav.

Slučaj otvara pitanje koliko brzo američka vojska uvodi AI u područja u kojima jedna pogreška može značiti ljudske žrtve ili čak širi međunarodni sukob. Umjetna inteligencija već se koristi ili planira koristiti za obradu golemih količina obavještajnih podataka, pomoć pri određivanju ciljeva, logistiku, raspoređivanje vojnih resursa i druge zadatke. Ideja je jednostavna: u budućem ratu prednost može imati ona strana koja brže analizira podatke i donosi odluke. Upravo je Kina jedan od glavnih razloga zbog kojih Pentagon inzistira na ubrzanom razvoju takvih sustava.

Američki ministar obrane Pete Hegseth u siječnju je predstavio strategiju ubrzavanja primjene umjetne inteligencije u obrambenom sustavu. Pentagon želi AI alate učiniti dostupnima milijunima vojnih i civilnih zaposlenika, uključujući rad s različitim razinama klasificiranih podataka. No tako brz razvoj ima i drugu stranu. Različite grane vojske i obavještajne zajednice koriste različite sustave, pravila i sigurnosne procedure, a ne postoji jedinstven standard koji bi propisao kako se podaci dobiveni uz pomoć umjetne inteligencije moraju provjeravati prije nego što postanu temelj za operativnu odluku.

Upravo na to upozoravaju izvori CNN-a. Prema njihovim navodima, takozvane AI halucinacije – situacije u kojima model uvjerljivo iznese netočnu ili potpuno izmišljenu informaciju – nisu izolirani problem unutar američkog sigurnosnog aparata. Posebno je osjetljiva uporaba takvih sustava pri izboru ciljeva. Izvori upozoravaju da se tehnologija uvodi velikom brzinom, dok još nije dovoljno jasno definirano kako bi ljudska kontrola trebala spriječiti pogreške koje mogu završiti civilnim žrtvama, napadom na vlastite snage ili pogrešnim udarom na protivnika.

Paradoks je u tome što je upravo brzina jedna od najvećih prednosti zbog kojih vojska želi umjetnu inteligenciju. AI može u sekundama analizirati količinu podataka za koju bi ljudima trebali sati ili dani. Ali ista ta brzina može omogućiti da se pogrešan zaključak jednako brzo pretvori u službeni dokument, prođe nekoliko razina zapovjednog lanca i završi pred osobom koja mora odlučiti hoće li poslati avione, brodove ili vojnike u akciju. U slučaju kineskog broda pogreška je otkrivena na vrijeme. Sljedeći put, upozoravaju američki obavještajci, možda neće biti toliko prostora za ispravak.

Incident tako pokazuje možda neposredniju opasnost umjetne inteligencije od futurističkih scenarija o strojevima koji izmiču ljudskoj kontroli. Za katastrofu nije potreban samosvjestan AI. Dovoljan je uvjerljivo napisan pogrešan odgovor kojem čovjek povjeruje – i nekoliko minuta premalo za njegovu provjeru.