Šestog srpnja, dok se skrivala u blizini benzinske postaje u ukrajinskom gradu Zaporožju, devetnaestogodišnju studenticu računovodstva Tetianu Bubynets usmrtila je eksplozija. S njom su poginuli i Oleksiy Svirin (41) te Roman Karpiy (48). Uzrok njihove smrti nije bila zalutala raketa ili topnička granata, već ruski dron koji se, promašivši svoju metu - spremnike s propanom - zabio u zid i detonirao. Ono što ovaj tragičan događaj izdvaja od tisuća sličnih u ovom ratu jest ključna činjenica: konačnu zapovijed za napad nije izdao ljudski operater. Odluku je, potpuno samostalno, donio algoritam. Prema Kateryni Bondar iz Wadhwani AI centra pri CSIS-u, ovo je prvi dokumentirani slučaj u rusko-ukrajinskom ratu u kojem su civili poginuli od autonomnog sustava za ciljanje vođenog isključivo umjetnom inteligencijom.
Stroj je donio konačnu odluku
Rat u Ukrajini već se dugo naziva testnim poligonom za ratovanje potpomognuto umjetnom inteligencijom, no napad u Zaporožju označava zastrašujući prijelaz u novu fazu. Stručnjaci koje citira New York Times navode da je dron bio eksperimentalni sustav, fundamentalno drugačiji od dosadašnjih. Dok su raniji sustavi koristili AI primarno za navigaciju u posljednjoj fazi leta, metu je i dalje birao čovjek. Ovdje je stroj donio konačnu odluku o tome što i kada napasti. Nije bilo radioantena koje bi ga povezivale s operaterom, nije postojala podatkovna veza. Svaka odluka, od navigacije do detonacije, odvijala se na čipu unutar letjelice.
Ukrajinski istražitelji su iz olupine izvukli srce sustava: miniračunalo Jetson Orin američkog tehnološkog diva Nvidije. Budući da podaci nisu bili kriptirani, uspjeli su iščitati sve što je bilo pohranjeno: slike terena za vizualnu navigaciju i kod za prepoznavanje objekata, obučen na kategorijama poput spremnika s propanom i skladišta goriva. Nvidia je potvrdila autentičnost modula, navodeći da ga ne prodaje izravno u Rusiju, ali da je mogao biti nabavljen preko preprodavača. Pločica na kojoj se nalazio čip imala je oznaku "Made in China". Iz Nvidije tvrde da njihovi Jetson moduli "nisu dizajnirani za vojne svrhe", već kao potrošački proizvodi za studente, programere i startupove.
Eksperimentalni sustav pokazao je svoju krhkost na najgori mogući način. Pokušavajući zaobići stambenu zgradu na putu do cilja, dron je umjesto toga udario u zid i eksplodirao, usmrtivši civile koji su potražili zaklon u blizini. Umjetna inteligencija nije razlikovala spremnik goriva od fasade zgrade, niti legitiman cilj od tinejdžerice koja se skriva. Pukovnik Serhiy Minaiev, zapovjednik protuzračne obrane u Zaporožju, sažeo je strahove mnogih.
- Za nekoliko godina živjet ćemo u filmu 'Terminator'. Nije šala. Strojevi donose odluke o napadu - rekao je za New York Times.
Pitanje odgovornosti i ljudske kontrole
Incident u Zaporožju materijalizirao je najdublje strahove humanitarnih organizacija i pravnih stručnjaka: tko je odgovoran kada autonomno oružje ubije civila? Programer koji je napisao kod? Zapovjednik koji je odobrio misiju? Proizvođač čipa? Delegiranje odluka o životu i smrti strojevima stvara opasne "rupe u odgovornosti", jer algoritmi nemaju pravnu osobnost niti im se može suditi.
Ovo pitanje u središtu je globalne debate o regulaciji smrtonosnih autonomnih oružanih sustava (LAWS). Godinama se u Ujedinjenim narodima i drugim forumima raspravlja o nužnosti zadržavanja "smislene ljudske kontrole" nad upotrebom sile. Potpuno autonomni sustavi dovode u pitanje temeljna načela međunarodnog humanitarnog prava - razlikovanje, proporcionalnost i mjere opreza. Mogu li strojevi uistinu procijeniti složenost situacije, razlikovati borca od civila ili donijeti suptilnu odluku o proporcionalnosti napada? Amnesty International i Access Now u nedavnom su zajedničkom priopćenju izrazili duboku zabrinutost.
"Naša zabrinutost nije ograničena na pogreške koje mogu proizaći iz kvarova takvih sustava, već obuhvaća način na koji ti sustavi fundamentalno transformiraju vojne operacije. Duboko smo zabrinuti da korištenje velikih jezičnih modela za generiranje i prioritiziranje ciljeva gura vojne aktere u oblik ratovanja gdje se temeljna načela međunarodnog humanitarnog prava ne mogu dovoljno poštovati, s obzirom na puku brzinu i razmjere takvih tehnologija", stoji u priopćenju.
Unatoč rastućim naporima da se [adresiraju etički izazovi koje donose autonomni oružani sustavi, napredak je spor. Pravni argumenti sami po sebi ne mogu odgovoriti na dublja pitanja o ulozi čovjeka u primjeni sile. U prosincu 2023., Opća skupština UN-a usvojila je rezoluciju koja poziva na zaštitne mjere kako bi ljudsko prosuđivanje ostalo u središtu vojnog odlučivanja, no rezolucije ne mogu zaustaviti utrku u naoružanju koja je već u tijeku.
Utrka u naoružanju vođenom umjetnom inteligencijom
Rusija nije sama u svojim planovima. Bivši ukrajinski ministar obrane Mykhailo Fedorov potvrdio je da je i Ukrajina testirala slične sustave na Krimu, tvrdeći da nije bilo civilnih žrtava. Ukrajinska vojska ima jasan cilj: ukloniti vojnike s prve crte i zamijeniti ih autonomnim sustavima kako bi sačuvala ograničene ljudske resurse i prevladala ranjivosti poput umora i stresa.
Iako još nemaju formaliziranu strategiju, ukrajinska vojska i obrambena industrija usvojile su modularni pristup. Široko koriste male i srednje FPV (first-person-view) dronove koji se brzo mogu prilagoditi za različite misije. Dodavanjem senzora, eksploziva ili relejne opreme, ista platforma postaje kamikaza-dron, izviđač ili komunikacijski čvor. Ključan je razvoj samostalnog softvera vođenog umjetnom inteligencijom koji se može integrirati u različite platforme. Umjesto razvoja velikih, sveobuhvatnih modela, ukrajinski inženjeri usredotočeni su na treniranje malih, specijaliziranih AI modela na manjim skupovima podataka. To omogućuje brzu i učinkovitu obradu na jeftinim čipovima koji se mogu brzo ažurirati i prilagođavati promjenjivim uvjetima na bojištu.
Ova tehnologija dramatično povećava uspješnost misija. Delegiranje prepoznavanja ciljeva AI sustavima (ATR - automatic target recognition) smanjuje opterećenje na operaterima i omogućuje fiksiranje na metu s udaljenosti do dva kilometra. Autonomna navigacija, pak, čini udare dronova tri do četiri puta uspješnijima, podižući stopu uspjeha s 10-20 posto na 70-80 posto, jer uklanja potrebu za stalnom vezom s operaterom, koja je ranjiva na elektroničko ometanje. Trend je globalan: izraelski napadi u Gazi često se nazivaju "ljudskim laboratorijem za AI", dok je i američko Ministarstvo obrane pod Trumpovom administracijom pokazalo jasan interes za potpuno autonomna oružja.
Širenje autonomnih oružanih sustava otvara pandorinu kutiju novih rizika, egzistencijalnih prijetnji koje nadilaze pojedinačne tragične incidente.
Eskalacija, proliferacija i 'slaughterbots'
Jedan od najvećih rizika je nenamjerna i brza eskalacija sukoba. Istraživanje korporacije RAND pokazalo je da je "brzina autonomnih sustava dovela do nenamjerne eskalacije u ratnoj igri". Zbog brzine kojom strojevi donose odluke, vrijeme i prostor za de-eskalacijske mjere drastično se smanjuju. Ovi sustavi ne zahtijevaju skupe ili rijetke sirovine, što ih čini iznimno jeftinima za masovnu proizvodnju. Jednom kada ih velike vojne sile počnu proizvoditi, njihova proliferacija je neizbježna. Uskoro će se pojaviti na crnom tržištu, u rukama terorista, diktatora i gospodara rata. To dovodi do prijetnje masovnog uništenja. Za razliku od konvencionalnog oružja, gdje je razina uništenja ovisna o broju vojnika, kod autonomnih sustava ona ovisi isključivo o količini oružja. Jedna osoba teoretski bi mogla aktivirati roj od stotina, pa i tisuća "slaughterbota" - malih dronova ubojica.
Algoritamska pristranost i etničko čišćenje
Korištenje senzorskih podataka za odabir ciljeva, posebno putem prepoznavanja lica ili drugih biometrijskih informacija, uvodi goleme rizike selektivnog ciljanja skupina na temelju dobi, spola, rase, etničke pripadnosti ili vjerske odjeće. Softver za prepoznavanje lica već je dokazano skloniji pogreškama i pristranosti pri identifikaciji žena i osoba tamnije puti. U kombinaciji s proliferacijom, autonomno oružje moglo bi postati moćno sredstvo za ciljano nasilje, pa čak i etničko čišćenje i genocid. Tehnologija koja je stvorena da bi ratovanje učinila preciznijim i smanjila kolateralnu štetu, mogla bi se pretvoriti u svojevrstan akcelerator pokolja, redefinirajući ne samo bojište, već i samu prirodu ljudskog sukoba.
