Rat će u budućnosti voditi mašine, ali da li će ljudi i dalje biti glavni?

Dronovi. Samovozeći tenkovi. Autonomne puške. Ponekad se čini kao da je rat stigao na naš kućni prag preko noći i uhvatio nas nespremne. Ali kako piše Pol Šar u svojoj novoj knjizi „Vojska bez vojnika“, sve se ovo već dugo sprema i trenutno doživljavamo vrhunac vojnog razvoja koji je trajao decenijama. Ali to ne znači da ovo sve nije zastrašujuće.

Šarova knjiga pruža odličan pregled u ovoj oblasti, prati istoriju autonomnog oružja od ranih mitraljeza (koji su automatizovali pucanje i punjenje puške), do današnjih dronova-ubica, sklopljenih u garažama i šupama. Kao bivši vojni rendžer i neko ko je pomogao vladi prilikom pisanja politike o autonomnom oružju, Šar je koncizan i dobro upoznat sa temom. I ono što je još važnije, pažnju posvećuje političkoj dimenziji autonomnog oružja kao i njihovoj tehnologiji, uzimajući u obzir činjenice poput istorijskih pokušaja kontrolisanja oružja (npr. zabrana Pape Inoćentija II da se upotrebljava luk i strela protiv hrišćana, 1139. godine, što i nije imalo neki uticaj).

Šar je nedavno za magazin Verdž (The Verge) govorio o svojoj knjizi „Vojska bez vojnika“, i diskutovao o stavu koji američka vojska trenutno ima prema autonomnom oružju, o izvodljivosti kontrolisanja takozvanih „robota ubica“ i o tome da li je neizbežno da nova vojna tehnologija ima neočekivane i štetne posledice.

Ovaj intervju je skraćen i uređen radi jasnoće.

Ova knjiga je došla u pravo vreme, rekao bih, upravo kad je u javnosti počela diskusija o autonomnim sistemima oružja. Šta vas je motivisalo da je napišete?

Bavim se ovim pitanjima osam ili devet godina i bavio sam se temom autonomnog oružja u Ujedinjenim nacijama, NATO-u i Pentagonu. Osećao sam da imam dovoljno toga da kažem. Ovaj problem je sve veći jer se autonomne tehnologije razvijaju i u drugim oblastima, poput automobilske industrije.

Na pomisao o autonomnom automobilu odmah se pojavi asocijacija na oružje. Nameću se pitanja o riziku ili o scenarijima poput: „Šta se dešava kada vojna bespilotna letelica ima autonomiju kao i automobil koji se sam vozi?“ Živimo u veoma zanimljivom trenutku, kada tehnologija postaje stvarna, a ova pitanja su sve manje teorijska.

Kako je američka vojska stigla do svog trenutnog položaja? Naši čitaoci su upoznati sa time da privatne kompanije ulažu u razvoj tehnologija, poput vozila koja se sama voze, ali kako se i kada vojska zainteresovala za to?

U slučaju Sjedinjenih Američkih Država, one su, na neki način, na ovu vojnu, robotsku revoluciju naišle kroz period Iraka i Avganistana. Mislim da nije bilo planirano da se kupe hiljade robota koji se kreću po zemlji i kroz vazduh, ali to se dogodilo. Većina ljudi bi rekla da to nije dobra ideja, ali ispostavilo se da su ti roboti za vreme ovih sukoba bili neverovatno korisni za specifične zadatke. Dronovi su omogućavali nadzor iz vazduha, a roboti za uklanjanje bombi su smanjili opasnost od iranskih eksplozivnih bombi.

Tokom ovih sukoba bili smo svedoci toga kako američka vojska prihvata tehnologiju i počinje da strateški razmišlja o pravcu u kojem želi da kreni. Tako su želeli da razviju veću autonomiju, jer su [robotski] sistemi u prošlosti imali vrlo krhke telekomunikacione veze sa ljudima. Ako su te veze pune smetnji, onda vaši roboti ne mogu ništa da urade. Ali kada vojska kaže da želi „potpunu autonomiju“, ne razmišljaju o Terminatoru. Razmišljaju o robotu koji ide sam od tačke A do tačke B. A to nisu jasno objasnili.

Citiram plan vazduhoplovstva Sjedinjenih Američkih Država iz 2009. godine o sistemu aviona, gde se eksplicitno postavlja pitanje o autonomnim sistemima naoružanja, i to pitanje je prvi postavio doktor civilne zaštite. Doktor kaže da možemo da zamislimo vremenski period u kojem je prednost brzine omogućava punu autonomiju, a to pokreće sva ova škakljiva etička i pravna pitanja o kojima moramo da počnemo da debatujemo. I mislim da je u pravu.

Plan leta vazduhoplovstva kaže da bi, u situaciji kada računari mogu da donose odluke brže od ljudi, možda bilo korisno da kontrolu predamo mašinama. Ističete da je to bio slučaj sa vrlo malim brojem autonomnih sistema naoružanja koji se trenutno koriste – da su stvoreni za situacije sa kojima ljudi nisu mogli da se nose.

Kao, na primer, Aegis, borbeni sistem američke mornarice, koji se koristi na brodovima za odbranu od bombardovanja precizno vođenim raketama, koje su i same svojevrsni poluautonomni sistem. S obzirom na tu činjenicu – da se autonomni sistemi oružja prave kao odgovor na autonomne sisteme naoružanja – mislite li da ne možemo da zaustavimo napredni marš ove tehnologije?

To je jedno od glavnih pitanja u knjizi. Da li možemo da izbegnemo cilj ka kojem nas vodi ovaj put? Jasno je da nas tehnologija vodi ka potpuno autonomnim sistema oružja, a u nekim jednostavnim okruženjima oni su mogući i danas.

Je li to dobra stvar? Postoji mnogo razloga koji kažu da nije. Mislim da nije sjajna ideja da ljudi imaju manju kontrolu nad nasiljem, [ali] takođe mislim da nije lako zaustaviti napredak tehnologije. Jedna od stvari u knjizi koju pokušavam da objasnim jeste istorijski razvoj svega ovoga, što je teško, jer je sve izmešano. Postoje primeri uspeha i neuspeha u kontroli naoružanja, koji sežu sve do drevne Indije, 1500. godine pre nove ere. Postavlja se to staro pitanje: da li mi kontrolišemo tehnologiju ili tehnologija kontroliše nas? I mislim da na to nema jednostavnih odgovora. Na kraju, izazov nisu autonomija ili tehnologija, već mi sami.

Vaša knjiga nam pomaže da definišemo pojmove u ovoj temi, da razlikujemo različite vrste autonomije. To je veoma važno za dalju debatu. Imajući to u vidu, da li uokviru ove teme postoje neki konkretni koncepti za koje mislite da se stalno pogrešno shvataju?

[Smeh] Ovo mi je uvek predstavljalo izazov! U knjizi sam napisao 10.000 reči koje govore o ovom problemu, a sada moram da ga sumiram u jedan ili dva pasusa.

Pa da, ljudi imaju tendenciju da govore o „autonomnim sistemima“, a ja ne mislim da je to smislen koncept. Morate da razgovarate o autonomiji posmatrajući je sa određenog aspekta: koji zadatak želite da automatizujete? Autonomija nije magija. To je, jednostavno, sloboda da se izvrši neka radnja, bilo da je obavlja čovek ili mašina. Kako deca odrastaju, mi im dajemo veću autonomiju – da ostanu napolju do kasno, da voze automobil, da idu na fakultet. Ali autonomija i inteligencija nisu ista stvar. Kako sistemi postaju inteligentniji, možemo da odaberemo da im damo više autonomije, ali i ne moramo.

Kada istražujete istoriju autonomnog oružja, započinjete s američkim građanskim ratom i pronalazačem Gatlingovog sistema, Ričardom Gatlingom. To je prethodnik modernih mitraljeza, a vi ste u knjigu uključili fantastičan odlomak iz jednog od Gatlingovih pisama, u kojem kaže da mu je motivacija bila da spasi živote. Smatrao je da će pištolj koji je automatski pucao značiti manje vojnika na bojnom polju, a samim tim i manje smrtnih slučajeva. Naravno, pokazalo se da to nije slučaj. Mislite li da je neizbežno da će nove tehnologije u ratovanju imati ove nenamerne, krvave posledice?

Mnoge tehnologije su vam jasne kada ste vi ti koji ih imate. Kažete: „Vau, pogledajte ovo! Možemo da spasimo živote naših trupa tako što ćemo biti efikasniji na bojnom polju!“ Ali kada ih obe strane imaju, kao i kod mitraljeza, taj rat odjednom postaje grozniji. Mislim da je to definitivno problem autonomije i robotike. Postoji rizik od trke u naoružanju, gde države, pojedinačno, teže da ostvare različite vojne napretke, koji su vrlo razumni. Ali kolektivno, to rat čini manje kontrolisanim, što šteti čovečanstvu.

Gatlingov sistem je bila jedna od onih fascinantnih stvari na koje sam naišao tokom istraživanja istorije. Automatizacija je smanjila broj ljudi potrebnih za isporuku određene količine vatrenog oružja: četiri osobe sa Gatlingovim mitraljezom mogu da isporuče vatrenu snagu kao 100 ljudi. Ali pitanje je šta su vojnici učinili s tim? Da li su smanjili broj ljudi u svojim vojskama? Ne, proširili su svoju vatrenu snagu, i čineći to, podigli su nasilje na viši nivo. To je je priča čiju pouku moramo da upamtimo.

Ističete da ljudi pogrešno pretpostavljaju da američka vojska žuri da obezbedi autonmno naoružanje, ali da se, u stvari, mnogo njih suprotstavlja tome. Za razliku od Rusije, na primer, Sjedinjene Američke Države ne grade kopnene robote za prvu liniju fronta, a autonomne letelice koje razvija imaju pomoćne, a ne borbene uloge. Kako biste sumirali trenutnu američku politiku o autonomnom oružju?

Puno toga se govori o američkom Ministarstvu odbrane, veštačkoj inteligenciji i autonomiji. Ali ako pogledate na šta se zapravo troši novac, videćete da to i nije tako. Posebno za borbenu primenu, postoji prekidač gde imate inženjera na mestima kao što je DARPA (agencija Ministarstva odbrane Sjedinjenih Američkih Država odgovorna za razvoj novih tehnologija u vojsci SAD), koji radi punom parom i omogućava da tehnologija radi, ali postoji jaz između istraživanja i operativne upotrebe. A neke od prepreka predstavlja kultura, jer vojnici ne žele da se odreknu svog posla – posebno ljudi na vrhu.

Zaključak je da čelnici američkog Ministarstva odbrane žele da se fokusiraju na HITL model, dakle na model koji zahteva ljudsku interakciju. Takav stav ne primećujem u drugim zemljama, poput Rusije, koncentrisanoj na izgradnju potpuno robotizovane borbene jedinice, koja bi bila sposobna za autonomne operacije.

Rusija i Kina očigledno imaju mnogo toga u planu, ali čini se da stručnjaci više brinu za nedržavne aktere. Ističu da je dosta ove tehnologije, poput autonomne navigacije i malih dronova, izuzetno dostupno. Šta je ovde, u stvari, pretnja?

Nedržavne grupe poput Islamske države već imaju naoružane bespilotne letelice, koje sklapaju pomoću komercijalno dostupne opreme. A tehnologija je toliko sveprisutna da ćemo morati da prihvatimo tu činjenicu. Već smo videli „masovne“ napade dronova niskog kvaliteta, poput onog na rusku vazduhoplovnu bazu u Siriji. Oklevam da kažem da je to bilo jato bespilotnih letelica, jer nema naznaka da su međusobno sarađivale. Ali mislim da će se takvi napadi vremenom povećavati, jer je tehnologija tako široko dostupna. Nema dobrog rešenja.

Taj strah da tehnologija veštačke inteligencije ima „dvostruku upotrebu“, da svako komercijalno istraživanje može biti zloupotrebljeno, motivisao je dosta ljudi koji tvrde da nam je potreban međunarodni sporazum koji bi kontrolisao autonomno naoružanje. Mislite li da će takav sporazum stupiti na snagu?

Oseća se neka energija nakon nedavnih sastanaka u Ujedinjenim nacijama, jer su dve vodeće države reagovale ovako: Austrija će tražiti zabranu, a i Kina bi rado odmah zabranila  autonomno oružje. Ali, mislim da sporazum nije na pomolu. Jednostavno to nije u planu. [Ujedinjene nacije] jesu organizacija zasnovana na konsenzusu i svaka zemlja bi morala da se složi. A to se neće desiti.

Do sada smo imali prilike da vidimo, kroz istoriju, da su ti pokreti sazrevali neko vreme u tim velikim, kolektivnim telima, u Ujedinjenim nacijama, a zatim su prerasli u samostalne sporazume. To je rezultiralo, na primer, ugovorima o kasetnoj municiji. Mislim da još nismo došli do toga. Ne postoji glavna grupa zapadnih demokratskih država, što je bio i problem u prošlosti, a zemlje poput Kanade i Norveške predvodile su u optužbama. Moguće je da Austrija pokreće te promene, ali to u ovom trenutku nije jasno.

Ovog puta, velika razlika jeste nedostatak direktne pretnje. Ljudi su ubijani i osakaćeni minama i kasetnom municijom, dok je ovde pretnja vrlo teorijska. Čak i ako su zemlje poput Kine i Sjedinjenih Američkih Država potpisale nekakav ugovor, verifikacija [da se pridržavaju pravila ugovora] bila bi izuzetno teška. Teško je zamisliti kako biste ih naterali da veruju jedni drugima. I to je suštinski problem. Ako to ne možete da shvatite, nema rešenja.

S obzirom na to da mislite da zabrana Ujedinjenih nacija ili set ograničenja neće ispuniti, na koji način možemo da upravljamo razvojem autonomnog oružja? Pošto oni koji nisu uključeni u ovu raspravu, pa čak i oni koji tvrde da će autonomno oružje definitivno spasiti živote, smatraju da rizik ne postoji.

Mislim da je dobro što akademici sve više javno razgovaraju o ovoj temi. Ovo je problem koji obuhvata čitav niz disciplina: tehnologiju, vojne operacije, zakon, etiku i mnoge druge stvari. Želim da mislim da bi ova knjiga mogla da unapredi taj razgovor, naravno tako što će proširiti skup ljudi koji se bave tim.

Ono što mislim da je važno jeste uspostavljanje temeljnih principa koji se odnose na to kako izgleda kontrola autonomnog oružja. Stvari poput definisanja onoga šta mislimo pod „smislenom ljudskom kontrolom“ ili „odgovarajućom ljudskom procenom“ ili koncepta o fokusiranju na ulogu ljudi. Sviđa mi se to i voleo bih da se o tome više govori na međunarodnom nivou. Mislim da to postavlja pitanje: da imamo svu tehnologiju koju možemo da zamislimo, kakvu bismo ulogu želeli da ljudi igraju u ratu? I zašto? Koje odluke zahtevaju jedinstveno ljudsko prosuđivanje? Ne znam odgovore, ali ovo su prava pitanja koja treba postaviti.
 
Autor: Džejms Vinsent
Izvor: theverge.com
Prevod: Lidija Janjić
Foto: Slowking4 - Own work / GFDL 1.2 / Wikimedia commons