06.12.2017

FRA RÆSON31 [Efterårsnummeret/Oktober 2017].
“Kunstig intelligens har på få år indtaget en central plads i militærlaboratorier verden over og kan potentielt revolutionere al krigsførelse. Spørgsmålet er, om udviklingen allerede er løbet menneskeheden af hænde.”

Af Peter Wiingaard

For et par generationer siden bragte våbenkapløbet mellem to ideologisk stridende supermagter verden på kanten af ragnarok. I årtierne efter Anden Verdenskrig opbyggede USA og Sovjetunionen arsenaler af nukleare sprænghoveder i et omfang, der kunne udløse menneskehedens udslettelse. Frygt for modpartens gengældelse var det eneste, der forhindrede udbruddet af en tredje verdenskrig, og nobelprismodtageren Lester Pearson konstaterede, at historiens traditionelle magtbalancer var blevet erstattet af en ’terrorbalance’. Den tilspidsede situation fik sin afslutning med Sovjetunionens sammenbrud. Ingen af de sikkerhedspolitiske udfordringer, som har domineret den internationale dagsorden siden Den Kolde Krigs ophør, har haft potentiale til at udløse samme grad af global ødelæggelse.

Men nu er det blevet anderledes: Inden for en årrække risikerer verden at ende i et nyt våbenkapløb. Flere iagttagere har gennem de senere år advaret om, at udviklingen af digital krigsførelse og autonome angrebsvåben kan få uoverskuelige konsekvenser for den globale sikkerhed og true den menneskelige civilisation, på samme måde som atomvåben har gjort.

Fra atomkrig til dronekrig
I årene efter Den Kolde Krig var USA verdens eneste supermagt. Global krig forekom umulig, da ingen kunne matche amerikanernes militære og økonomiske muskler. Men der gik ikke længe, før ’krigen mod terror’ og nye internationale brudflader udstillede grænserne for amerikansk magt. Et fremadstormende Kina, et revanchistisk Rusland og skiftende globale alliancer har gennem det seneste årti udfordret USA’s rolle som international hegemon. Flere og mere jævnbyrdigt spredte magtcentre har banet vej for nye potentielle stridigheder med oprustning til følge. Samtidig har amerikanerne selv fået nok af omkostningerne forbundet med global magtudøvelse.

Barack Obama overtog i 2009 det amerikanske præsidentembede med et løfte om at gøre en ende på de upopulære krige i Irak og Afghanistan. Truslen fra bl.a. al-Qaeda-netværket gjorde det dog svært at eksekvere en brat afslutning af det militære engagement. For at finde en alternativ løsning tog han derfor teknologien i brug. Svaret blev en stærk intensivering af brugen af ubemandede droner, som kunne bombe fjendtlige mål: I løbet af sin præsidentperiode beordrede Obama flere end ti gange så mange droneangreb som sin forgænger, George W. Bush.

Denne strategi vakte både opsigt og kritik, men for Det Hvide Hus opvejede fordelene ulemperne. En nedskudt drone har færre politiske omkostninger end en falden soldat. Og en krig, som udkæmpes bag computerskærme, efterlader ikke den krigsførende part med hverken enker, forældreløse børn eller veteraner med posttraumatisk stress. Udviklingen af droneteknologi gjorde på få år krig til en rationel valgmulighed selv for en politiker som Obama, der blev valgt på løfter om at afslutte USA’s oversøiske konflikter. Flere andre lande opdagede hurtigt den nye teknologis potentiale for krig uden menneskelige omkostninger på hjemmefronten. Ud over USA har mere end 30 nationer, herunder Rusland, Kina, Indien, Pakistan, Israel og Tyrkiet, i dag indledt militære programmer for brug af ubemandede droner – og tallet vokser.

Men den nye form for dronekrig er fra starten blevet kritiseret. Det vurderes, at tre pct. af alle ofre for droneangreb i Pakistan er civile. I december 2013 ramte et amerikansk droneangreb en bryllupsprocession i Yemen. 15 personer, der ikke havde nogen relation til målet, blev dræbt. Spørger man tilhængerne af teknologien, giver de teknologiske fremskridt imidlertid håb om at reducere denne type fejl. Alverdens militære forskningsenheder arbejder på at optimere dronernes evne til at identificere korrekte mål. Billedgenkendelse og algoritmer, som analyserer bevægelsesmønstre, vil om få år være en integreret del af al krigsførelse. Militære algoritmer kan i dag selv analysere personbevægelser registreret fra satellitkameraer. Sandsynligvis kan de også snart analysere og skelne bevægelsesmønstre, der er karakteristiske for henholdsvis civile og formodede terrorister, selv når forskellen er usynlig for det menneskelige øje. Når det sker, vil en computer de facto tage beslutningen om, hvem der skal leve eller dø. Denne udvikling har potentiale til at reducere antallet af civile ofre, men selvsagt kun i det omfang, hvor menneskene bag teknologien kan specificere klare kriterier for udvælgelsen af korrekte mål.

Der er mange argumenter for at outsource militære beslutninger til maskiner. Man udsætter ikke sine egne soldater for fare, man kan effektivt udpege mål, og i sidste ende gør det ingen forskel for modparten, om den dræbende kugle afsendes af et menneske eller en maskine.

Men der er også argumenter for det modsatte. For det første forbliver det, som nævnt, en vanskelig opgave at specificere de rigtige kriterier for udvælgelse af mål. For det andet er det ikke nødvendigvis muligt at udvikle en algoritme, som på baggrund af mål- og risikovurdering vil træffe beslutninger, som mennesker i alle tilfælde finder korrekte. For det tredje kan brugen af robotter og algoritmer fritage politikere for at stå til ansvar for efterladte pårørende og en kritisk offentlighed. Dermed øges incitamentet til at afgøre politiske konflikter militært.

Verden kan altså meget vel stå foran en tredje revolution af krigsførelse på linje med krudtet og atombomben. Den næste generation af militærteknologisk isenkram har potentiale til at håndtere en bred vifte af konflikter, lige fra gadeoptøjer til kamp i byzoner, guerillakrig og bombeangreb, på en måde, som ingen eksisterende hær kan. Digitale autonome angrebsvåben bliver en alvorlig trussel for alle stater, der ikke besidder dem, og tilsvarende vil de være attraktive for alle stater, der søger at konsolidere deres magt.

Revolutionen i kunstig intelligens
Ud over de konkrete juridiske, politiske og tekniske problemstillinger er der på længere sigt også en række mere spekulative spørgsmål, der knytter sig til brugen af den nye militærteknologi. Debatten om digitale våben kommer i en tid med øget fokus på de generelle konsekvenser forbundet med udviklingen af kunstig intelligens (AI). For gennem de seneste par år har en række fagfolk advaret mod ugennemtænkt implementering af hastigt udviklede intelligente algoritmer. Ud over krigsførelse er der bl.a. udtrykt bekymring for, at maskiner kan forårsage massearbejdsløshed, samt muligheden for, at mennesket mister kontrollen over den teknologi, som udvikles.

I den brede offentlighed har maskinernes potentiale til at indtage arbejdspladser og skabe massearbejdsløshed fyldt mest. To forskere fra Oxford University udarbejdede i 2013 en prognose, som vurderede, at maskiner i løbet af 20 år vil kunne overtage op mod halvdelen af alle de stillinger, mennesker besætter i dag. Hvis de to forskere får ret, kan resultatet blive drastisk stigende ulighed med social og politisk uro til følge. Det er blevet foreslået, at man indfører en universel borgerløn, hvis maskiner for alvor begynder at skubbe mennesket bort fra arbejdsmarkedet, men ingen har endnu adresseret spørgsmålet om, hvordan millioner af mennesker skal skabe sig en meningsfuld tilværelse i en tid uden arbejde.

Også spørgsmålet om, hvorvidt avancerede intelligente algoritmer en dag kan løbe løbsk og tage magten fra mennesker, har på kort tid forvandlet sig fra hollywood-science fiction til et seriøst forskningsfelt. Nick Bostroms bog Superintelligence fra 2014 åbnede for alvor en debat om de utilsigtede konsekvenser, der kan opstå, når algoritmer ikke forstår intentionerne bag de mål, de programmeres til at udføre. Jo klogere algoritmerne er, og jo mere autonomi de får, desto mere alvorlige kan de utilsigtede konsekvenser blive. Der kan ifølge Bostrom meget vel komme en dag, hvor vi ikke længere har mulighed for at korrigere algoritmernes beslutninger. En lang række markante offentlige personer, herunder Bill Gates, Stephen Hawking og den amerikanske forfatter Sam Harris, bakkede op om Bostroms pointe. Også Tesla-grundlæggeren Elon Musk anbefalede bogen med en advarsel om, at kunstig intelligens potentielt kan være farligere end atomvåben.

Er kunstig intelligens en trussel mod demokratiet?
Udviklingen af autonome angrebsvåben udgør en selvstændig problematik, men den væver sig også ind i problemstillingerne om arbejdsløshed og kontrol over teknologien. Den israelske historiker Yuval Noah Harari har i bogen Homo Deus – A Brief History of Tomorrow fra 2015 påpeget, at demokratiet kan lide skade, hvis store nationale hære gøres arbejdsløse og erstattes af små forsknings- og udviklingsenheder på få hundrede personer. Han nævner, at indførelsen af værnepligt, demokrati og stemmeret ofte er gået hånd i hånd. Eksempelvis fødte Den Franske Revolution foruden menneskerettighederne også idéen om den almene værnepligt. Da præsident Woodrow Wilson i 1918 indførte stemmeret for amerikanske kvinder, skete det bl.a. med henvisning til deres indsats i alle sfærer af samfundet, som havde bidraget til sejren i Første Verdenskrig.

Hvis nationalstater kan konsolidere deres magt uafhængigt af folkeligt forankrede hære og sikkerhedsstyrker, forsvinder et af de oprindelige argumenter for, at de civile befolkninger skal have indflydelse på de politiske beslutninger, som træffes. Derfor kan en fremtid, hvor store befolkningsgrupper lever af borgerløn på statens nåde, og hvor den nationale sikkerhed kan varetages af en lille gruppe beslutningstagere med militær magt i hænderne, meget vel gå hen og blive udemokratisk, siger Harari.

Spørgsmålet om kontrol af robotter og deres autonome beslutninger har også en militær dimension. Udviklingen af våben og krigsmateriel har ofte været katalysator for generelle teknologiske fremskridt, og de mest avancerede algoritmer findes ofte i militærlaboratorier. Hvis noget på et tidspunkt går galt, er det ikke usandsynligt, at det kan blive i en militær sammenhæng.

For militære beslutningstagere er det umiddelbart en fordel, hvis de maskiner, de styrer, kan træffe bedre beslutninger end nogen menneskelig modstander. Men hvis maskiner først har opfundet deres eget ræsonnement for at udkæmpe konflikter, som mennesker ikke kan gennemskue, bliver det umuligt at vurdere, om deres beslutninger i sidste ende er taget på et meningsfuldt grundlag. Hvis et digitalt våbenkapløb løber løbsk, kan forskellige stridende parter ende med at bekæmpe hinanden med maskiner, der selv træffer beslutninger og kun i meget begrænset omfang er underlagt nogen form for menneskelig kontrol. Inden for krigens snævre logik er der stærke incitamenter for at lade angrebsrobotter foretage autonome beslutninger. Men i et bredere perspektiv kan disse beslutninger udgøre en stor, omend på nuværende tidspunkt abstrakt, fare.

Hvem skal beskytte os mod de nye våben?
I 2014 oprettede en gruppe af videnskabsfolk m.fl. Future of Life Institute – FLI. Instituttet sætter de nye teknologier til debat og har bl.a. nobelprisvinderen Stephen Hawking og Tesla-grundlæggeren Elon Musk i sit advisory board. FLI’s konference om kunstig intelligens i Puerto Rico i 2015 markerede et skift i den faglige debat om emnet, fordi man her satte risiciene ved udviklingen på dagsordenen. Dette og et efterfølgende møde dannede baggrund for et åbent brev, hvor en række eksperter sammen opfordrede til indførelsen af et globalt forbud mod autonome angrebsvåben. Brevet fastslog, at hvis blot ét land går foran og udvikler disse våben, kan et kapløb blive uundgåeligt. Ubemandede våbensystemer med evnen til selv at udpege og angribe mål kan blive morgendagens Kalasjnikov, står der i brevet, med henvisning til det russiske automatgevær, der på grund af sin lave pris og robusthed har slået flere mennesker ihjel end noget andet våben. En af initiativtagerne til brevet var Stuart Russell, der er professor i kunstig intelligens ved UC Berkeley i Californien og forfatter til lærebogen Artificial Intelligence: A Modern Approach, som er standardpensum for alle studerende i kunstig intelligens.

Russell har også i andre sammenhænge peget på farerne ved militær brug af intelligente algoritmer, som han mener kan have langt mere vidtrækkende konsekvenser end ’blot’ et våbenkapløb. I forbindelse med publiceringen af det åbne brev udtrykte han imidlertid bekymring for, at man måske var så sent ude, at de mennesker, der udvikler kunstig intelligens, ikke længere har kontrol over, hvordan deres teknologi anvendes.

Med FLI-grundlæggeren Max Tegmarks ord er der næsten ingen forskel på droner, der leverer pakker fra Amazon, og droner, der leverer bomber. Meget software, som anvendes i digital krigsførelse, er udviklet til helt andre formål. Facebook har eksempelvis ført an i udviklingen af algoritmer til ansigtsgenkendelse, som hjælper brugere med at tagge [identificere og navngive, red.] venner på billeder. Russell frygter, at denne og andre teknologier allerede er så udbredte, at man i fremtiden ikke vil kunne hindre, at de spredes og implementeres militært.

Under første fase af den syriske borgerkrig indsatte præsident Bashar al-Assad mere end hundrede kampvogne og mange tusind soldater for at nedkæmpe en gruppe oprørere, der havde forskanset sig i byen Homs. Belejringen varede tre år, og op mod tusind af Assads soldater og politifolk omkom i operationen. Til slut indgik de stridende parter en våbenhvile, som gav oprørerne mulighed for fredeligt at forlade byen. Havde al-Assad haft adgang til autonome angrebsdroner med evnen til ansigtsgenkendelse, kunne han på kort tid have nedkæmpet alle oprørere – og han havde næppe tøvet med at gøre det. Russell mener, at den nye teknologi risikerer at styrke autokratiske og diktatoriske regimer, der ikke følger krigens love.

I et længere perspektiv advarer Russell om, at de nye, digitale våben kan blive allemandseje. Produktionsomkostningerne vil falde drastisk, og det kan blive nemt for almindelige mennesker fx at 3-d-printe deres egne våben. De nye våben vil også blive mindre, som det er sket med mobiltelefoner. I løbet af en overskuelig årrække vil der ikke være tekniske hindringer for, at en hær af droner på størrelse med humlebier eksempelvis kan udpege og angribe udvalgte personer ved hjælp af ansigtsgenkendelse. Droner på denne størrelse vil måske ikke kunne affyre projektiler, der gennemtrænger menneskets hud, men kunne afsende giftige, dødbringende projektiler mod offerets øjne. Hvis denne type teknologi først bliver spredt, vil det potentielt kræve ekstreme politistatsmetoder at beskytte sig mod den.

Russell har et utvetydigt budskab: En sådan verden vil ikke være et godt sted, og derfor er det bedst, hvis disse teknologier aldrig udvikles.

Kan udviklingen styres?
I januar 2017 samlede FLI på ny verdens førende AI-specialister. Denne gang foregik møderne i et konferencecenter i Asilomar i Californien, og det var ikke noget tilfælde. De samme lokaler dannede i 1975 ramme for en konference om etiske aspekter ved DNA-forskning. Ved den lejlighed blev der udfærdiget en række retningslinjer, som skulle sikre den nye teknologi mod misbrug. Disse retningslinjer påvirker stadig forskningen i bioteknologi og har skabt global konsensus om en række røde linjer, der ikke bør overskrides. Med denne historie som forbillede udarbejdede deltagerne på ’Beneficial AI 2017’-konferencen i Asilomar 23 overordnede principper, der bør gælde som retningslinjer for al udvikling af kunstig intelligens.

Blandt princippernes ophavsmænd og støtter findes AI-specialister fra verdens førende universiteter og topfolk fra virksomheder som Google, Apple, Facebook og IBM. De 23 Asilomar-principper, der både relaterer sig til konkret forskning såvel som generelle spørgsmål om etik, værdier og langsigtede perspektiver, blev vedtaget med udbredt konsensus blandt konferencens deltagere. Ord som transparens, kontrol, menneskelige værdier og samarbejde går som rød tråd gennem det færdige dokument.

Princip nummer 18 insisterer fx på, at et våbenkapløb inden for dødbringende autonome våben bør undgås. Et andet princip lyder, at mennesker skal have kontrol over maskiner, som bliver tildelt mulighed for at træffe selvstændige beslutninger.

Men på intet sted kommer Asilomar-principperne ind på et specifikt forbud mod autonome angrebsvåben på samme måde som FLI’s åbne brev fra 2015. Fraværet af et forbud skyldes ikke mangel på bekymring, for de fleste AI-specialister modsætter sig, at deres teknologi bruges til at opbygge autonome angrebsvåben. Men når det kommer til spørgsmålet om, hvorvidt et forbud er muligt – og om det rent faktisk gavner sagen – deler meningerne sig. Der var derfor ikke konsensus om dette spørgsmål.

Modstandere af forbuddet har flere argumenter, der taler for deres sag. Redaktøren for Wired Magazine, Kevin Kelly, udarbejdede for år tilbage en historisk oversigt over holdbarheden af forbud mod nye opfindelser. Den viste, at næsten alle forsøg på at regulere og forhindre brugen af ny teknologi før eller senere bryder sammen. Forbuddet mod pistoler og skydevåben under Tokugawa-shogunatet i Japan og Mingdynastiets bandlysning af sejlskibe til opdagelse varede i henholdsvis 100 og 300 år og udgør dermed et par af de absolutte rekorder. Så længe tyder intet på, at et forbud kan holde i dag. For jo hurtigere teknologien er accelereret, siger Kelly, desto kortere tid har forbuddene haft tendens til at holde. I en globaliseret markedsøkonomi vil det være svært at indføre et verdensomspændende forbud, der håndhæves overalt – og blot en enkelt overskridelse vil være nok til at udløse et kapløb.

Ydermere er det svært at sige, hvordan et forbud mod autonome angrebsvåben kan implementeres uden at lægge strenge bånd på en lang række af former for software, der anvendes i civile sammenhænge, fx algoritmerne til ansigtsgenkendelse. Men udfordringerne har ikke afskrækket aktivister og interessegrupper i at arbejde på sagen. En international kampagne for at standse dræberrobotter, der finansieres af bl.a. menneskerettighedsorganisationen Human Rights Watch, så dagens lys i 2013. Den fik hurtigt sat emnet på dagsordenen i bl.a. FN’s Menneskerettighedsråd med henblik på at lave nye tilføjelser til den internationale våbenkonvention. Tilhængerne af et forbud påpeger, at man tidligere har haft succes med at lave konventioner om biologiske og kemiske våben samt landminer og klyngebomber. For nylig vedtog 122 af FN’s medlemslande desuden et forbud mod atomvåben, som mange håber kan skabe momentum for tilsvarende lovgivning om autonome angrebsvåben.

FN’s planlagte diskussion desangående skulle være begyndt i august 2017, men blev i sidste øjeblik udskudt til november på grund af manglende finansiering fra en lille gruppe medlemsstater. På den baggrund opfordrede Stuart Russell, Elon Musk, Demis Hassabis fra Googles DeepMind samt en lang række centrale personer fra AI- og robotindustrien for nylig FN til at tage emnet alvorligt. I et åbent brev tilbød de deres assistance og understregede bl.a., at det haster, hvis man skal forhindre et våbenkapløb.

Esben Østergaard, CTO og stifter af Universal Robots i Odense, der udvikler robotarme til industribrug, er blandt de erhvervsfolk, der har underskrevet brevet. Over for RÆSON begrunder han sin signatur med, at der opstår en form for asymmetri, hvis nogle rige lande kan gå i krig relativt omkostningsfrit, mens andre lande bliver en slagmark. ”Jeg vælger at tro, man kan løse det problem politisk. Jeg håber, at de lande, der har muligheden for at udvikle de såkaldte dræberrobotter, også respekterer FN,” udtaler han til RÆSON.

Men selvom det skulle lykkes at indføre forbud af den type, er det stadig usikkert, om det kan hindre et våbenkapløb. Forbud mod kemiske våben har ikke forhindret pariastater i at anvende dem i lokale og regionale konflikter. En global konflikt med kemiske våben virker kun usandsynlig, fordi militære stormagter kan bedrive mere effektiv krigsførelse gennem brug af konventionelle eller nukleare våben.

Hvad det nye forsøg på et forbud mod atomvåben angår, kommer ingen nuværende atommagter til at underskrive det i en overskuelig fremtid. Forsøget kan derfor gå hen og blive en symbolsk affære. Under forhandlingerne i FN pegede amerikanerne – nogle af forslagets stærkeste kritikere – på umuligheden af, at USA skulle opgive sine sprænghoveder, så længe lande som Nordkorea egenrådigt tester ballistiske missiler.

Autonome angrebsvåben har, som atomvåbnene, potentiale til at ændre de globale magtbalancer. Men den teknologiske udvikling gør produktionen hurtigere, nemmere og billigere, hvorfor opgaven med at implementere og håndhæve et forbud ifølge skeptikerne bliver endnu sværere. For tilhængerne af et forbud er der dog ikke nødvendigvis tale om alt eller intet. Esben Østergaard påpeger eksempelvis, at et forbud kan stigmatisere brugen af disse våben, forsinke udviklingen og på den måde inddæmme deres skadevirkninger, selvom de skulle blive spredt. ”Hvis vi tror på, at FN overhovedet har en indflydelse i forhold til at forbyde landminer og andre våbentyper, så er vi nødt til at gøre et forsøg. Kampen er i hvert fald tabt, hvis ikke man tager den,” udtaler han til RÆSON.

Forslag om konventioner og retningslinjer for anvendelse af AI risikerer at komme for sent. Men hvad er tidshorisonten egentlig for de perspektiver, der diskuteres her? Nye algoritmer vil ændre krigens regler de kommende år, men på den korte bane er deres betydning usikker. Skeptikere påpeger, at høje forventninger til ny teknologi ofte efterfølges af skuffelse over de reelle fremskridt. Kunstig intelligens blev som selvstændigt forskningsfelt grundlagt ved en konference på Dartmouth University i 1956. I de første år var der så store forventninger til den nye teknologi, at mange anså det for sandsynligt, at den ville overhale menneskets intelligens inden for en kort årrække. Det er som bekendt endnu ikke sket. Den digitale krigsførelse og spredningen af autonome angrebsvåben kan tilsvarende vise sig at foregå langsommere, end mange frygter, så verdenssamfundets statsledere får bedre tid til at blive enige om et regelsæt. Men der er ingen garantier: 12. september 1933 bragte The Times et berømt citat fra kernefysikkens stamfader, Ernest Rutherford, som kaldte muligheden for at udvinde energi gennem spaltning af atomer rent vrøvl. Den ungarske fysiker Leo Szilard læste interviewet og besluttede sig for at bevise det modsatte. Dagen efter fandt han på idéen om en kontrolleret nuklear kædereaktion, der 12 år senere resulterede i den første atombombe. ■

Peter Wiingaard (f. 1978) er sociolog, IT-projektleder og forfatter til bogen Påfuglens tårer.

ILLUSTRATION: Prøveaffyring under træningsøvelse afholdt af USA’s marinekorps i Californien, august 2017 [foto: Taylor Cooper/U.S. Marine Corps]