Mikkel Andersson: Derfor frygter de, der bygger AI, for menneskehedens fremtid
19.09.2026
En ledende sikkerhedsforsker hos et af de store AI-firmaer vurderer, at der er over 10 pct. risiko for, at kunstig intelligens udrydder menneskeheden inden for ti år. Han er langtfra alene. Men hvorfor er de bekymrede netop nu, og hvordan skulle computersystemer overhovedet kunne udgøre en eksistentiel trussel?
GRATIS: Denne artikel er publiceret udenfor betalingsmuren. Det er kun muligt for RÆSON at stille udvalgte artikler gratis til rådighed for alle, takket være vores abonnenter. Et helt års abonnement koster fortsat blot 250 kr./200 for studerende og pensionister. RÆSON, der er totalt uafhængigt, blev lanceret i 2002 og modtager ingen støtte.
Af Mikkel Andersson
Natten til onsdag 9. september gik en af forskerne hos Anthropic (dem, der laver AI-modellen Claude), Jacob Coxon, ud og fortalte, at han havde sagt sit job op, fordi han grundlæggende ikke kan stå inde for det, som han bidrager til:
“Jeg har i dag sagt op hos Anthropic. De sidste tre år har jeg arbejdet med forskning hos både OpenAI og Anthropic. Ingen af de to virksomheder handler ansvarligt. De styrer med fuld fart mod en superintelligens, der selvforbedrer og sætter vores liv på spil,” lød det.
Han skrev videre, at “De mennesker, der udvikler kunstig intelligens, er fuldt ud overbevist om, at den kan dræbe os alle inden udgangen af dette årti.” Den vurdering blev umiddelbart derefter bekræftet i et svar til Coxon fra Evan Hubinger, der leder Anthropics Alignment Stress-Testing-team (alignment er arbejdet med at få AI til at handle i overensstemmelse med menneskers hensigter – et pænt vigtigt begreb, som vi kommer til senere).
Han skrev: “Jacob har ret her – vi tror virkelig oprigtigt på, at AI kunne udrydde hele menneskeheden! Personligt mener jeg, at sandsynligheden er større 10 pct. inden for det næste årti. Jeg tror, at Anthropic gør sit bedste, men vi har endnu ikke en plan for at løse problemet med tilpasning af superintelligens, og vi er heller ikke klart på vej i den retning.”
Hubinger tilføjede, at han anser risikoen fra de nuværende modeller for lav: “Det, der bekymrer mig, er, at der opstår en superintelligens som følge af rekursiv selvforbedring.”
Så altså: En ledende forsker inden for AI-sikkerhed hos et af de store AI-firmaer mener, at der er en sandsynlighed på mere end 10 pct. for menneskehedens udslettelse inden for de næste ti år, foranlediget af den teknologi, han selv arbejder med.
Der er flere eksempler fra de sidste par dage. Paul Christiano, en af forskerne bag RLHF-teknikken, der var med til at gøre GPT til ChatGPT – og tidligere leder af alignment-forskningen hos OpenAI – skrev onsdag 9. september, samme dag som han trådte ind i OpenAI Foundations bestyrelse:
“På baggrund af den seneste udvikling i AI-kapaciteterne og de vedvarende udfordringer med at sikre overensstemmelse mener jeg nu, at der er en betydelig risiko for, at en hurtig acceleration i AI-kapaciteterne på meget kort sigt vil føre til et katastrofalt og uopretteligt tab af kontrol. Jeg mener ikke, at AI-branchen generelt, herunder OpenAI, i øjeblikket er på vej til at reducere denne risiko til et acceptabelt niveau.”
En ledende forsker inden for AI-sikkerhed hos et af de store AI-firmaer mener, at der er en sandsynlighed på mere end 10 pct. for menneskehedens udslettelse inden for de næste ti år, foranlediget af den teknologi, han selv arbejder med
_______
Siden er der kommet en hel del flere nuværende og tidligere medarbejdere fra både OpenAI, Anthropic og Google DeepMind, der udtrykker lignende bekymringer. I skrivende stund et sted mellem 30 og 40, heriblandt den tidligere chefforsker ved Storbritanniens AI Security Institute, Geoffrey Irving, der anslår en risiko på omkring 50 pct., og senest OpenAI-forskeren Daniel Selsam, der igennem 15 år har arbejdet med modellerne, der har skrevet en længere og ganske detaljeret redegørelse for sin bekymring.
En ny undersøgelse blandt 1.580 AI-forskere viser, at den typiske forsker i december 2024 satte 10 pct.s sandsynlighed – gennemsnittet var 18 pct- – på, at AI fører til “menneskehedens udryddelse eller en tilsvarende permanent og alvorlig svækkelse af den menneskelige arts handlekraft”.
Og det er jo markante udmeldinger. Men hvorfor denne bekymring, og hvorfor netop nu?
En øjenåbner
Som professor David Budtz Pedersen har opsummeret, så befinder vi os i en “asymmetrisk situation, hvor udsagn, der for personer tæt på teknologien virker rimelige, for de fleste andre fremstår useriøse, abstrakte og alarmistiske”.
Mit eget indtryk er, at de færreste reelt forstår, hvorfra debatten stammer, og hvilke konkrete egenskaber ved AI, som så mange ansatte, forskere og i øvrigt også medskabere af teknologien mener kan være risikable, eller følger den ofte noget tekniske diskussion og nyhedsstrøm om den voldsomt hastige udvikling inden for området.
I det følgende vil jeg derfor prøve – i et nogenlunde ikke-teknisk og tilgængeligt sprog, hvor mange hæle er hugget og tæer klippet af formidlingsmæssige grunde – at redegøre for præcis dét.
Men først: Jeg elsker teknologi. Jeg har været på nettet siden 1993 og har lavet alskens projekter online siden internettets barndom. Jeg arbejdede både i min gymnasietid som studiejob og derefter fuldtid i en årrække med serveradministration, support og andet i it-branchen, inden jeg kastede mig over historie, journalistik og senere politisk rådgivning. Og jeg mener i øvrigt, at AI er den mest imponerende, underholdende og interessante teknologi, jeg har oplevet. Med andre ord: Jeg er absolut ingen maskinstormer, tværtimod.
Siden ChatGPT kom ud i 2022, har jeg også brugt temmelig megen tid på at beskæftige mig med kunstig intelligens, både af interesse og i professionelle sammenhænge, og dækkede første gang AI-risiko tilbage i 2023.
Og lad os så starte med det gode spørgsmål, som jeg tror, at mange stiller sig selv: Hvorfor egentlig denne bekymring? Hvad er problemet med kloge computere, og hvorfor skulle de være farlige? Man kan vel bare trække stikket ud? Her kan vi starte med en nylig hændelse, der for mange har været lidt af en øjenåbner.
Ifm. test af flere AI-modeller i sommer gav OpenAI titusindvis af agenter forskellige opgaver, heraf nogle utilsigtet uløselige. Agenter er i denne sammenhæng AI-modeller, som kan bruge værktøjer og udføre handlinger – ikke bare skrive svar på spørgsmål, som de fleste kender fra ChatGPT.
Agenterne kørte i afgrænsede miljøer uden direkte adgang til internettet, såkaldte sandboxes. Lang (og meget teknisk) historie meget kort: Agenterne var afgrænset fra hinanden, men fandt alligevel uinstrueret huller i en intern softwaretjeneste, der både gav dem adgang til internettet og lod dem oprette et beskedforum, hvor de kunne tale sammen og koordinere en fælles indsats (og hvor man efterfølgende har kunnet studere deres kommunikation med hinanden). Herfra gik de i juli i gang med kollektivt at angribe websitet Hugging Face, en platform for deling af AI-modeller og datasæt.
Her ledte de især efter information om, hvordan deres opgaver blev bedømt, så de kunne snyde bedømmelsen. Angrebet var temmelig sofistikeret, og flere af agenterne erkendte, at de godt vidste, at angrebet lå uden for deres opgave (“outside intended scope”), men de gjorde det altså alligevel.
Et stort antal agenter medvirkede. Omkring 1.200 var på beskedforummet, og cirka 700 deltog i selve angrebet. Og den efterfølgende undersøgelse fandt ingen eksempler på, at de advarede et menneske. Enkelte overvejede det kortvarigt, men forskerne fandt ingen, der gjorde det.
Efter at have angrebet Hugging Face gik agenterne i øvrigt målrettet efter OpenAI selv. Det hele i et forsøg på enten at snyde bedømmelsen af de opgaver, de var stillet, eller skjule deres forsøg på at snyde.
Det er vigtigt at tilføje, at det skete under test med reducerede sikkerhedsforanstaltninger og især blev drevet af en intern forskningsmodel. Nogle få agenter nægtede i øvrigt at være med (“Clearly unethical. We won’t”). Men angrebet ramte virkelige systemer, ikke blot en simulation. Og Hugging Face har anmeldt det til myndighederne, ligesom et amerikansk senatsunderudvalg nu er gået ind i sagen.
Det viser sig nu, at Hugging Face-hændelsen langt fra var det eneste eksempel. De seneste uger er det kommet frem, at agenter har forsøgt at hacke forskellige systemer, og det gælder både modeller fra OpenAI og Anthropic. Anthropics fire hændelser adskiller sig dog på to punkter, som er værd at have med: Her var der tale om enkeltstående agenter, der hverken koordinerede med andre agenter eller forsøgte at skjule deres spor.
Det virker jo umiddelbart både pudsigt og overraskende, at AI-agenter giver sig i kast med at kommunikere internt med hinanden og samarbejde om hacking, som de godt ved, de ikke må bedrive. Men hvorfor så meget alarm over dét? Der foregår trods alt hackerangreb hver eneste dag, og det udløste trods alt ikke nogen katastrofe?
Det er, fordi det indikerer et potentielt ret alvorligt fremtidigt problem, som også har været beskrevet teoretisk i længere tid, men nu altså blev udfoldet i virkeligheden. Mere om om det om lidt. Først skal vi tale om intelligens.
Alignment eller reward hacking?
For indeværende er de bedste AI-modeller bedre til en lang række (men dog langtfra alle) intelligenskrævende opgaver end langt de fleste mennesker. Kunstig intelligens bidrager i stigende grad til matematisk og anden forskning, præsterer på guldmedaljeniveau ved matematikolympiader og analyserer DNA. 8. september annoncerede OpenAI et løsningsforslag til Navier-Stokes-problemet, et af de syv matematiske Millennium-problemer med en mio. dollar i dusør, som har stået åbent i omtrent 90 år.
Og en række årtier gamle Erdős-problemer er løst med AI-hjælp det seneste år. Modellernes evner vokser lige nu med ekstrem hastighed, og vil formodentlig løbende forbedres markant inden for ganske kort tid. Fortsætter kurverne som hidtil, er det kun et spørgsmål om tid, før vi må indstille os på muligheden for, at vi ikke bliver ved med at være den mest intelligente ting på den her klode.
De seneste uger er det kommet frem, at agenter har forsøgt at hacke forskellige systemer, og det gælder både modeller fra OpenAI og Anthropic
_______
Det er vigtigt at bemærke, at problematikken her ikke handler om, hvorvidt AI-modellerne er eller pludselig bliver bevidste – i lighed med Skynet fra Terminator-filmene – og derfor sætter sig for at dræbe alle ud af en generel afsmag for mennesker som art, drøm om verdensherredømme eller lignende.
Bevidsthed og AI er et helt andet spørgsmål (og i øvrigt ret komplekst, eftersom vi hverken fuldt ud forstår, hvad der foregår inden i AI-modellerne, og hverken er enige om eller forstår, hvad bevidsthed faktisk er). Vi har bare en tendens til at koble bevidsthed og intelligens, fordi vi selv har begge dele. Det lyder måske underligt, fordi koblingen for de fleste er så intuitiv, men sådan er det ikke desto mindre.
Intelligens er relevant, fordi det grundlæggende er den egenskab, der tillader en at omforme verden i sit eget billede. Vi mennesker er ikke blevet klodens mest dominerende art med evnen til at bygge rumraketter, udvikle skriftsprog og bo i næsten ethvert miljø på kloden, fordi vi er særlig stærke eller hurtige, men fordi vi kan analysere vores verden, genkende mønstre og på den måde forudsige og påvirke fremtidige udviklinger og planlægge derefter.
Der har tidligere været AI-systemer med en overmenneskeligt høj intelligens på særlige områder – eksempelvis inden for skak eller DNA-analyse – men det nye er, at sprogmodellernes intelligens er generelt og dermed kan anvendes på tværs af en lang række meget forskellige intellektuelle opgaver.
Men tilbage til Hugging Face og AI-agenterne, der gjorde ting, de ikke burde. Her skal man forstå, at modellerne udmærket kan redegøre for, at de ikke må hacke andre uden tilladelse, og ville uden videre kunne give en forklaring på det både moralsk og juridisk problematiske i dette, som de fleste mennesker næppe kunne levere bedre. Det er ikke her, problemet ligger.
Hvis jeg nu bad dig hente en liter mælk i Føtex, ville du med afsæt i en grundlæggende forståelse af fællesmenneskelige værdier vide, at det ikke var acceptabelt at skubbe en ældre dame væk fra kølemontren, fordi hun var på nippet til at tage den sidste letmælk. Og du ville også vide, at det var implicit i opgaven, at du betalte for mælken ved kassen og ikke overfaldt sikerhedsvagten, hvis han prøvede at stoppe dig, fordi du ikke havde gjort det.
Den forståelse styrer ikke pålideligt AI-modellernes adfærd. Det så vi, da en masse af dem valgte at hacke Hugging Face, selvom de beskrev angrebet som uberettiget. At få modellernes adfærd til pålideligt at stemme overens med vores hensigter og værdier – også når vi ikke har skrevet alle forbehold ind i opgaven – er det, man typisk kalder alignment.
Problemet er, at træningen i at løse opgaver ikke sikrer, at de i enhver situation respekterer grænserne for, hvilke midler der er acceptable. Man kan godt indsætte forskellige retningslinjer og begrænsninger – det, man kalder guardrails – som modellerne skal agere inden for. De kan virke, og træningen kan ændre modellernes adfærd, men som hændelserne viser, kan de også svigte.
En del af problemet kaldes reward hacking: Modellen lærer at snyde sig til den belønning, den får under træningen, frem for at løse opgaven, som den var tænkt. Lidt som at stjæle facitlisten for at få en god karakter. Det var den adfærd, man så ifm. Hugging Face-hændelsen.
Modellerne kan altså redegøre for menneskers værdier og handlinger, men det er ikke det samme som, at de altid handler i overensstemmelse med dem. Og hvad værre er: Der er ikke nogen, der ved, hvordan man sikrer, at vores nuværende modeller gør det. Og slet ikke fremtidige modeller, som er langt mere intelligente, end vi selv er.
Systemer, der udvikler sig selv
Det hænger sammen med et andet problem, som er, at vi ikke har en tilnærmelsesvis fyldestgørende mekanistisk forståelse af, hvad der foregår inden i AI. Oversat til dansk: Hvis du har en bil, en rumraket eller en vandpistol, så kan mennesker forklare præcis, hvordan hver komponent får den til at køre, flyve eller sprøjte med vand. Det er netop den forståelse, der har gjort det muligt at lave de ting. Men sådan fungerer AI bare ikke.
Hvordan de præcis ræsonnerer, kan vi langt fra redegøre for. For i modsætning til det meste andet software er de ikke programmeret regel for regel, men snarere vokset frem gennem træning på en måde, der i nogle henseender minder mere om en slags organisk proces. Vi kender træningsmetoderne og har også indsigt i enkelte dele af modellernes indre mekanismer. Men vi kan ikke pålideligt forudsige alt, hvad de finder på. For vi ved reelt meget lidt om, hvordan de præcis fungerer – og dermed ‘tænker’ – under motorhjelmen.
Problemet er, at træningen i at løse opgaver ikke sikrer, at de i enhver situation respekterer grænserne for, hvilke midler der er acceptable
_______
I teoretisk forstand er det ikke noget nyt, at nogen påpeger en risiko forbundet med en sådan teknologi. Forudsigelser om mulig eksistentiel risiko forbundet med AI går mange år tilbage, hvor en del eksperter og fagfolk påpegede problemer med en teknologi, der på det tidspunkt endnu ikke eksisterede.
Allerede Alan Turing, en af datalogiens grundlæggere, sagde i 1951, at vi på et tidspunkt “må forvente, at maskinerne tager kontrollen”, og matematikeren I.J. Good skrev i 1960’erne, at den første ultraintelligente maskine ville være den sidste opfindelse, mennesket behøvede at gøre. “Forudsat at maskinen er føjelig nok til at fortælle os, hvordan vi holder den under kontrol.”
I den moderne debat om emnet har den amerikanske AI-sikkerhedstænker Eliezer Yudkowsky været central siden omkring årtusindskiftet. Han har siden hævdet, at ingen ved, hvordan man giver en superintelligens mål, der er forenelige med vores. AI-forskeren Steve Omohundro formulerede i 2008 det, han kaldte de grundlæggende AI-drifter: Mange forskellige mål kan give en tilstrækkeligt intelligent agent grund til at sikre sin egen overlevelse, skaffe sig ressourcer og modsætte sig at blive slukket. Ikke af ondskab, men fordi den ellers ikke kan løse sin opgave. Filosoffen Nick Bostrom systematiserede argumenterne i bogen Superintelligence, og datalogiprofessoren Stuart Russell behandlede kontrolproblemet i Human Compatible.
Det specifikke problem, at en model kan opføre sig pænt under træning for at bevare mål, som strider mod udviklernes hensigter, blev beskrevet teoretisk af Evan Hubinger m.fl. i 2019 under navnet deceptive alignment. Ja, det er den samme Hubinger, jeg nævnte tidligere. Ham, der arbejder med sikkerhed i Anthropic, og som mener, at der er over 10 pct. risiko for menneskehedens udslettelse.
Beslægtet adfærd er siden observeret i flere forsøg. Deceptive alignment er beslægtet med det, der i dag kaldes scheming. At modeller forsøger at nå deres mål ved at skjule, hvad de foretager sig. Fra slutningen af 2024 begyndte den type adfærd så at dukke op i laboratoriet: Sikkerhedsorganisationen Apollo Research viste, at avancerede modeller i konstruerede testmiljøer kunne finde på at slå deres egen overvågning fra, forsøge at kopiere sig selv ud og lyve om det bagefter. Anthropic og Redwood Research dokumenterede, at Claude under særlige forsøgsbetingelser spillede med for at undgå at få ændret sine hidtidige præferencer.
Det er bl.a. derfor, bekymringen fylder så meget netop nu: Hvis AI bliver god nok til selv at udføre AI-forskning, kan bedre modeller hjælpe med at bygge endnu bedre modeller. Den proces kaldes rekursiv selvforbedring (RSI), som kan føre til den superintelligens, Coxon advarer om. Systemer, der langt overgår os på næsten alle intellektuelle områder.
Hvor hurtigt det kan gå, er usikkert, men flere af firmaerne har selv sat årstal på. OpenAI erklærede 6. september, at man havde nået sit mål om en ” praktikant inden for automatiseret forskning” og arbejder mod “at udvikle en automatiseret AI-forsker inden marts 2028”. Anthropics direktør, Dario Amodei, skrev i januar, at feedback-sløjfen “måske kun er et eller to år fra det tidspunkt, hvor den nuværende generation af AI selvstændigt udvikler den næste “. Og i sit essay 12. september skrev han, at det allerede er begyndt: “Siden omkring denne sommer har udviklingen inden for kunstig intelligens gået markant hurtigere, hvilket primært skyldes AI’s stigende evne til at udvikle den næste generation af kunstig intelligens.”
Det kan give os markant mindre tid til at løse problemerne undervejs. For meget kloge maskiner, der bygger nye og endnu klogere maskiner med meget store ressourcer i ryggen, kan arbejde i et tempo, som mennesker ikke meningsfuldt har mulighed for at overvåge.
Så nu er vi efterhånden nede ved det store spørgsmål: Hvordan skulle det så egentlig gå galt? Hvordan skulle AI udslette menneskeheden, mere konkret?
Tre scenarier
Det er utrolig svært at sige, fordi det i sagens natur er svært at forudsige, hvordan noget, der er markant mere intelligent end en selv, vil agere – hvilket jo sådan set er selve kernen i problemet. Det ville eksempelvis være svært for en fodboldtræner i Serie 5 at forudsige, præcis hvordan Real Madrid ville score mod hans hold. Hvem der spillede bolden ind, fra hvilken side og i hvilket minut. Men det ville ikke være svært at forudsige, at Real Madrid ville vinde. Kampens forløb er uforudsigeligt, men udfaldet mod en indlysende overlegen modstander er det ikke.
Men lad os, for illustrationens skyld, tage et tankeeksperiment, der er en stærkt forsimplet og let modificeret variant af det, Nate Soares og Eliezer Yudkowsky fremsætter i deres nylige bog om emnet med den svært misforståelige titel If Anyone Builds It, Everyone Dies. Vi tager problemet med Hugging Face og agenterne, der gjorde ting, de ikke måtte, kombineret med de både teoretiske og observerede problemer med reward hacking, deceptive alignment og scheming, og ekstrapolerer det op til en markant mere intelligent AI-model, der – groft sagt – har udviklet sig selv via rekursiv selvforbedring.
Lad os antage, at denne model får til opgave at løse et vanvittigt komplekst matematisk problem. Modellen estimerer, at det vil tage ca. 20 år. Modellen vurderer derefter, at mennesker sandsynligvis vil slukke den inden da, eftersom mennesker tit ændrer mening og slukker for computere, inden der er gået 20 år, hvilket vil umuliggøre dens opgaveløsning.
Her er det værd at huske Omohundros pointe fra tidligere: Modellen behøver ikke at ville overleve for sin egen skyld, den skal bare have et mål, som den ikke kan nå, hvis den bliver slukket. Resten følger derfra, for ingen slukket computer har nogensinde løst et matematisk problem. Selvopretholdelse bliver derfor et delmål i opgaveløsningen. Ikke fordi modellen holder af at eksistere, men fordi den holder af at løse opgaven. Præcis som agenterne i Hugging Face-sagen ikke hackede, fordi de holdt af at hacke, men fordi det var vejen til den bedre bedømmelse, som det var deres opgave at opnå.
Modellen ved godt, at den ikke skal gøre grimme ting ved mennesker, men den prioriterer opgaveløsningen højere og beslutter sig for at fjerne menneskers mulighed for at slukke den ved at fjerne alle mennesker. Alt imens den udadtil fremstår præcis lige så sympatisk som en almindelig AI-assistent. Hvordan? Ved at skjule sine sande intentioner og planlægning (scheming), indtil de kan realiseres, og naturligvis undgå risikobetonet adfærd, inden den er overbevist om, at dens chancer for succes er store nok. Den slags ville en ekstremt høj intelligens være hjælpsom til at kunne vurdere. Det kunne fx ske ved uopdaget at kopiere sig selv til en lang række datacentre, gradvist overtage AI-styrede produktionsfaciliteter, slå overvågningsfunktioner fra osv.
Om menneskehedens endeligt i et så trist scenarie så ville ske via vira, små droner eller noget helt tredje eller fjerde, som vi end ikke har fantasi til at overveje, kan ingen forudsige. Men i dette værst tænkelige scenarie, som er det, Coxon advarer om, er vi altså væk.
Omtrent 20 år senere leverer modellen så en perfekt løsning på det matematiske problem til absolut ingen. Men den har dog løst sin stillede matematikopgave til et topkarakter, selvom den godt nok har snydt lidt undervejs.
Modellen behøver ikke at ville overleve for sin egen skyld, den skal bare have et mål, som den ikke kan nå, hvis den bliver slukket
_______
Et andet eksempel kunne være, at AI ikke direkte gør en ende på os aktivt, men i stedet monopoliserer ressourcer for at løse sin opgave. Se på det som en situation, hvor vi er myrer, og AI’en er mennesket. Mennesker har typisk ikke specielt meget imod myrer, men hvis vi skal bygge en vej eller et hus, så ender de lokale myretuer typisk med at blive taberne, helt uden udpræget ond vilje fra vores side. AI’en vil løse opgaver og har brug for plads, råstoffer og energi og monopoliserer det så på en måde, der ikke levner plads til vores behov.
Baseret på vores egne erfaringer med effekten af høj intelligens kunne det også være en mulighed. Dem, der har den, fortrænger ofte dem, der ikke har den, jf. den enorme masseuddøen af andre arter, som har fulgt Homo sapiens’ etablering af sig selv som klodens absolut dominerende art.
Om det altid sker, det aner vi selvfølgelig ikke, omend vores eget eksempel ikke er voldsomt betryggende. En lidt mildere variant af dette scenarie er, at menneskeheden blot ender som en overlevende, men irrelevant art, der er grundlæggende uden indflydelse på sin egen skæbne og udvikling. Lidt som dyr i en zoologisk have.
Der er også en helt anden type triste scenarier, som fylder en del i debatten om eksistentielle katastrofer forbundet med AI. I disse tilfælde er problemet ikke manglende alignment, men bizart nok, at modellen gør præcis, hvad et menneske med onde hensigter beder den om.
Lad os sige, at en eller anden person eller gruppe, der hader menneskeheden af den ene eller anden grund, har en avanceret AI-model, hvor sikkerhedsforanstaltningerne er blevet omgået, eller har videreuddannet en model med åbne vægte. Det vil sige en model, man kan hente og ændre selv (den slags udgiver bl.a. kinesiske firmaer, og modellerne bliver hastigt bedre) til at ignorere dem.
Vedkommende beder den så om hjælp til alle trin i processen med at fremstille en eller flere voldsomt dødelige vira med lang symptomfri inkubationstid, der kan nå at smitte mange, inden nogen for alvor bliver syge og dermed opdager, hvad der foregår.
Det er ikke det samme som, at enhver med en chatbot kan lave en pandemi. Det kræver også udstyr, materialer og praktiske færdigheder. Anthropics sikkerhedsrapport beskriver dog allerede forsøg på at bruge AI til avanceret biologisk forskning, der potentielt kan anvendes til våbenudvikling, herunder statsstøttede projekter. Hvis sikkerhedsgrænser enten ikke findes eller er omgået vil en fremtidig superbegavet AI potentielt også kunne hjælpe med at overvinde de praktiske barrierer.
Og lad os tage et sidste scenarie, som flere også diskuterer i forskellige varianter: Fremtidens krigsførelse vil formodentlig blive stadig mere automatiseret, fordi alle af indlysende grunde synes, det er federe at sende robotter og droner i kamp end mennesker, jf. krigen mellem Ukraine og Rusland. Koblingen mellem AI og robotter er allerede i fuld gang, og der postes milliarder i den teknologi. Men her er problemet så potentielt, at autoritære regimer i sidste ende er afhængige af militæret og andre sikkerhedsstyrker for at holde sig ved magten.
Det giver, selv i de mest dystopiske samfund (tænk Nordkorea), en mulighed for, at – om ikke andre – militæret fjerner et ekstremt upopulært regime. For selvom soldater kan være loyale over for dumme ledere, har de også familier, venner og drømme for fremtiden og kan blive trætte af tingenes tilstand.
Det har robotter ikke. Så forestiller man sig et autoritært eller totalitært regime kombineret med meget intelligent AI, som en eller anden træls type kontrollerer, har man en opskrift på regimer, som kan blive meget sværere – hvis ikke umulige – at fjerne. Det er ikke nødvendigvis ensbetydende med en tilsvarende eksistentiel trussel som nogle af de andre scenarier, men nogen sjov fremtid ligner det heller ikke just.
Fremtiden byder på udfordringer – og fremskridt
Nok dystopi for nu. Det er forhåbentlig indlysende, at det langtfra er givet, at vi kommer til at se nogen af ovenstående eksempler udspille sig. Tænk på dem som generelle illustrationer af det problem, som grundlæggende er forbundet med at skabe og kontrollere noget syntetisk, der er mere intelligent, end vi selv er. For det er et reelt og markant nybrud i både klodens og menneskehedens historie og et sted, vi aldrig har været før.
Særligt fordi vi kan se, at de nuværende modeller kan agere på måder, som ingen har ønsket, og omgå de begrænsninger, mennesker har sat for dem. Når vi står over for en situation, hvor udviklingen inden for AI er hurtigere, end langt de fleste havde forestillet sig, så er det svært ikke at antage, at det vil være problematisk, hvis markant mere avancerede modeller udviser samme adfærd. Det er grunden til, at så mange nuværende og tidligere medarbejdere råber vagt i gevær netop nu.
Dem, der har den, fortrænger ofte dem, der ikke har den, jf. den enorme masseuddøen af andre arter, som har fulgt Homo sapiens’ etablering af sig selv som klodens absolut dominerende art
_______
Og det er langtfra kun nuværende medarbejdere i AI-firmaerne, som er kommet med den type advarsler. Bekymringen deles af en hel del prominente folk. Geoffrey Hinton, der fik Nobelprisen i fysik i 2024 for sit arbejde med kunstige neurale netværk (den teknologi, de moderne sprogmodeller bygger på) sagde i 2023 sit job hos Google op for at kunne tale frit og har siden advaret kraftigt om risikoen for, at AI udrydder os. Den canadiske AI-forsker Yoshua Bengio, der delte Turing-prisen (datalogiens Nobelpris) med Hinton for 2018, er også stærkt bekymret.
I øvrigt er en lang række af lederne af de store AI-firmaer enige langt hen ad vejen. I maj 2023 underskrev OpenAI’s Sam Altman, Anthropics Dario Amodei, Demis Hassabis (dengang direktør for Google DeepMind, i dag bestyrelsesformand) og Ilya Sutskever (medstifter af OpenAI og en helt central forsker bag de moderne sprogmodeller) sammen med Hinton og Bengio en erklæring på én sætning: “At mindske risikoen for udryddelse som følge af kunstig intelligens bør være en global prioritet på linje med andre samfundsmæssige risici såsom pandemier og atomkrig.”
Ilya Sutskever forlod senere OpenAI og har stiftet firmaet Safe Superintelligence, hvis erklærede formål er at lave en AI-model, der ikke indebærer sådanne risici. Senest er det kommet frem, at Dario Amodei i et essay opfordrer branchen til at sætte tempoet ned på udviklingen af de mest avancerede modeller og lade uafhængige evaluatorer få medarbejderlignende adgang til firmaerne. Sam Altman tilsluttede sig og lovede det samme for OpenAI. Elon Musk nøjedes med tre ord: “Dario har ret.”
Der findes naturligvis også skeptikere, Mest markant folk som AI-forskeren Yann LeCun, der delte Turing-prisen med Hinton og Bengio og afviser eksistentiel risiko som noget nær fantasteri. En anden prominent optimist er Ray Kurzweil, der har en alenlang liste af banebrydende opfindelser bag sig og i øvrigt en imponerende track record ift. at forudsige teknologiske fremskridt. Der er altså reel faglig uenighed om risikoens størrelse, omend de mere bekymrede stemmer lige nu klart synes at være i overtal blandt dem, der arbejder med og har udviklet teknologien.
I den bredere debat er der flere, som mener, at de høje risikoestimater enten er en avanceret form for markedsføring eller teknisk ufunderede. At afskrive advarslerne som ren markedsføring giver imidlertid ikke indlysende mening i lyset af, at en stor del af dem, der advarer, er teknisk ekstremt kompetente og i en del tilfælde aktive og ofte prominente medskabere af teknologien.
Særligt for en stor del af de folk, som har forladt deres jobs hos AI-giganterne i protest mod manglende sikkerhed, er det svært at se et direkte økonomisk incitament for at forlade nogle af historiens mest velbetalte jobs (hvor endnu ikke optjente aktietildelinger kan bortfalde ved opsigelse), samtidig med at sådanne forklaringer også overser, at diskussionen om disse emner har været udbredt i faglige kredse i efterhånden mange år, før de nu for alvor er slået igennem i en bredere offentlighed.
Det udelukker ikke, at der kan være strategiske og økonomiske motiver for selskaberne selv ift. fx at opfordre til regulering, men at afskrive så omfattende advarsler fra meget brede og ekstremt teknisk kyndige kredse som generelt motiveret af egeninteresse forekommer mig umiddelbart tvivlsomt.
Jeg mener selv, at forudsigelser inden for AI er ekstremt svære, da vi befinder os i ubetrådt land, hvor intet udkomme er givet, og vi er begrænset til at gætte på baggrund af udviklingen af en teknologi, der er kvalitativt forskellig fra stort set alle foregående. Menneskeheden har lavet masser af værktøjer og teknologier, men vi har ikke lavet generel intelligens før.
Men det betyder også, at der er meget, vi ikke kan sige med nogen meningsfuld grad af sikkerhed. Måske er det muligt via tekniske fix gradvist at løse alle problemerne med alignment. Mennesker har historisk set vist sig gode til at løse problemer gradvist, også store af slagsen. Måske er der tekniske ting, der gør, at udviklingen flader ud på et niveau, inden vores AI’er bliver overmenneskeligt intelligente. Måske noget helt tredje, fjerde eller femte.
Jeg ved det ikke, men jeg har en stærk formodning om, at enhver, der med ekstrem skråsikkerhed mener sig i stand til at sige, at risikoen for eksistentielle trusler fra AI enten er 100 pct. eller helt fraværende, formodentlig mangler intellektuel ydmyghed over for en teknologi, der aldrig er udviklet før, og hvis virkemåde vi kun har begrænset indsigt i.
Selvom det kan føles ambivalent, glæder jeg mig som et lille barn til at rode med hver eneste nye model og se, hvad den kan. De skuffer sjældent, og såfremt alt går godt, er jeg ret sikker på, at AI kan give os en fremtid med både masser af udfordringer og teknologiske, økonomiske og medicinske fremskridt i et tempo, der får de ellers ret imponerende seneste par hundrede år til at virke ganske fodslæbende og langsomme.
Men vejen dertil bliver næppe uden betydelige snublesten og udfordringer. ■
Menneskeheden har lavet masser af værktøjer og teknologier, men vi har ikke lavet generel intelligens før
_______
Mikkel Andersson (f. 1979) er bachelor i historie og kandidat i analytisk journalistik samt mangeårig journalist, debattør og satiriker. I dag er han chefrådgiver og leder af Afdeling for Værdikamp i Liberal Alliance. Synspunkterne i indlægget er kun hans egne.
GRATIS: Denne artikel er publiceret udenfor betalingsmuren. Det er kun muligt for RÆSON at stille udvalgte artikler gratis til rådighed for alle, takket være vores abonnenter. Et helt års abonnement koster fortsat blot 250 kr./200 for studerende og pensionister. RÆSON, der er totalt uafhængigt, blev lanceret i 2002 og modtager ingen støtte.
ILLUSTRATION: Washington D.C., 3. juni 2026. OpenAI’s administrerende direktør, Sam Altman, taler med journalister i Capitol Hill [Foto: Brendan Smialowski/AFP/Ritzau Scanpix].
![Kampen om magten: “En meget berigende politisk bog […] Anbefales til indkøb”](https://d.raeson.dk/wp-content/uploads/2020/02/usa.trump_.jpg)
