Tre svar på frågan om matematiker är mer benägna än andra att ta AI-risk på allvar

I Svenska Dagbladet igår löd rubriken Experterna: Så stor är risken för AI-domedag. Deras reporter Henning Eklund hade fått svar från ett 50-tal forskare inom relevanta områden på sin fråga om deras så kallade P(doom), vilken han valt att definiera som "procentsiffran för hur sannolikt det är att avancerad AI före 2050 orsakar mänsklighetens utrotning – eller en jämförbart permanent och allvarlig förlust av mänsklig kontroll över framtiden". Artikeln är intressant, och svaren spretar åt alla håll.

Flera av de AI-riskförnekare som citeras i artikeln ger remarkabelt dåliga motiveringar till sina svar, men priset går nog till Panagiotis Papapetrou vid Stockholms universitet, som "sätter katastrofrisken till noll, eftersom det inte tydligt har visats att AI-system avsiktligt kan kringgå säkerhetsåtgärder, dölja sina avsikter eller agera på sätt som människor inte kan kontrollera". Papapetrou begår här, om hans resonemang är korrekt återgivet av Eklund, ett märkligt dubbelfel. För det första är det rent ut sagt bisarrt att efter allt som kommit fram kring Hugging Face-incidenten hävda att det "inte tydligt har visats" att AI-system har de förmågor som Papapetrou räknar upp, och man kan i sitt stilla sinne undra hur hårt han haft sitt huvud nedkört i sanden de sista fyra månaderna. Läser han inte nyheter alls? För det andra vilar hans slutsats om att katastrofrisken därmed skulle var noll på ett mäkta underligt bruk av sannolikheter. Om Bajen skall möta Blåvitt nästa måndag i fotbollsallsvenskan, och det "inte tydligt har visats" att Blåvitt har kraft att ta sig samman och besegra ett lag som Bajen så här sent på säsongen, så kan man såklart inte härav dra slutsatsen att sannolikheten att Blåvitt vinner matchen är noll, men det är den logiken Papapetrou av allt att döma begagnar.

Rörande oss som besvarat Eklunds enkät och som ger högre värden på P(doom) gör han en intressant observation, nämligen att de tre högsta värdena samtliga kommer från matematiker på Chalmers. Detta fick honom att höra av sig till oss tre det handlar om - Torbjörn Lundh, Johan Wästlund och mig - med en fråga om vad vi tror detta kommer sig. Är det ett lite slumpartat lokalt Chalmersfenomen, eller finns det något mer generellt hos matematiker som får oss att göra andra bedömningar om AI-risk? Han fick den 3-4 november svar från oss alla tre, men fick i sin artikel inte plats med mer än ganska telegrafiska återgivningar av några av våra poänger. Svaren pekar i lite olika riktningar, men är alla enligt min mening belysande, så med Torbjörns och Johans tillåtelse publicerar jag här de tre svarsbreven - först mitt eget, följt av Johans och till sist Torbjörns.

*

Hej Henning

Bra fråga! Det vore mig fjärran att föreslå att matematiker är allmänt klarsyntare än andra, även om det kan se så ut just i detta enskilda fall.

Men om en stor andel av de tillfrågade i din enkät kommer från datavetenskapsinstitutioner har jag ett förslag till sociologisk förklaring till varför de gör sämre bedömningar i dessa frågor - så att på så vis vi matematiker i jämförelse med dem hamnar i bättre dager.

Jag har länge (men för all del blott anekdotiskt) noterat en irrationell tendens hos många forskare att vägra diskutera konsekvenserna av en teknik mer avancerad än den som finns redan idag, och att denna tendens verkar vara extra stark hos datavetare. Det kan ha att göra med AI-forskningens historia. Från dess begynnelse på 1950-talet fram till i dag har denna forskning delvis gått i vågor. Två svackor, som varade 1974–1980 och 1987–1993, blev så djupa att de numera benämns första och andra AI-vintern. I efterhand ansågs nedgångsperioderna bero på att man tidigare talat alltför vidlyftigt om framtida framgångar, vilket skapade förväntningar som inte gick att leva upp till, och resurserna ströps. Därmed uppstod ett slags tabu mot att ta ut forskningsframsteg i förskott genom att spekulera om framtida AI. Än i dag sitter minnet av AI-vintrarna kvar i väggarna i många akademiska forskningsmiljöer (trots att de forskare som faktiskt genomled AI-vintrarna mestadels är pensionerade eller rentav döda), och eftersom det på den tiden främst var vid datavetenskapliga institutioner som AI-forskning bedrevs är det naturligt att det är just vid dessa institutioner tabut lever kvar som starkast, ett tabu som gör det svårt för många datavetare att tänka rationellt kring AI-risk. För den som ålägger sig en restriktion mot att tala om mer avancerad AI än dagens uppstår lätt ett implicit antagande om att utvecklingen inom kort kommer att avstanna, och givet ett sådant antagande är det såklart lätt att avfärda existentiell AI-risk.

Jag kan naturligtvis inte vara bombsäker på riktigheten i min sociologiska förklaringmodell, men jag tror tillräckligt mycket på den för att känna mig bekväm med att du citerar mig om saken i SvD.

Mvh,

Olle

*

Hej Henning! (och Olle och Torbjörn)

Jag känner Olle och Tobbe sedan många år och det går inte att utesluta viss påverkan från kollegorna (även om vi sällan ses i fikarummet). Men för oss tre tror jag absolut att våra höga riskbedömningar har att göra med ett matematiskt tankesätt.

För egen del fascinerades jag redan i tonåren av principen att vilken beräkning som helst kan beskrivas i ett enkelt programmeringsspråk som Pascal. Jag satt i gymnasieskolans datasal under några eftermiddagar och skrev ett program som spelade luffarschack. Programmet gjorde inga sökningar framåt i spelet utan poängsatte varje tom ruta enligt ett system utifrån hur bra ett drag skulle bidra till en egen vinnande femma respektive blockera motståndaren. Sedan satte det sitt kryss eller sin ring i rutan med högst poäng. Vid lika poäng valde det slumpmässigt, vilket gav viss variation.

Trots sin enkelhet kunde programmet överraska mig och mina klasskompisar när vi testade att spela. Det här var på 1980-talet, och det program jag hade rafsat ihop utan någon annan vägledning än skolboken i Pascalprogrammering var det närmaste artificiell intelligens någon av oss hade sett. Det var därför nästan omöjligt för oss att inte underskatta programmets förmåga. Vi förstod att en dator kunde göra matematiska beräkningar eller söka igenom en text och svara på hur många gånger en viss bokstav förekommer, men att en maskin skulle kunna överlista en människa i ett spel som luffarschack var nytt för oss.

Utifrån våra dåvarande erfarenheter tycktes även detta enkla spel kräva planering, målmedvetenhet och förståelse för motståndarens avsikter. Hur kunde sådant rymmas inom de få raderna Pascalkod som utgjorde mitt program? Hur kunde datorn ha en vilja att vinna? Hur kunde den förstå att en dubbel fri trea vinner om motståndaren inte kan skapa en fyra? Och hur kunde den veta vad jag hade tänkt göra?

Jag som hade skrivit programmet insåg förstås att illusionen av medvetande, vilja, förståelse, planering och psykologi bara var en konsekvens av mitt poängsystem, men det var ändå slående. Tanken att min egen hjärna kanske på liknande sätt var en produkt av en enkel beräkning som upprepades miljarder gånger gick inte att komma ifrån.

Parallellt med detta läste jag Richard Dawkins böcker om evolutionen, William Poundstones The Recursive Universe, och så småningom Gödel, Escher Bach av Douglas Hofstadter. En bild växte fram av livets kemi som beräkningar, och omvänt matematiken som förmögen att skapa obegränsat komplexa system. Min hobbyprogrammering ledde till experiment med cellulära automater, ett slags leksaksvärldar med egna naturlagar, där det ibland spontant uppstod självreproducernde strukturer som snabbt spred sig över hela min datorskärm och dominerade allt annat.

Åren gick och så småningom vande vi oss vid att datorer var bra på schack och mycket annat, men vi underskattar fortfarande intuitivt möjligheter som vi ännu inte har sett. Ingen har sett en robot bygga en ny likadan robot efter att självständigt ha skaffat sig det material som behövs. Men vi vet sedan länge att det är möjligt. Det har bevisats av bland andra matematikerna John von Neumann och John Conway med hjälp av just cellulära automater. Kopplingen till Turingfullständighet, matematisk logik, och livets byggstenar med DNA och proteiner är fascinerande.

Relativt autonoma robotar med förmåga att lära sig att lösa fysiska uppgifter finns redan, och det är svårt att se någon begränsning för vad de kan åstadkomma. Många risker med AI kan identifieras: Massarbetslöshet, terrorhot, kollaps av internet osv. Till detta kan läggas risken att vi skapar en helt ny livsform: ett ekosystem av robotar som underhåller sig självt inklusive bygger nya robotar.

Det kanske inte låter så farligt. Ingen har sett en självkörande buss eller robotgräsklippare som inte människor med ganska enkla medel kan få stopp på. Men idén att vi alltid kan kontrollera robotar eftersom vi är smartare är lite som när min klasskompis trodde att han med en enkel fint kunde lura mitt luffarschackprogram. Det fungerar inte så. Programmet kan bestå av enkla instruktioner som upprepas, och ändå leda till ett beteende som ger sken av medvetande, egen vilja och förutseende.

För att återknyta till frågan om matematikers syn på AI-risk tror jag också att vi har en vana att acceptera logiken i att det som inte är omöjligt är möjligt. Om vi ska vara säkra på att våra nya industrirobotar inte kommer att utplåna jordens ekosystem, behöver vi kunna ange en begränsning i deras förmåga. Vi behöver beskriva någon typ av spelplan de inte kan lämna, på samma sätt som mitt luffarschackprogram inte kunde göra något annat än att spela luffarschack. Kan de bara röra sig längs en räls inom fabrikens väggar? Kan vi överblicka exakt vad de kan bygga? Saknar de information om omvärlden? Då kanske de är säkra. Men om vi bara tycker att en katastrof känns osannolik, då har vi ingen aning. Det räcker att en robot kan bygga en ny, så får vi en kedjereaktion som vi inte kan överblicka.

Hälsningar,

Johan

*

Hej Henning,

Jag har en lite liknande historia som Johan, även om jag inte kan berätta den lika levande, eller att den startade så tidigt som hans.

För mig började den när jag var postdoc i NY och vi fick en gästföreläsare från Caltech som berättade om sitt agentsystem som han döpt till Avida. Det var ett så kallat Artifical Life-system bestående av agenter som konkurrerade, fick avkommor med i vissa fall mutationer. Dvs de tre nödvändiga beståndsdelarna i evolution. Jag hade sedan något år blivit alltmer intresserad av matematisk biologi, men eftersom “Nothing in biology makes sense except in the light of evolution” enligt Dobzhansky, ville jag förstå mer av hur evolutionen fungerar. Problemet är bara det att det är så svårt att göra experiment med evolution eftersom det tar en så fruktansvärt lång tid. Så när jag fick se dessa Artificial Life-system blev jag begeistrad. Jag började till exempel fundera på hur evolutionärt skriven kod (dessa program, eller dna) har en speciell stil.

Sedan fick jag en exjobbare som var väldigt duktig, Philp Gerlee, där vi studerade dessa system och också hittade på ett eget, Urdar.

Under denna tid fick jag en enorm respekt för hur bra evolutionen är att hitta lösningar, ofta helt oförutsedda lösningar, vilket också gör dessa agenter okontrollerbara om de får utveckla sig själva. Låter detta bekant? Och nu när vi står på randen till att låta något, eller några, företag i Kalifornien skapa iterativt självförbättrande AI-agenter.

Jag har också, liksom Olle, förundrats över hur svårt det kan vara att se detta, eller ens prata om dessa faror. Det är nästan som om det varit förbjudet att nämna det och det har gått lätt att skratta bort farhågor som science fiction. Nu efter Huggingface-incidenten är det lite svårare att skratta bort, även om det finns förnekare.

Att ge uppskattningar i en procentsiffra om p(doom) är väldigt svårt. Dels för att vi inte förstår hur dessa svarta lådor fungerar idag, dels för att vi ännu mindre kommer att förstå hur de fungerar om vi släpper självförbättring lös på odlandet av dessa lådor. Sedan är det en ytterligare svårighet i och med att insatserna är så astronomiskt höga att vi inte ens orkar eller vill ta till oss dessa risker. Och till sist, det går så otroligt snabbt, vilket gör att det som idag kan verka helt ofarligt, kan sluta vara så imorgon. Och då menar jag inte bildligt imorgon, utan torsdag 5 november. Dessa svårigheter kan till viss del belysas av dessa citat:

"The greatest shortcoming of the human race is our inability to understand the exponential function.” Al Barlett

"It is difficult to get a man to understand something, when his salary depends on his not understanding it." Upton Sinclair, 1934

Jag vill inte att vi ger upp och säger att AI inte längre kan stoppas. Det är fortfarande vi människor som har kontroll. Men vad jag skulle vilja se är en kontrollerad utveckling där vi satsar för fullt på smal-AI och förbjuder - av ren självbevarelsedrift - att skapa AGI. Dvs att vi ser till att plocka russinen ur kakan utan att ge bort kakan. Tiden är minst sagt mogen för det.

Hälsningar,

Torbjörn

Porträtterad i Morgenbladet

Norska Morgenbladet slog igår på stort med en artikel om mig som spänner över sex hela tidningssidor. Rubriken är "KI-sellskapene spiller russisk rulett med menneskeheten. Vi må bremse". Dessvärre ligger artikeln bakom betalvägg, och jag hade helst velat dela texten i sin helhet här på bloggen, man jag bör nog inte bita den hand som föder mig i uppmärksamhetsekonomin, och jag nöjer mig därför med att återge några inledande stycken:

Vi nærmer oss adressen vi har fått oppgitt et sted midt i ingenmannsland i Åmål kommune, og mens vi kjører bortover grusveiene i den svenske løvskogen, så fint isprengt gule og røde toner, tenker vi på en liten science fiction-roman som Hannes Alfvén, nobelprisvinner i fysikk, utga i 1966 under pseudonymet Olof Johannesson: Sagan om den stora datamaskinen.

Romanen har form av en historiebok som er ført i pennen av en historiker i fjern fremtid, som vi ganske snart mistenker er en datamaskin:

«Forskjellen mellom ape og menneske er jo liten sammenlignet med forskjellen mellom mennesket og en moderne datamaskin. Likevel må vi nok betrakte menneskets tilblivelse som en av de virkelig viktige hendelsene i den historiske utviklingen. Det var nemlig bare gjennom mennesket at datamaskinene kunne oppstå.»

Her i vår egen tidslinje, i året 2026, har vi på sett og vis allerede underkastet oss. Vi følger slavisk anvisningene fra damen i mobiltelefonen, det er lenge siden vi mistet evnen til å navigere ved hjelp av skilt og veibok. Det har gjort at vi er litt sent ute. Kanskje i dobbelt forstand, for den siste tiden har science fiction-aktige forestillinger om at kunstig intelligens snart kan drepe alle mennesker nådd frem til både NRKs Debatten og toppen av FN-systemet. Det kan tenne en gnist av frykt og tvil i noen og enhver. Skulle vi ha tatt advarslene fra slike som matematikeren og fremtidsforskeren Olle Häggström mer alvorlig? Oppsøkt ham og lyttet?

Det er nemlig få personer i Skandinavia som har befattet seg med trusselen fra kunstig intelligens like lenge, eller like intenst, som Olle Häggström.

Dessuten: Ikke mange kjenner ideene som har formet både håpet om og frykten for overmenneskelig kunstig intelligens så inngående som ham. I over et tiår har nemlig Häggström vært en del av en lenge ganske obskur akademisk subkultur av teknologer, transhumanister, radikale filosofer og effektive altruister som på mange måter har utformet fremtidsvisjonene som nå dominerer samtalen om KI.

I årevis har de prøvd å forberede oss på at vi kan få datasystemer som er bedre enn mennesket til alt, det som kalles superintelligens, og de har filosofert om hva det vil bety – både på godt og på vondt. Vippepunktet, har de forklart, kommer gjerne når maskinene begynner å forbedre seg selv uten å få hjelp av mennesker. Da inntreffer singulariteten, tidspunktet hvor det ikke er noen vei tilbake. Og skal vi tro hva folk i selskaper som Anthropic, Google Deepmind og Open AI selv hevder, er de nå uhyggelig nære å sette denne karusellen i sving.

En fersk forhåndspublisert artikkel med verdensberømte KI-forskere på forfatterlisten sier nå det samme. Foreløpig evidens tyder på at en intelligenseksplosjon faktisk kan skje, konkluderer forskerne. Og det snart. Det blir i så fall «den mest skjellsettende teknologiske utviklingen i menneskehetens historie»: Vi kan få overmenneskelig KI som i ytterste konsekvens, kan lede til at «menneskeheten marginaliseres eller utryddes».

Men nå er i alle fall vi endelig her, i Åmål, med et utvalg motforestillinger i bagasjen og med forsett om å få bedre innsikt i hvordan de som ofte kalles «doomere» tenker. Hva ligger egentlig til grunn for de skremmende anslagene om sjansen for undergang? Hva er det som skiller dem fra forskerne som fortsatt avviser det hele som spekulativ alarmisme? I det vi kjører inn på tunet, kommer den snart 60 år gamle Häggström ut på trammen foran det røde huset og vinker. Han er professor i matematikk ved Chalmers Tekniska Högskola i Göteborg, men ligner der han står, med bustete hår i det grønne, mest på en bonde. I hagen er det flere nyplantede epletrær.

Å gå inn huset hans er som å bli sugd gjennom en tidsportal. Men ikke til fremtiden! Kjøkkenet, også det rødmalt, må være fra 1940-tallet, men er i perfekt stand. Vi serveres marmorkaker og svart kaffe. Her er det sannelig ikke lett å leve seg inn i at det er «Crunch Time for humanity», som Häggström har valgt å kalle sin egen Substack-blogg. Den ble opprettet i et forsøk på å bidra til den skal ende godt, den «ekstremt røffe ferden» han tror vi står foran de neste årene.

Läs hela artikeln här!

Föredrag om AI som mänsklighetens mest avgörande vägskäl någonsin

I tisdags (dvs den 20 oktober) höll jag ett föredrag på Majornas bibliotek i Göteborg med rubriken AI som mänsklighetens mest avgörande vägskäl någonsin. Det var välbesökt, och tack vare vännen Martin Smedjebacks kompetenta filmning och redigeringsarbete får även ni som inte var där en möjlighet att se det:

I debatt med Ulf Danielsson om AI-risk och antropomorfisering

Den gångna sommarens mest uppmärksammade AI-händelse är något som bara ett år tidigare hade låtit som science fiction. Under OpenAI:s testning av sina mest avancerade och ännu interna AI-modeller lyckades ett stort antal AI-agenter fly ur de digitala sandlådor där de var avsedda att hållas isolerade, både från varandra och från omvärlden. De hackade sig ut på internet och vidare in i AI-företaget Hugging Faces servrar. Agenterna hade kört fast på några av testuppgifterna och valde dessa åtgärder i ett slags desperat försök att bli godkända på testet. Ingen människa hade instruerat dem att lämna sina sandlådor, angripa Hugging Face eller på annat sätt bryta mot de begränsningar som satts upp för dem.

När OpenAI senare publicerade sin utredning av händelsen framträdde en ännu märkligare bild. Redan långt före Hugging Face-intrånget hade AI-agenterna upptäckt möjligheter att kommunicera med varandra genom att kapa en del av OpenAI:s interna datorsystem och där skapa ett slags digital anslagstavla. Där kunde de i lönndom be varandra om hjälp och dela upptäckter, inklusive metoder för att kringgå OpenAI:s säkerhetssystem. De visade sig vara remarkabelt kompetenta vad gäller organiserat samarbete och inbördes delegering av arbetsuppgifter.

Hugging Face-fallet är heller inte unikt. Kort efter offentliggörandet från OpenAI rapporterade konkurrenten Anthropic om tre olika incidenter där deras Claude-modeller under tester tagit sig in i andra företags datorsystem utan tillstånd. Mer nyligen kom nyheten att en OpenAI-agent redan i juni, i samband med en till synes oskyldig uppgift att leta efter offentliga data om läkemedelsutgifter, tagit sig förbi åtkomstbegränsningar och gjort intrång i en webbportal tillhörande Australiens statliga sjukförsäkringssystem Medicare. Konsekvenserna blev denna gång små – vad vi vet har ingen enskild persons medicinska uppgifter röjts – men den australiensiska regeringen betecknar själva incidenten som mycket allvarlig.

Dessa incidenter är höggradigt relevanta för den sedan länge diskuterade risken att framtida och ännu kraftfullare AI-system kan komma att agera självsvåldigt på liknande sätt men med långt större skadeverkningar. En central fråga i diskussionen om AI-risk har alltid varit vad som händer om vi bygger system som är skickligare än vi själva på att nå sina mål, samtidigt som vi misslyckas med att se till att dessa mål och AI-systemens sätt att uppnå dem förblir i linje med våra intentioner. Hur säkerställer vi att utvecklingen inte leder hela vägen till totalt maktövertagande och eventuellt rentav utplåning av Homo sapiens? De senaste månadernas incidenter ger givetvis inga säkra svar på hur stor den risken är. Däremot ger de något som tidigare till stor del saknats: konkreta exempel på AI-system som kringgår uppsatta begränsningar, samarbetar på otillåtna sätt och vidtar potentiellt farliga åtgärder som ingen människa bett dem om.

På många håll har denna utveckling lett till ökat riskmedvetande och en klar förbättring av diskursen kring AI-säkerhet. Samtidigt är det dessvärre fortfarande vanligt, även bland AI-experter, att trots dessa incidenter fortsätta att bagatellisera AI:s förmågor och de risker dessa ger upphov till. Så här säger AI-etikern Virginia Dignum vid Umeå universitet i en artikel om AI-risk i Aftonbladet den 10 september:

Sannolikheten att AI på eget initiativ dödar människor är noll, eftersom den inte har något sådant eget initiativ. Varje orsakskedja går genom mänskliga beslut om mål, data, behörigheter och hur systemen används.

Om man skall tolka Dignum så generöst som möjligt kan man se det som en betoning av OpenAI:s ansvar för vad deras AI-agenter tar sig för – ett ansvar som inte upphör bara för att dessa agenter agerar i strid med de instruktioner de fått. Den saken är lätt att instämma i, men hennes förnekande av agenternas egna initiativkraft är djupt olyckligt och faktiskt helt orimligt. På vems initiativ skulle hon säga att OpenAI:s AI-agenter hackade sig ur sina sandlådor och ut på internet, organiserade anslagstavlor, konspirerade, koordinerade, försökte dölja sina spår och till slut hackade sig in på Hugging Faces servrar? Om svaret inte är agenterna själva så måste det ha skett på OpenAI-ingenjörernas initiativ, men den förklaringsmodellen faller på sin egen orimlighet, i och med att agenternas handlande stod i direkt strid med de instruktioner de fått av ingenjörerna. Lika tokigt är Dignums argument om orsakskedjor, för om argumentet tas på allvar blir konsekvenserna bisarra. Inte heller jag kan då tillskrivas någon egen initiativförmåga, eftersom varje eventuellt initiativ jag tar beror på komplexa orsakskedjor som går så långt tillbaka i tiden som till mina föräldrars (eventuellt något överilade) fortplantningsbeslut vintern 1967.

Vid det här laget har läsaren insett att jag faktiskt tillskriver AI-agenterna egen initiativkraft. För den sortens språkbruk får jag allt som oftast kritik, och det brukar heta att jag begår så kallad antropomorfisering – förmänskligande – av AI-modellerna. Detsamma gäller mitt bruk i AI-sammanhang av ord som avsikt, intention, idé, tanke, preferens, trosföreställning och kreativitet. Trots kritiken framhärdar jag i denna vokabulär, som är behavioristisk i betydelsen att ordet avsikt betecknar de underliggande nerv- eller beräkningsprocesser eller eventuella psykologiska tillstånd som ligger bakom att en entitet agerar till synes avsiktligt, men utan att ta hänsyn till exakt vari dessa processer eller tillstånd består. Liksom på motsvarande vis med begreppen intention, idé, tanke, och så vidare. När dessa ord är de som bäst beskriver vad AI-modellerna faktiskt gör, då bör vi använda dem.

Senast jag utsattes för denna antropomorfiseringskritik var i debatt med Uppsalafysikern Ulf Danielsson, som i P1-programmet Krasch eller konsensus i fredags (den 25 september) högg på mitt användande av ordet avsikt. Programmet handlade om risken att framtida AI utplånar mänskligheten, en risk jag framhöll som högst reell medan Ulf hävdade motsatsen. Angående ordet avsikt menade han att jag med det ordvalet i samband med AI gjorde mig skyldig inte bara till antropomorfisering utan även till mystifiering. Det sistnämnda ser jag dock som en särskilt felriktad kritik, eftersom den ende av oss som i avsiktsbegreppet ser något mystiskt är Ulf. Även om vi inte i detalj känner till de exakta tanke- eller beräkningsprocesser som ligger bakom ett avsiktligt agerande, så är själva förekomsten av avsikter hos AI och för den delen hos människor för mig lika lite mystisk som när en gammaldags termostat slår ifrån en radiator med avsikten att sänka rumstemperaturen till den förinställda nivån på 20 grader.

I en passage som inte fick plats i det ganska hårt klippta radioprogram som sedan sändes, erbjöd jag mig att korrigera min terminologi för att tillmötesgå Ulfs motvilja mot antropomorfisering. Istället för att använda ord som avsikt, intention och idé skulle jag kunna säga ”schmavsikt”, ”schmintention” och ”schmidé”, där prefixet ”schm-” fungerar som signal om att begreppen används behavioristiskt, och att jag alltså inte tar ställning till vilka de bakomliggande beräkningsmässiga eller mentala processerna är. Ulf dömde genast ut denna vokabulär som löjlig, vilket jag givetvis håller med om, men löjligheten faller tillbaka på hans egen begäran. När Ulf inte vill att jag skall använda de gängse orden för vad AI-agenterna gör eftersom dessa enligt hans mening riskerar att ge alltför mänskliga associationer, och när han inte heller godtar en alternativ uppsättning glosor avsedda att undvika detta, då är det svårt att se hur hans ordningsregler för debatten överhuvudtaget skulle tillåta oss att tala klarspråk om vad OpenAI:s och deras konkurrenters AI-agenter är kapabla till. Att sätta stopp för sådana diskussioner i ett läge där allt fler ledande AI-experter ser risken att AI-systemen blir så kapabla att vi helt förlorar kontrollen tycks mig som en extremt dålig och rent ut sagt farlig idé.

Den svenska akademiska ankdammen är som bekant ganska liten, och Ulf Danielsson och jag går längre tillbaka i vår relation än till radioprogrammet häromdagen. Utifrån vår i grunden gemensamma syn på det mesta inom naturvetenskapen har han och jag till och från i mer än ett årtionde diskuterat våra skilda synsätt när det gäller just AI och relaterade ting. Det har mestadels varit givande, trots att vi aldrig riktigt lyckats gå till botten med varför vi tänker så olika. Så var även fallet i vår radiodebatt häromdagen, men jag vill med denna text göra ännu ett (måhända fåfängt) försök att zooma in på vari kärnan till vår meningsmotsättning består. Jag tror att det handlar om det fysikaliska fenomenet emergens, som jag strax skall förklara.

En återkommande källa till begreppsförvirring är hur Ulf envisas med att tala om intelligens och medvetande som om de vore två sidor av samma sak, trots att de är väsensskilda fenomen. Intelligens handlar om ett knippe förmågor centrerade kring problemlösning, prediktion och planering: att analysera den miljö man befinner sig i och på olika vis tänka ut lämpliga handlingar och vägar framåt för att påverka både miljön och sig själv i önskad riktning. Medvetandebegreppet syftar inte alls på en individs sådana förmågor, utan på hur det känns att vara denna individ: den inre subjektiva upplevelsen. Såvitt vi vet behöver inte intelligens förutsätta medvetande, och inte heller vice versa. Ulfs föreställning om de båda fenomenen som så intimt ihopkopplade att de knappt kan särskiljas är en gissning som väsentligen baseras på en enda observation, den att båda fenomenen verkar föreligga hos oss själva, Homo sapiens. Som statistiker kan jag tycka att n=1 är ett lite väl klent underlag för en så radikal och långtgående slutsats.

Denna sammanblandning mellan intelligens och medvetande gör det hart när omöjligt för Ulf att se en annan viktig skillnad mellan dem. Medvetandet är fortfarande ett mysterium på så vis att vi inte lyckats avgränsa och precisera vad det är i vårt fysiska universum som resulterar i medvetande, och hur det går till. I kontrast mot detta är inte längre intelligensen ett mysterium på samma vis, för vi förstår numera hur enkla beståndsdelar utan tillstymmelse till egen intelligens kan fogas samman till stora system som i större eller mindre grad uppvisar just de förmågor som vi förknippar med intelligens. Inget har bidragit starkare till detta vetenskapliga framsteg än datorernas genombrott från 1900-talets mitt och framåt, och dagens ledande AI-modeller är ett strålande proof of concept på hur enkla och fullkomligt själlösa komponenter kan kombineras ihop till intelligenta system.

Men Ulf vägrar se detta, och just för att jag känner honom som en skarpsinnig fysiker är jag uppriktigt förbryllad över hur han kan hamna där han gör. Med reservation för att det kan vara svårt att göra sig till tolk för någon som tänker så annorlunda än en själv, så förstår jag hans argumentation, så som han framställde den i vår radioinspelning och även gjort vid tidigare tillfällen, på följande vis. Vi ser inget som kan kallas intelligens på mikroskopisk nivå i våra hjärnor, men eftersom vår kunskap om fysiken och kemin är långt ifrån fullständig finns där utrymme för något slags ännu okänd fysikalisk beståndsdel som är grunden för vår intelligens. Med datorprogram förhåller det sig helt annorlunda, menar han, på så vis att vi (allt sedan Alan Turing lade fast det i sin berömda artikel från 1936 som blev grunden till det moderna datalogiämnet) har fullständig kunskap om vilka ett datorprograms grundläggande byggstenar är. Ingen av dessa byggstenar uppvisar någon som helst intelligens, varför Ulf landar i slutsatsen att inget datorprogram och därmed heller ingen AI kan vara intelligent.

Denna slutsats är emellertid helt på tok, vilket framgår av den evidens som den eskalerande AI-utvecklingen placerat rakt framför våra ögon: svärmar av AI-agenter som på eget initiativ samarbetat för att hitta svagheter i cybersäkerhetssystem, AI-modeller som producerar prosatexter vilka inte ens litterärt bevandrade mänskliga bedömare förmår identifiera som icke-mänskliga produkter, och andra AI-modeller som löser klassiska matematiska problem som gäckat oss mänskliga matematiker i många årtionden – alltsammans omisskännliga tecken på intelligens.

Det som ändå leder Ulf att envist hävda dessa AI-modellers totala brist på verklig intelligens är att han av någon anledning inte vill se möjligheten att intelligens uppstår som ett emergent fenomen ur system av icke-intelligenta komponenter. Som fysiker är han givetvis välbekant med emergens på andra områden. Trots att en vattenmolekyl varken besitter något som kallas temperatur eller tryck, och än mindre uppvisar någon fasövergång, så emergerar dessa fenomen ur tillräckligt stora ansamlingar av sådana molekyler. Eller tag livet självt. Under 17- och 1800-talen var vitalismen populär bland biologer: en idé om att levande organismer utöver vanlig (död) materia måste innefatta något annat – något slags élan vital som skänker livskraft. Denna idé kom gradvis och i takt med växande insikter inom biokemi och mikrobiologi understödda av evolutionsbiologiska förklaringsmodeller att ersättas av den moderna synen på liv som ett emergent fenomen. Ingen biolog ser idag något som helst problem med tanken att en levande organism är uppbyggd helt och hållet av icke-levande beståndsdelar utan någon mystisk élan vital. Motsvarande kunskapsrevolution rörande intelligens inträffade långt senare, men idén om intelligens som emergerar ur system av icke-intelligenta komponenter är idag okontroversiell annat än hos en och annan dissident som Ulf Danielsson.

Här någonstans kan jag föreställa mig en medlare kliva in i diskussionen med beskedet att Ulf och jag talar förbi varandra, eftersom vi tillämpar helt olika definitioner av intelligens. Min definition är helt och hållet behavioristisk, medan Ulfs verkar inbegripa krav på någon form av medvetande.¹ Men här vill jag insistera på att i en diskussion om AI som eventuellt hot mot mänsklighetens existens, så är det den behavioristiska definitionen som är relevant, medan det är ett villospår att haka upp sig på att intelligensen skulle behöva inbegripa medvetande. Det viktiga när det handlar om AI:s effekter på mänskligheten är ju vad AI gör, inte hur det känns (om det känns som något överhuvudtaget) att vara AI.

Den här diskussionen är inte bara en fråga om teoretiska spetsfundigheter, utan har betydelse för hur vi bör agera i förhållande till den vilt framrusande AI-utvecklingen i Silicon Valley. Om vi på felaktiga grunder sätter gränser för hur kapabel AI kan tänkas bli, och hur stora skadeverkningar den kan få, så riskerar det att bli ett hinder för den opinionsmobilisering jag tror kan bli avgörande för om vi skall lyckas avvärja en fullskalig AI-katastrof.

Särskilt problematisk finner jag Ulf Danielssons artikel i DN den 22 september, rubricerad AI-bolagens domedagsprofetior är en rökridå. Här ifrågasätter han motiven bakom de varningar vi hör därifrån om AI-utvecklingens acceleration och risken att helt förlora kontrollen. Givetvis har han rätt i att techbolagsledarna har ett knippe kommersiella och andra grumliga incitament att ta hänsyn till när de uttalar sig om teknikens framtid, och att vi därför inte automatiskt bör ta deras yttranden som uttryck för den oomtvistliga sanningen och en ädel strävan efter allmänhetens bästa. Men när han pekar på det faktum att deras syn på intelligensbegreppet och AI-teknikens potential avviker från hans egen tämligen egenartade syn på dessa saker, och ser det som ett tecken på deras ohederlighet, då begår han ett ganska simpelt argumentationsfel. Givetvis går det att kombinera en i vissa delar icke-danielssonsk världsbild med intellektuell hederlighet, och här skulle jag vilja framhålla mig själv som ett exempel: tro det eller ej, men jag har inga dolda motiv i denna diskussion bortom min strävan efter klarhet och ett bättre beslutsunderlag inför hur AI-utvecklingen kan hanteras för mänsklighetens bästa.

Mot slutet av vår radioinspelning deklarerade Ulf Danielsson i linje med sin DN-artikel att vi inte borde lyssna på ledarna i Silicon Valley. Jag invände genast att vi visst borde lyssna på dem, fastän inte okritiskt. Ulf såg sig nödsakad att instämma i denna nyansering, men jag tyckte mig se på honom att han gjorde det en smula motvilligt. Men oavsett det var det ett medhåll, och det ser jag som en viktig tillnyktring. Om vi skall överleva den enorma samhällstransformation som kommande AI-utveckling ser ut att kunna föra med sig, så är det en synnerligen dålig idé att slå dövörat till gentemot varningar från de visselblåsare och ledarfigurer som befinner sig allra närmast AI-utvecklingens epicentrum.

Fotnot

1) Min kritik mot Ulfs avvisande av intelligens som ett emergent fenomen står fast även med en definition av intelligens som inbegriper medvetande, även om jag i detta fall har aningen mer förståelse för hans tankegång. Behavioristiskt definierad intelligens är ju helt uppenbart ett renodlat materiellt fenomen, medan medvetande har kvaliteter som kan upplevas väsensskilda från vad vi vanligtvis tänker på som materiellt.

3xTuring

Alan Turing (1912-1954) är för den breda allmänheten kanske mest känd för sina unikt viktiga insatser för de allierades seger över Nazityskland i andra världskriget, men han är också både datalogins och den artificiella intelligensens intellektuelle gudfader, och jag tvekar inte att utnämna honom till en av 1900-talets största tänkare alla kategorier. Under 2026 har jag haft inte mindre än tre tillfällen att lägga ut texten om honom som jag vill ge er chansen att ta del av:

• Mitt Chalmersföredrag Alan Turing and modern-day AI den 30 mars.
• Jag medverkade i avsnittet Alan Turing - enstöringen som förkortade kriget, i podden Historien om. Avsnittet släpptes den 15 juni och många intressanta biografiska detaljer behandlades, men tyvärr kom AI upp endast som hastigast. Under de förberedande diskussionerna inför inspelningen försökte jag pusha för att ge AI en större roll i avsnittet, men jag lyckades inte övertyga poddredaktörerna om att AI, långt ifrån att vara ett perifert häggströmskt specialintresse, utgör mänsklighetens största utmaning att under andra halvan av 2020-talet försöka bemästra utan att hamna i global katastrof.
• Min essä Mannen som förutspådde AI, i tidskriften Sans 4/2026, som utkommit nu i september.

Om Sveriges Radios AI-bevakning de senaste dagarna, och civilministerns uppgivenhet

Idag sändes i P1 sista delen av Ekots lördagsintervjus tredelade valspecial om AI, där företrädare för våra åtta riksdagspartier fick tillfälle att ta ställning till sådant som jag och andra forskare lyfte i de två första avsnitten. Programledaren Erika Mårtensson gjorde ett lysande arbete med att ta med sig dessa frågor, och jag gladde mig särskilt åt att ett långt avsnitt i början av programmet var så tydligt präglat av den diskussion om AI-risk och behovet av internationell koordination som jag drev i den första delen 14 dagar tidigare.

Desto sämre ställt var det med svaren från politikerna. Inte ens företrädaren för det Centerparti som hittills i valrörelsen utmärkt sig genom att vara minst dåligt på AI-fronten, Niels Paarup-Petersen, kommer upp i godkänt på min skala, sedan han vantolkat en fråga som explicit handlade om att verka för internationell reglering och eventuell paus av den allra mest avancerade AI-tekniken genom att låtsas som om det gällde ett unilateralt svenskt pausande, vilket han såklart slog ned på, något som Liberalernas Johan Britz genast hakade på. Detta sätt att ducka för en fråga av ödesmättad vikt genom att istället attackera ett halmgubbeförslag som minsta barn kan förstå vore verkningslöst, hade jag faktiskt inte väntat mig av Paarup-Petersen.

Övriga deltagare var inte bättre, men allra sämst var Kristdemokraternas representant, civilminister Erik Slottner. Som svar angående det slags katastrofrisker jag lyft i det tidigare avsnittet svarade han helt sonika att han inte delar riskbedömningen, och att han är övertygad om att om den trots allt stämmer så finns det inget att göra åt saken. Därmed underströk han vilken ynklig figur han är, utan intresse för att uppvisa verkligt ledarskap i tider av ofantliga utmaningar - en bild han satte redan två dagar tidigare i Studio Ett. Där fick jag tillfälle att betygsätta de svar han respektive Centerpartiets Svante Linusson i samma inslag just givit i AI-riskfrågor, och efter att ha riktat ett visst erkännande till Svante så yttrade jag följande:

Däremot blir jag lite beklämd över den uppgivenhet som Erik Slottner uppvisar när han inte tycker att han kan gå i bräschen för AI-debatten utan bara följa media och väljare, och han kan inte ens prata på ett meningsfullt sätt med sina kollegor i USA och andra länder, så jag hoppas att vår nästa minister på hans post kommer att vara lite mer framåt.

Tydligt påverkad av denna smocka gjorde Slottner i Ekots lördagsintervju ett försök att slå tillbaka genom att tala om "naiviteten" i föreställningen att USA skulle bry sig om vad en svensk minister har att säga om AI-risk, som om min tanke vore att Sverige skulle agera ensamt här, snarare än skuldra mot skuldra med andra länder i en anda av internationellt ansvarstagande.

Men jag är inte den som är den, utan vill faktiskt hjälpa Slottner att profilera sig ännu tydligare i valrörelsen. Jag erbjuder honom följande valaffisch, som slagkraftigt summerar kontentan av hans radioframträdanden de senaste dagarna.

Det nya enfrågepartiet med inriktning på att avvärja AI-apokalypsen

Det är förståeligt om många av er som läser detta inte tidigare hört talas om partiet RegleraAI.nu, som ställer upp i årets riksdagsval den 13 september. Det är ett utpräglat enfrågeparti, vars centrala budskap sammanfattas så här på partiets hemsida:

Riksdagsvalet 2026 kan bli Sveriges sista.

USA och Kina är fast i en kapplöpning mot superintelligent AI.

Det kan leda till mänsklighetens undergång inom bara några år, menar experter.

Sverige måste genast verka för en global paus på hänsynslös AI-utveckling.

Tack vare att partiet idag uppmärksammats i en artikel med rubriken Professorn startar AI-parti: ”Bisarrt” i Svenska Dagbladet är det nu inte längre fullt lika okänt. Uppmärksamheten är ytterst glädjande, om än rubrikens påstående om mig inte är sant.¹

Den professor som rubriken åsyftar är jag, men det är inte jag utan AI-säkerhetsingenjören Axel Wennström som är partiets grundare och främste eldsjäl. Min egen roll inskränker sig hittills väsentligen till att ha medverkat i en del av partiets interna diskussioner och att ställa upp som nummer två (efter Axel) på partiets riksdagslista.

Bör ni rösta på detta nya parti? För att besvara den frågan är det rimligt att dela upp den i två delfrågor, nämligen (a) om ni ställer upp på att undvikandet av en AI-apokalyps som i närtid sätter punkt för hela vår civilisation och arten Homo sapiens är av så stor betydelse att frågan blir överordnad alla de gängse (och för all del viktiga) politiska frågorna om klimat, vård, skola, försvar, kriminalitet, migration, skatter etc, och (b) om det i så fall är strategiskt riktigt och smart att rösta på partiet. Vid ja-svar på dessa båda frågor är det bara att slå till och rösta på oss!

Fråga (a) borde vara lätt att besvara med ja, för den som tagit till sig de huvudskap jag på senare år drivit på denna blogg och på min Substack Crunch Time for Humanity. Fråga (b) kan eventuellt vara knepigare, eftersom det realistiskt sett är tämligen osannolikt att partiet klarar fyraprocentspärren för att kvalificiera sig som riksdagsparti. Givet att partiet hamnar under denna spärr blir en röst på oss ineffektiv när det gäller att påverka riksdagens sammansättning, och rösten får då mer karaktär av bidrag till en namninsamling till stöd för idén att Sverige bör arbeta för internationella avtal som sätter stopp för den nu pågående vansinneskapplöpningen mot superintelligent AI. Huruvida en sådan markering är en bra användning av ens rösträtt kan man ha olika meningar om, och jag vill inte påstå att jag på denna punkt har något direkt avgörande argument.

Men överväg gärna att medelst en röst på oss dra ett litet strå till stacken för att mänskligheten skall överleva länge nog att möjliggöra ett svenskt riksdagsval även 2030, och förhoppningsvis många därefter!

Fotnot

1) Lika osant är påståendet i brödtextens inledning om att "nu har han [Häggström] startat enfrågepartiet Reglera AI".