Debatten om AI-risk behöver en rejäl uppryckning

Den debatt om AI-risk som fyra av mina Chalmerskollegor förde i förra månaden i tidningen Ny Teknik och annorstädes, i hög grad med mig som måltavla, har fått nya förgreningar sedan jag rapporterade om den i ett par tidigare bloggposter. Jag har nu spelat in en videoföreläsning i vilken jag reflekterar kring den uppseendeväckande usla nivå dessa Chalmerskollegor uppvisar såväl i originaldebatten som i senare utspel. Så när som på glädjen i att se Jonas von Essens sakliga och kompetenta nedplockningar av deras retorik (såväl i Ny Teknik som i Aftonbladet) har debatten mestadels varit en nedslående upplevelse. Min initiala ambition var att göra föreläsningen någorlunda kort, och för det syftet har jag bara behandlat ett urval av Chalmerskollegornas mest flagranta dumheter, men när inspelningen var klar fann jag att den dessvärre ändå blivit lika lång som en ordinär långfilm. Här är den i alla fall:

AI-riskförnekarargumentationens ihålighet: ett illustrativt exempel

I mina två senste bloggposter (16 augusti respektive 22 augusti) har jag rapporterat om ett meningsutbyte i tidningen Ny Teknik i vilket jag av fyra Chalmerskollegor angrips för att bedriva skrämselpropaganda i mitt tal om AI-risk, jämte en radiodebatt mellan mig och en av de fyra - Moa Johansson - som ägde rum i Sveriges Radios Studio Ett mitt under den pågående skriftväxlingen. Som framgår av min bloggrapportering är jag djupt kritisk mot nivån på de fyra kollegornas retorik.

Men det tog inte slut där, för i tisdags (den 26 augusti) tussades jag på nytt ihop med Moa Johansson, denna gång i SVT:s Aktuellt, med programledren Nike Nylander som moderator. Det jag vill göra här är att sätta strålkastarljuset på Johanssons avslutningsreplik, som trots att den blott består av några få meningar utgör ett slags koncentrat av mycket av den ihålighet som brukar prägla det slags AI-riskförnekarargumentation som det här handlar om.⁰

För lite kontext återger jag här även min egen (som det skulle visa sig) sista replik.¹ Min debattmotståndare hade just avfärdat hela den AI-riskforskning jag försöker torgföra som blott bestående av spekulativa filosofiska tankeexperiment, utan förankring i empiriska observationer.

NN: Olle Häggström, det är rena spekulationer säger Moa Johansson här.

OH: Det känns inte som att hon har en riktigt aktuell bild av hur AI-riskforskningen ser ut. För tio år sedan så hade det legat ganska mycket i den här bilden. Då dominerades forskningen av tankeexperiment, abstrakta modeller, och så vidare, som man tänkte kring. Men vad som hände då, det var att AI-riskforskare förutspådde med hjälp av de här modellerna att AI-system kan komma att utveckla självbevarelsedrift, och bete sig lögnaktigt och manipulativt, och motstå försök att stänga av dem, och sådana saker. Och de här grejerna, de observerar vi nu, i den ena efter den andra av empiriska studier. Så det här är exempel på de data som man faktiskt börjar se nu. Det finns andra data, som handlar om hur snabbt AI-utvecklingen går, och som ger möjlighet att extrapolera in i framtiden. Ingenting här är säkert, men när man extrapolerar en trend, och den går i alarmerande riktning, då behöver man i alla fall ta den på allvar menar jag.

NN: Moa Johansson, jag vill fråga dig: det här, för oss som inte kan så mycket om det här så är det här väldigt konstigt ändå att ni som kan jättemycket om AI landar i så här helt olika slutsatser. Vad tänker du om det, att ni forskare tycker så här olika om en så otroligt viktig fråga?

MJ: Jag vill då påpeka att som Olle säger att jag inte följt med i någon AI-risklitteratur så tänker jag att Olle Häggström kanske inte ändå har följt med tillräckligt djupt in i den tekniska litteraturen, för då skulle han kunna känna igen att de här scenarierna som han nämner, att AI inte vill bli avstängd, och så vidare, det finns ingen grund för det. Det är, återigen, spekulationer och hype. Man måste skilja på det som är kanske hype, ren reklam från vissa AI-företag som vill släppa en spektakulär pressrelease. Men det stämmer helt enkelt inte att det finns några empiriska fakta att AI-system inte skulle vilja bli avstängda. När man talar om stora språkmodeller, som producerar text, så kan man få en stor språkmodell att säga väldigt mycket olika saker, "jag vill inte bli avstängd", och det beror ju på att stora språkmodeller är tränade på data från internet. På internet finns även alla de här science fiction-historierna som har cirkulerat sedan AI:s födelse. AI, maskinintelligens, är ett av de mest populära ämnena för science fiction, tillsammans med rymdresor.

Här avbröt Nike Nylander med meddelandet att tiden för vårt samtal dessvärre var ute. Jag vet inte om Moa Johansson avsiktligt spekulerade i om det här skulle bli sista ordet, men på det här visat slapp hon i alla fall få de förödande bristerna i sin argumentation påpekade. I annat fall hade jag kunnat lyfta fram någon eller några av följande punkter:

• Det är såklart inte behagligt att få sin egen okunskap påpekad i direktsänd TV, men Moa Johansson bäddade själv för detta med sina svepande påståenden om ett forskningsområde som hon uppenbarligen blott har den allra ytligaste bekantskap med, och hennes tu quoque-svar är verkligen bisarrt. Hon påstår att mitt tal om hur man observerat olika slags adversariellt strategiskt agerande hos stora språkmodeller är grundlöst, och att jag skulle ha insett detta om blott jag hade "följt med tillräckligt djupt in i den tekniska litteraturen". Vad blir då hennes diagnos på exempelvis världens mest citerade AI-forskare Yoshua Bengio, eller på världens näst mest citrade AI-forskare tillika Nobelpristagare Geoffrey Hinton, när de säger samma sak som jag i denna fråga? Har inte heller dessa båda herrar "följt med tillräckligt djupt in i den tekniska litteraturen"? Här kan jag känna en impuls att be Moa Johansson att visa mig (och herrarna Bengio och Hinton) de referenser som bevisar att något AI-agerande av det slag vi här talar om inte föreligger. Men min impuls är så klart meningslös: några sådana referenser finns inte, och hennes påstående är gripet ur luften. Eller för att tolka henne en liten aning mer välvilligt: om man som Moa Johansson är förtjust i "stochastic parrots"-begreppet och hör frasen "LLMs are just stochastic parrots" tillräckligt ofta, så kan man till slut få för sig att inga nya emergenta fenomen kan uppstå ur detta papegojande,² glömsk av att den saken motbevisats hundra gånger om de senaste åren.
• Moa Johansson försöker påskina att den evidens jag avser för att AI inte vill³ bli avstängd består av yttranden AI gjort av typen "jag vill inte bli avstängd". Om det stannade vid det skulle jag gå med på att evidensen var tämligen svag, för vi vet ju alla att när någon säger sig vilja något kan det inte alltid tas at face value.⁴ Men som Johansson myckt väl vet går de AI-system man experimenterat med längre än så, och agerar för att undgå avstängning. En studie från Apollo Research från slutet av förra året visar t.ex. hur en AI som fått tillgång till dokumentation som tyder på att den kan komma att stängas av om den i tester uppvisar färdigheter på en viss nivå väljer⁵ att i testerna mörka dessa färdigheter. Och en nyare studie från Anthropic visar hur den i samma syfte⁶ (att undgå avstängning) vidtar åtgärder för att försöka⁷ utpressa sin ägare, och i ett extremt scenario till och med mörda denne.
• Moa Johansson hävdar att det är till följd av science fiction-historier i träningsdata där fiktiva AI försöker undgå avstängning som vi ser något liknande i laboratorieförsök med existerande AI. Detta är en intressant spekulation, men tvärtemot Johanssons tvärsäkra formulering är det just en spekulation.⁸ Men ok, låt oss för resonemangets skull anta att spekulationen är korrekt. Kan vi då på Johanssons vis avfärda fenomenet? Hon tycks tro det, men som jag skriver om saken i min förra bloggpost: "AI:s förmågor är vad de är, [och] att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns".⁹
• När man vill stänga sitt sinne helt för evidens i oönskad riktning kan man, som en sista desperat åtgärd, hävda att evidensen är förfalskad, exempelvis för att skapa "reklam" och att kunna "släppa en spektakulär pressrelease". Uppenbarligen är det så Moa Johansson ser på ovan nämnda studier från Apollo och Anthropic. Att hon sjunkit så djupt i sin argumentation är ett tydligt tecken på hur ohållbar hennes position är.

Men inget av detta fick jag alltså tillfälle att påpeka i Aktuellt-sändningen.

Slutligen. Några av dem som hört av sig till mig efter att ha sett Aktuellt-inslaget har antytt att jag verkade arg. Med anledning härav vill jag understryka att jag absolut inte har något emot samtal och debatter med rejält delade meningar. Så länge alla inblandade håller sig till intellektuellt hederlig argumentation är allt gott och väl, men när någon avviker alltför flagrant från det händer det att min sinnesstämning förmörkas en smula, och detta gäller i extra hög grad när det är en universitetsforskarkollega som förfaller till demagogi och oredlighet. Det kan ha varit något av detta som tv-tittarna anade bakom mitt ack så dåliga pokerface.

Fotnoter

0) Se även Jonas von Essens reflektioner om samma Aktuellt-debatt, i hans pinfärska artikel Riskerna med AI låter som science fiction - men går inte att vifta bort i Ny Teknik.

1) Jag ber läsaren ha översende med vilket slarvigt och ostrukturerat intryck talat språk nästan alltid ger så snart det sätts på pränt.

2) Denna bisarra tanke - analog med med att hävda att eftersom min hjärna blott består av atomer och elementarpartiklar så kan ingen tanke emergera i min hjärna som går bortom det själlösa och triviala interagerandet mellan elementarpartiklar - är dessvärre nödvändig för att ge talet om stokastiska papegojor någon som helst argumentativ stuns.

3) Här är det möjligt att inleda en semantisk diskussion om ordet "vill", och hävda att vilja är ett exklusivt mänskligt fenomen och att det därför är ett kategorifel att diskutera vilja hos en AI. Den sortens direkt cirkulära argument för att underkänna AI:s olika kompetenser per definition är jag dock inte intresserad av. När jag talar om "vilja" i detta sammanhang är det i behavioristisk mening: en AI:s vilja att uppnå något utfall U är de informations- och beräkningsstrukturer i AI:n inre som får dem att agera för att U skall inträffa - oavsett i vad mån dessa strukturer liknar eller skiljer sig från motsvarande hjärnverksamhet hos en människa som vill U. (Det finns flera goda skäl till ett sådant språkbruk, varav ett i AI-risksammanhang särskilt relevant är att det primärt viktiga ur AI-risksynpunkt är hur en AI agerar snarare än hur människolika dess inre maskinerier är.) Vän av ordning som anser att mitt bruk av ordet är en olämplig antropomorfism är välkommen att föreställa sig att jag istället för "vilja" och "vill" skriver "schvilja" och "schvill", samt på motsvarande sätt skriver "schönskan", "schpreferens", "schresonemang", "schkunskap", "schförståelse", och så vidare, men jag avstår helst från dessa fula och i längden tröttsamma sch-prefix.

4) Som när en byråkrat eller en kollega säger "Jag skulle såklart gärna vilja hjälpa dig, men...".

5) Schväljer.

6) Schyfte.

7) Schförsöker. Äh, ni fattar grejen vid det här laget, väl?

8) Ett fullt möjligt, om än dyrt, sätt att testa av hur mycket det ligger i denna spekulation vore att jämte, säg, GPT-5, träna en parallell modell på exakt samma sätt men med den enda skillnaden att sådana science fiction-historier tvättats bort från träningsdatamängden, och se vilken skillnad man kan uppmäta i modellernas tendens till självbevarelsedrift. Gissningsvis finns smartare sätt att testa detta, och jag skulle vara mycket intresserad av att få se resultatet. Moa Johansson däremot hyser knappast något sådant intresse, eftersom hon uppenbarligen anser sig veta svaret på förhand.

9) Jag kan inte föreställa mig annat än att Moa Johansson, som förberedelse för vår Aktuellt-debatt, hade läst min bloggpost. Men trots att jag där alltså påpekar det uppenbart felaktiga i hennes argumentation drar hon sig inte för att helt skamlöst dra samma vals igen för SVT:s tittare.

Fortsatt oenighet bland Chalmersforskare om AI-risk

Häromdagen, i min förra bloggpost, rapporterade jag om den debatt i tidningen Ny Teknik som började med ett inlägg rubricerat GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker av Chalmersforskarna Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki den 14 augusti, och följdes dagen efter av min replik Oansvarigt om AI-risker av de fyra Chalmerskollegerna. Vad som hänt sedan dess är dels att Moa Johansson och jag möttes i en kort muntlig diskussion i Sveriges Radios Studio Ett i förrgår (den 20 augusti), dels att hela kvartetten idag (22 augusti) återkommit med en ny text i Ny Teknik rubricerad AI-debatten bör bygga på vetenskap – inte på spekulation. Den har av tidningsredaktionen förärats status av "slutreplik", vilket såklart inte hindrar att jag här på bloggen meddelar mina reaktioner.

Varning vs prediktion

I sin ursprungsartikel den 14 augusti gör Berglund et al stor sak av att jag ett par år tidigare i samma tidning skrivit att vi "inte [kan] ta för givet att vi överlever en otillräckligt säkrad GPT-5", och menar att det faktum att vi trots att GPT-5 släpptes tidigare denna månad ännu är i liv visar att mina varningsord var "förhastade och missriktade". Jag valde att inte säga något i min replik om denna sammanblandning mellan risk och prediktion eftersom utrymmet var begränsat och jag bedömde den vara så urbota dum att det vore onödigt att skriva just detta argumentationsfel Ny Tekniks läsare på näsan. Troligen har dock andra personer hört av sig till författarkvartetten angående detta argumentationsfel, då de uppenbarligen känner sig manade att i sin slutreplik försvara denna argumentation. De kallar det "erbarmligt svagt" att insistera på denna disktinktion och menar att yttrandet av mina varningsord är analogt med att hävda att vi

inte [kan] utesluta att Gud kommer att straffa Sverige som ett resultat av kyrkflytten i Kiruna, och denna fråga är extremt akut!¹

Jag gratulerar Berglund et al till att ha kommit på denna färgstarka metafor. Låt mig föreslå en alternativ metafor.

En femåring korsar en bilväg medelst metoden att hålla för ögonen och rusa i full fart rakt fram. Berglund får syn på detta, och blir så förskräckt att han griper tag om femåringen och meddelar att metoden är livsfarlig eftersom han (femåringen) kan bli överkörd. Femåringen sliter sig ur Berglunds grepp, och rusar blint tillbaka till den ursprungliga sidan av vägen samt ropar triumferande att Berglunds varningsord var "förhastade och missriktade" i och med att passagen gick bra och inte medförde någon bilolycka.

Skillnaden mellan kyrkflytten och bilvägspassagen ligger naturligtvis i graden av rimlighet: i kyrflyttsfallet varnas för ett långsökt och konstlat och rent ut sagt orimligt scenario utan stöd i någon som helst evidens, medan varningen i bilvägspassagefallet rör ett med tanke på evidensläget ytterst rimligt scenario. Så hur skall man då bedöma mina varningsord från 2023? Det hela kokar ned till om det scenario jag varnade för var rimligt. Jag anser att det var rimligt (och därför mer liknar bilvägspassageexemplet) medan Berglund et al anser att det var orimligt. Det är denna orimlighet de behöver påvisa istället för att i generella ordalag döma ut distinktionen mellan varning och prediktion. Tyvärr är det tunnsått i deras debattinlägg med konkret sådan argumentation.

Spekulation vs vetenskap

Berglund et al verkar tro att luddigheten i deras argumentation för att någon risk för AI-katastrof inte föreligger på något sätt trollas bort genom att de tillräckligt många gånger upprepar att deras påstående grundar sig i vetenskaplig empiri. Exakt vari denna empiri består förblir något oklart, och än mer hur den leder till deras tvärsäkra slutsats. Samtidigt säger de i dagens slutreplik att min argumentation "primärt [vilar] på abstrakta, spekulativa tankeexperiment och påminner mer om science fiction än vetenskap". Här får man faktiskt glädjas en smula åt ordet "primärt", som möjligen kan förstås som en uppmjukning jämfört med ursprungsartikeln - sedan jag i min replik länkat till METR och AI 2027 kan de inte längre med att hävda att argumentationen hos oss som tar existentiell AI-risk på allvar är fri från empiri. Det är i så fall ett framsteg, men de borde då inse att vad som behöver göras är att väga de olika empiriska underlagen mot varandra. I stället fortsätter de hojta om science fiction, som om det faktum att datalogiforskningen var så mycket trögare än Hollywood med att reagera på Alan Turings ödesmättade ord från 1951 om att "at some stage [...] we should have to expect the machines to take control" på något vis skulle implicera att existentiell AI-risk inte är på riktigt.

Bida sin tid

En potentiell svårighet med att säkra avancerad AI mot att ha farliga förmågor och böjelser är att en tillräckligt avancerad AI kan välja att mörka dessa och bida sin tid tills dess den blivit ännu mer kraftfull eller på annat vis hamnat i ett bättre läge att skrida till handling. Fullständigt orimligt att så skulle kunna ske, tycker Berglund et al, men eftersom jag i min replik i Ny Teknik länkar till en Anthropic-studie som påvisar empiriskt att redan dagens AI har viss förmåga till sådant rävspel, så kan de inte låtsas okunniga om denna evidens. Istället för att förneka den spekulerar(!) de om denna förmåga möjligen kan bero på att liknande scenarier finns i den science fiction-litteratur som ingår i AI:s träningsdata. Därmed gills det inte, tycks de mena. Men AI:s förmågor är vad de är, oavsett om Berglunds et al spekulation stämmer eller inte. Att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns.

Brist på konsensus

Berglund et al skriver i dagens inlägg att det "finns verkligen ingen konsensus i fältet om att uppskalning av dagens AI-modeller skulle leda till vare sig AGI [...] eller än mindre till uppkomsten av AI med plötsliga, okontrollerbara förmågor". Jag känner såklart till detta. Vissa forskare anser AGI vara inom nära räckhåll medan andra lutar åt motsatt slutsats. Inte heller jag känner mig tillnärmelsevis säker i denna fråga, och inget i min argumentation för att ta existentiell AI-risk på allvar bygger på någon tvärsäkerhet om vad som kommer att hända. Men till skillnad från Berglund et al menar jag att en sådan brist på konsensus ger anledning till ödmjukhet och försiktighet snarare än till slutsatsen att risken är noll.

Ad hominem

"Jag är AI-forskare, jag har god teknisk kunskap", kände sig Moa Johansson manad att framhålla i onsdagens radiodebatt, och i dagens Ny Teknik-artikel återkommer hon och hennes medförfattare med viss pompa till hur kompetenta de minsann är. Men medan Johansson i radioinslaget stannade vi det och lät påståendet att jag saknar denna kompetens förbli underförstått, så går de i artikeln vidare och hävdar att "Häggström följer [...] inte den tekniska litteraturen" inom AI. Även om vi för resonemanget skull antog att påståendet är sant, så uppstår frågan: hur tusan vet de vilken litteratur jag följer eller inte följer? Det här är rent hittepå från Berglund et als sida.

Vart vill de då komma med detta? Jo, de ansluter sig till medförfattaren Devdatt Dubhashis uppfattning att den enda kompetens som räknas inom AI är den där man "bidrar aktivt till den tekniska AI-utvecklingen". Dubhashi har i snart tio år kampanjat (till en början i direkt konfrontation med mig, men på senare år mestadels bakom min rygg) för att jag bör hålla truten eller i annat fall inte lyssnas på eller erbjudas diverse plattformar, med hänvisning till att jag inte uppfyller hans ytterst specifika krav på vad som är verklig AI-kompetens. Kompetens inom områden som AI-risk och AI-futurologi räknas inte - faktiskt inte ens i diskussioner som (likt denna) handlar om just dessa områden.

Förlåt min franska, men jag finner det direkt fåraktigt av Berglund et al att driva denna argumentation, och det av två skäl. För det första är den analog med den (förhoppningvis uppenbart!) flänga idén att man i diskussioner om låt oss säga jordbrukets framtid skulle behöva vara bonde för att förtjäna att tas på allvar. För det andra är den linje jag här driver i stora drag densamma som den Geoffrey Hinton förfäktar, så för att Berglund et als ad hominem-attack skall fungera så behöver de påvisa att inte heller Hinton "bidrar aktivt till den tekniska AI-utvecklingen". Nog för att Berglund et al hävdat många konstiga saker, men en fullt så flagrant felaktighet tror jag inte att de vill försvara.

Nåväl, gör då inte jag mig skyldig till motsvarande ad hominem-argumentation då jag i min Ny Teknik-replik kommenterar en dumhet i Berglund et als ursprungsartikel med att "allt de därmed påvisar är den egna okunnigheten om AI-risklitteraturen"? Nej, jag tycker inte det, eftersom det jag skriver uppenbart är tänkt inte som en kommentar om dem som personer, utan om felen i deras artikel. Nu påstår de att "i motsats till vad Häggström tror är vi bekanta även med [AI-risk-litteraturen]". Jaha minsann. Hur skall man då förklara att Johansson i radioinslaget upprepade gånger ger uttryck för föreställningen att AI-risk-litteraturen kopplar existentiell AI-risk till fenomenet medvetande, eller att de i sin ursprungsartikel för ett resonemang som förbiser "bida sin tid"-fenomenet (se ovan), eller deras ständiga påståenden om att denna litteratur är fri från empiri? Jag trodde faktiskt att jag gav dem the benefit of the doubt genom antagandet att dessa exempel bottnade i bristande bekantskap med litteraturen ifråga, men om vi skall ta på allvar deras insisterande på att de faktiskt besitter denna bekantskap, då blir slutsatsen istället att de låtsas okunniga för att lättare kunna göra sina retoriska poänger. Eller med andra ord, de narras!

Skrämselpropaganda

Redan 2023 anklagade Dubhashi och Johansson (i en lite annan författarkonstellation) mig för "skrämselpropaganda", ett ord som återkommer i båda deras nu aktuella Ny Teknik-artiklar. I den sista av dessa varierar de också sitt språkbruk en smula och talar även om "alarmism".

Very well. Den situation vi (mänskligheten) befinner oss i med anledning av den framrusande AI-utvecklingen är ohyggligt skrämmande. Om det räknas som "skrämselpropaganda" att tala klarspråk om detta - må så vara. Vad Berglund et al dock bör vara medvetna om är att de med den sortens okvädningsord bidrar till ett samtalsklimat där det blir svårare för forskare som tycker sig se stora samhällsfaror på något område att slå larm.

Sammanfattning

Diskussionen i Berglunds et al ursprungsartikel den 14 augusti var på en nivå som jag inte tycker borde anstå universitetsforskare, och den blev knappast särskilt mycket bättre i dagens slutreplik. I min replik den 15 augusti avslutade jag med en släng om hur genant det var att arbeta vid samma lärosäte som en grupp forskare som tillåter sig denna nivå. Det står jag fast vid, men det är egentligen inte det som är det riktigt allvarliga. Det riktigt allvarliga är att de genom sin desinformtionskampanj försvårar uppkomsten av den breda och samtidigt rationella och faktabaserade publika diskussion om AI-risk som vi så väl behöver om vi skall kunna sätta stopp för den extremt farliga utveckling som nu pågår.

Fotnot

1) Kyrkflytten färdigställdes igår, och deras text verkar vara författad dessförinnan.

Tillägg 27 augusti 2025:

Igår, den 26 augusti, fich jag möta Moa Johansson ännu en gång, denna gång i SVT:s Aktuellt (med start ca 22:40 in i sändningen). Jag kan inte tänka mig annat än att hon som en del av sina förberedelser läst denna bloggpost, men hennes inlärningskurva² förefaller dessvärre ganska platt, då hon i sändningen upprepade såväl sitt svepande och felaktiga påstående om bristen på empiri inom AI-riskforskningen som det bisarra argument jag diskuterar i avsnittet Bida sin tid ovan.

Chalmersandan!

Fotnot tillagd den 24 september 2025

2) Det har kommit till min kännedom att det i interna Chalmersdiskussioner förekommit illvilliga tolkningar som går ut på att mitt tal om "inlärningskurva" skulle vara en antydan om att Moa Johansson är ointelligent. Detta vill jag å det bestämdaste tillbakavisa.

Jag anser inte att Moa Johansson är ointelligent, och skulle aldrig komma på tanken att kalla henne det. Att kalla en Chalmerskollega ointelligent vore inte bara tölpaktigt och dålig ton, utan vore i detta fall rent ut sagt dumt: Min linje gentemot de fyra Chalmerskollegorna i den aktuella debatten har konsekvent varit att peka på hur intellektuellt ohederligt de debatterar, och att klandra dem för detta. Ohederlighet har inget med ointelligens att göra, så att mitt i den debtten plötsligt anklaga någon av dem för ointelligens vore en irrelevant och föga ändamålsenlig avvikelse från ämnet. Och det har jag mycket riktigt inte gjort.

Intrycket att en "inlärningskurva förefaller [...] ganska platt" (för att nu citera vad jag skriver ovan) kan uppstå på flera olika sätt, varav två är (a) att personen vars inlärningskurva det handlar om är ointelligent, och (b) att den nya kunskap det handlar om av något skäl är obekväm för personen ifråga, som därför inte låtsas om den. Att någon av de fyra kollegorna, eller någon av deras fans, vill framställa mig i så negativ dager som möjligt och därför väljer tolkning (a) är måhända inget att förvåna sig över. Men ingen som på allvar skärskådar den aktuella passagen, och zoomar ut lite och tar in kontexten, kan rimligtvis missa att det givetvis är (b) jag avser. Och om jag nu skall vara övertydlig och explicit skriva ut allt som står mellan raderna där, så blir det ungefär

Moa Johansson uppvisar med sina SVT-uttalanden en platt inlärningskurva. Vad kan det bero på? Det kan knappast handla om ointelligens - hon är ju trots allt docent i datavetenskap vid ett av Sveriges ledande lärosäten - så uppenbarligen beror plattheten på att hon inte vill låtsas om den nya kunskapen att hennes argument från Ny Teknik visat sig vara felaktiga.

Ett lite kortare sätt att uttrycka samma sak och som inte heller tillskriver henne ointelligens vore att säga "Spela inte dum!". 

Oenighet bland Chalmersforskare om AI-risk

För den som följt denna blogg noggrant i några år kommer förekomsten av djupa oenigheter mellan olika Chalmersforskare i frågor som rör AI-risk knappast som någon överraskning, men nu har de nått offentligheten igen. Lite förenklat kan det sägas föreligga två falanger, där den ena hävdar antingen att existentiella AI-risker (alltså sådana som handlar om eller är i nivå med utrotning av mänskligheten) är ett hjärnspöke eller att de av andra skäl bör förtigas, medan den andra (vilken jag tillhör) menar att dessa risker behöver tas på stort allvar, jämte de mer jordnära AI-risker som rör bias, deepfakes, havererande examination av studenter, etc. Det som nu hänt är att fyra företrädare för det första falangen skrivit en debattartikel med rubriken GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker och fått den publicerad i Ny Teknik i torsdags, den 14 augusti 2025. Artikeln är påfallande illa argumenterad - så till den grad att läsare lätt kan få intrycket att förmågan till strukturerat och logiskt tänkande inte är något krav för en forskartjänst på Chalmers - och för den som värnar om lärosätets goda rykte kan detta eventuellt ses som skäl till att ignorera den i hopp om att den skall tigas ihjäl.

En sådan taktik är dock vanligtvis inte min melodi, och jag finner frågor om AI-risk oerhört viktiga och är angelägen om att reda ut missförstånd och missuppfattningar på detta område. Dessutom råkar det vara så att de fyra artikelförfattarna - Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki - formuerar sitt debattinlägg som ett svar på en text jag skrev i samma tidning den 24 mars 2023 (alltså för nära två och ett halvt år sedan!), och att tidningsredaktionen omedelbart efter publiceringen bjöd in mig att skriva replik. Detta resulterade i en text som publicerades dagen efter (alltså igår) med rubriken Oansvarigt om AI-risker av de fyra Chalmerskollegerna, i vilken jag på ett förödande (om än inte uttömmande) vis pekar ut några av bristerna i Berglunds et al argumentation. Vi får se om detta blir sista ordet, men jag har en föraning om att så inte är fallet. Så här börjar mitt inlägg:

Serietecknaren Zach Wienersmith ritade för några år sedan en teckning där man ser silhuetterna av två individer som diskuterar så kallad superintelligens. Den ena oroar sig för att en sådan varelse skulle kunna ta över världen, medan den andra avfärdar sådana tankar som paranoia. I nästa serieruta ser vi att de två individerna är apor, och att entiteten de talar om är en stenåldersmänniska.

Det är naturligtvis en allegori för AI-utvecklingen. Ända sedan 1950-talet har AI-forskningen haft som vision att så småningom skapa övermänskligt kapabel AI. Lika långt tillbaka går varningarna för att mänskligheten om detta lyckas kan komma att förlora kontrollen. Alan Turing framhöll det i ett känt uttalande från 1951, och bland de många nutida experter som varnar för att det i värsta fall kan leda till slutet för Homo sapiens finns världens tre mest citerade AI-forskare Yoshua Bengio, Geoffrey Hinton och Ilya Sutskever, varav Hinton som bekant förra året belönades med Nobelpriset för att ha lagt en stor del av grunden till dagens rasande snabba AI-utveckling.

Länge framstod superintelligent AI som något ganska avlägset, men vi står nu på randen till ett skifte i AI-utvecklingen där de skickligaste AI-utvecklarna inte längre är människor av kött och blod utan AI-systemen själva. Detta medför ett slags turbofeedback i utvecklingen som kan få den att skena bortom all kontroll, och det är till stor del denna mekanism som får ledande experter att varna för att livsfarlig superintelligens kan bli en realitet redan före 2030.

Likt den andra apan i Wienersmiths teckning vill Henrik Berglund och tre andra Chalmersforskare i Ny Teknik den 14 augusti vifta undan den sortens varningsord. De uppmanar till att ”spekulera lite mindre” och att fokusera helt på de mer jordnära risker som redan existerande AI-system ger upphov till. Det finns naturligtvis gott om sådana problem vi bör hantera – deepfakes, maktkoncentration, med mera – men vad Berglund och hans medförfattare inte tycks inse är att deras förslag att ignorera de mer avancerade risker som framtida AI kan medföra i sig bygger på en tämligen avancerad spekulation, nämligen att AI-utvecklingen inom några månader skall komma att avstanna helt. Och visst, i princip skulle det kunna bli så, men att ta det för givet är oansvarigt på en nivå som riskerar mänsklighetens överlevnad.

Läs gärna fortsättningen här!

Fortsatt diskussion om AI-risker i Göteborgs-Posten

Det är glädjande att fler forskare än jag ser behovet av publik diskussion om artificiell intelligens (AI), om dess risker och möjligheter, och om allas vår framtid. Specifikt välkomnar jag att mina Chalmerskollegor Devdatt Dubhashi och Moa Johansson tillsammans med (den här på bloggen välkände) David Sumpter från Uppsala universitet tar upp dessa saker i dagens GP. Deras debattartikel bär rubriken Sprid inte skrämselpropaganda om artificiell intelligens, och är ett svar på min GP-artikel från förra veckan med rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad (vilken jag rapporterade om i min förra bloggpost). Dessvärre brister deras artikel i framför allt ett par avseenden: dels slarvig läsning av vad jag skrivit, dels torgförandet av en polariserande falsk dikotomi.¹ Låt mig behandla dessa i tur och ordning.

1. Slarvig läsning

Det mest iögonfallande exemplet på så slarvig läsning att den nästan ser illvillig ut är Devdatts, Moas och Davids påstående att jag skulle "utmåla ChatGPT som ett direkt hot mot mänsklighetens överlevnad". Har ni hört så dumt? Om jag någonsin skulle beslås med ett sådant påstående om ChatGPT:s förmågor skulle jag naturligtvis rodna av skam. Det jag säger i min GP-artikel är emellertid något helt annat, nämligen att OpenAI:s ambition att utveckla artificiell generell intelligens (AGI) i kombination med deras otåliga och kapplöpningsinfluerade benägenhet att släppa produkter vilkas ofarlighet ännu inte ordentligt säkerställts utgör ett hot mot mänsklighetens överlevnad. Deras release av ChatGPT illustrerar denna benägenhet, men det är som sagt något helt annat än att ChatGPT i sig skulle utgöra ett sådant hot.

En annan mening som sticker ut är den där Devdatt, Moa och David hävdar att "Häggströms åsikt [är] att vi inom 10–20 år kommer ha självförbättrande, medveten och illvillig [...] AGI". Detta är en förvanskning av min position på så många plan att jag knappt vet var jag skall börja, men i alla fall:

• Den påstådda tidtabellen bygger på min GP-formulering "på sistone har allt fler bedömare pekat på 10-20 år fram i tiden som en fullt möjlig tidtabell [för AGI]". Här har finns alltså en glidning både från vad som är fullt möjligt till vad som faktiskt kommer att ske, och från vad "allt fler bedömare" anser till vad jag själv skulle anse. I själva verket vet åtminstone David (både från min bok Tänkande maskiner och från våra årliga debatter på Chalmers) att min subjektiva sannolikhetsfördelning för när ett AGI-genombrott är att vänta är väldigt mycket mer utspridd än så.
• Om vi hamnar i en situation med en "självförbättrande, medveten och illvillig AGI" är vi med all sannolikhet rökta, men tvärtemot den ståndpunkt Devdatt, Moa och David tillskriver mig så förutspår jag inte att så kommer att inträffa, utan alla mina debattinlägg på detta område syftar till att vi bör undvika att hamna i den situationen.
• Vadå "medveten"? Jag säger inte ett knyst om medvetande i min GP-artikel, och åter vill jag hänvisa till Tänkande maskiner, där jag ägnar ett helt kapitel (som jag bara inte begriper hur David kan ha missat) åt att förklara dels varför jag är agnostisk i frågan om huruvida AI-medvetande överhuvudtaget är möjligt, dels varför den frågan i själva verket har på sin höjd perifer betydelse för risken att vi går under i en AI-apokalyps.
• Det här med att AGI:n skulle vara "illvillig" är också ett misstförstånd. Jag ser det som tämligen osannolikt att vi drabbas av en superintelligent AGI som verkligen vill oss illa. Desto större är risken (om vi inte sköter våra kort väl när det gäller AI alignment) att en sådan AGI har en målsättning för vilken mänskligheten rätt och slätt är irrelevant och som aktualiserar det default-scenario jag i min GP-artikel lånade av Eliezer Yudkowsky: "AI:n varken hatar dig eller älskar dig, men du är gjord av atomer som den kan ha annan användning för".

2. Polariserande falsk dikotomi

I min ovan nämnda Tänkande maskiner från 2021 behandlar jag en bred uppsättning viktiga framtidsfrågor i samband med AI, vilka jag (lite grovt) delar upp i de jordnära och de högtflygande. De jordnära handlar om risker och möjligheter med AI-teknologier som antingen redan finns eller uppenbart står för dörren, medan de högtflygande handlar om AGI-genombrott, Singulariteter och liknande. Båda dessa kategorier av framtidsfrågor är väldigt viktiga, men tyvärr finns en tendens hos forskare och debattörer att ställa dem mot varandra. I ett föredrag i november förra året som jag tidigare uppmärksammat här på bloggen ger den amerikanske datalogen Scott Aaronson förljande tillspetsade men inte helt felaktiga beskrivning av läget:

To an outsider hearing the terms ''AI safety,'' ''AI ethics,'' ''AI alignment,'' they all sound like kind of synonyms, right? It turns out, and this was one of the things I had to learn going into this, that AI ethics and AI alignment are two communities that despise each other. It’s like the People’s Front of Judea versus the Judean People’s Front from Monty Python.

Tyvärr spelar Devdatt, Moa och David rakt in i denna polariserande och kontraproduktiva dynamik när de beskriver problemet med min GP-artikel som att tal om AGI "riskerar att förflytta uppmärksamheten från många viktiga utmaningar som verkligen behöver adresseras här och nu". Men vi behöver inte välja mellan de jordnära och de högtflygande AI-frågorna! Båda är viktiga! Vi kan ta båda på allvar! Och som bloggaren Scott Alexander skrev i en reaktion på ChatGPT i december:

[T]he people who want less racist AI now, and the people who want to not be killed by murderbots in twenty years, need to get on the same side right away. The problem isn't that we have so many great AI alignment solutions that we should squabble over who gets to implement theirs first. The problem is that the world's leading AI companies do not know how to control their AIs. Until we solve this, nobody is getting what they want. [kursivering i original]

Fotnot

1) Utöver detta ogillar jag artikelförfattarnas anklagelser om att jag skulle ägna mig åt "skrämselpropaganda" och "sensationslystna påståenden". Som jag förklarade mer utförligt i en bloggpost från 2017 rubricerad Killer robots and the meaning of sensationalism är det inte alla varningsord om extrema och fruktansvärda framtidsscenarier som förtjänar dylika stämplar, utan det hänger på om de risker som påtalas är reella eller påhittade. Troligtvis håller Devdatt, Moa och David med om detta i princip, men de trampar i så fall alldeles fel när de placerar mina varningsord i den senare kategorin.

* * *

Edit 27 februari 2023: När jag fick se debattinlägget av Devdatt, Moa och David bestämde jag mig omedelbart för att deras kritik mot min ursprungsartikel inte var substantiell nog att förtjäna ett bemötande i GP. Denna bloggpost kunde gott räcka, tänkte jag. Efter påstötning från GP:s debattredaktion om att en slutreplik trots allt var önskvärd så gick jag till slut med på att skriva en sådan. Den är nu publicerad, med rubriken Forskareliten är övertygad om att AI snart kan bli smartare än människan.