Fortsatt oenighet bland Chalmersforskare om AI-risk

Häromdagen, i min förra bloggpost, rapporterade jag om den debatt i tidningen Ny Teknik som började med ett inlägg rubricerat GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker av Chalmersforskarna Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki den 14 augusti, och följdes dagen efter av min replik Oansvarigt om AI-risker av de fyra Chalmerskollegerna. Vad som hänt sedan dess är dels att Moa Johansson och jag möttes i en kort muntlig diskussion i Sveriges Radios Studio Ett i förrgår (den 20 augusti), dels att hela kvartetten idag (22 augusti) återkommit med en ny text i Ny Teknik rubricerad AI-debatten bör bygga på vetenskap – inte på spekulation. Den har av tidningsredaktionen förärats status av "slutreplik", vilket såklart inte hindrar att jag här på bloggen meddelar mina reaktioner.

Varning vs prediktion

I sin ursprungsartikel den 14 augusti gör Berglund et al stor sak av att jag ett par år tidigare i samma tidning skrivit att vi "inte [kan] ta för givet att vi överlever en otillräckligt säkrad GPT-5", och menar att det faktum att vi trots att GPT-5 släpptes tidigare denna månad ännu är i liv visar att mina varningsord var "förhastade och missriktade". Jag valde att inte säga något i min replik om denna sammanblandning mellan risk och prediktion eftersom utrymmet var begränsat och jag bedömde den vara så urbota dum att det vore onödigt att skriva just detta argumentationsfel Ny Tekniks läsare på näsan. Troligen har dock andra personer hört av sig till författarkvartetten angående detta argumentationsfel, då de uppenbarligen känner sig manade att i sin slutreplik försvara denna argumentation. De kallar det "erbarmligt svagt" att insistera på denna disktinktion och menar att yttrandet av mina varningsord är analogt med att hävda att vi

inte [kan] utesluta att Gud kommer att straffa Sverige som ett resultat av kyrkflytten i Kiruna, och denna fråga är extremt akut!¹

Jag gratulerar Berglund et al till att ha kommit på denna färgstarka metafor. Låt mig föreslå en alternativ metafor.

En femåring korsar en bilväg medelst metoden att hålla för ögonen och rusa i full fart rakt fram. Berglund får syn på detta, och blir så förskräckt att han griper tag om femåringen och meddelar att metoden är livsfarlig eftersom han (femåringen) kan bli överkörd. Femåringen sliter sig ur Berglunds grepp, och rusar blint tillbaka till den ursprungliga sidan av vägen samt ropar triumferande att Berglunds varningsord var "förhastade och missriktade" i och med att passagen gick bra och inte medförde någon bilolycka.

Skillnaden mellan kyrkflytten och bilvägspassagen ligger naturligtvis i graden av rimlighet: i kyrflyttsfallet varnas för ett långsökt och konstlat och rent ut sagt orimligt scenario utan stöd i någon som helst evidens, medan varningen i bilvägspassagefallet rör ett med tanke på evidensläget ytterst rimligt scenario. Så hur skall man då bedöma mina varningsord från 2023? Det hela kokar ned till om det scenario jag varnade för var rimligt. Jag anser att det var rimligt (och därför mer liknar bilvägspassageexemplet) medan Berglund et al anser att det var orimligt. Det är denna orimlighet de behöver påvisa istället för att i generella ordalag döma ut distinktionen mellan varnig och prediktion. Tyvärr är det tunnsått i deras debattinlägg med konkret sådan argumentation.

Spekulation vs vetenskap

Berglund et al verkar tro att luddigheten i deras argumentation för att någon risk för AI-katastrof inte föreligger på något sätt trollas bort genom att de tillräckligt många gånger upprepar att deras påstående grundar sig i vetenskaplig empiri. Exakt vari denna empiri består förblir något oklart, och än mer hur den leder till deras tvärsäkra slutsats. Samtidigt säger de i dagens slutreplik att min argumentation "primärt [vilar] på abstrakta, spekulativa tankeexperiment och påminner mer om science fiction än vetenskap". Här får man faktiskt glädjas en smula åt ordet "primärt", som möjligen kan förstås som en uppmjukning jämfört med ursprungsartikeln - sedan jag i min replik länkat till METR och AI 2027 kan de inte längre med att hävda att argumentationen hos oss som tar existentiell AI-risk på allvar är fri från empiri. Det är i så fall ett framsteg, men de borde då inse att vad som behöver göras är att väga de olika empiriska underlagen mot varandra. I stället fortsätter de hojta om science fiction, som om det faktum att datalogiforskningen var så mycket trögare än Hollywood med att reagera på Alan Turings ödesmättade ord från 1951 om att "at some stage [...] we should have to expect the machines to take control" på något vis skulle implicera att existentiell AI-risk inte är på riktigt.

Bida sin tid

En potentiell svårighet med att säkra avancerad AI mot att ha farliga förmågor och böjelser är att en tillräckligt avancerad AI kan välja att mörka dessa och bida sin tid tills dess den blivit ännu mer kraftfull eller på annat vis hamnat i ett bättre läge att skrida till handling. Fullständigt orimligt att så skulle kunna ske, tycker Berglund et al, men eftersom jag i min replik i Ny Teknik länkar till en Anthropic-studie som påvisar empiriskt att redan dagens AI har viss förmåga till sådant rävspel, så kan de inte låtsas okunniga om denna evidens. Istället för att förneka den spekulerar(!) de om denna förmåga möjligen kan bero på att liknande scenarier finns i den science fiction-litteratur som ingår i AI:s träningsdata. Därmed gills det inte, tycks de mena. Men AI:s förmågor är vad de är, oavsett om Berglunds et al spekulation stämmer eller inte. Att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns.

Brist på konsensus

Berglund et al skriver i dagens inlägg att det "finns verkligen ingen konsensus i fältet om att uppskalning av dagens AI-modeller skulle leda till vare sig AGI [...] eller än mindre till uppkomsten av AI med plötsliga, okontrollerbara förmågor". Jag känner såklart till detta. Vissa forskare anser AGI vara inom nära räckhåll medan andra lutar åt motsatt slutsats. Inte heller jag känner mig tillnärmelsevis säker i denna fråga, och inget i min argumentation för att ta existentiell AI-risk på allvar bygger på någon tvärsäkerhet om vad som kommer att hända. Men till skillnad från Berglund et al menar jag att en sådan brist på konsensus ger anledning till ödmjukhet och försiktighet snarare än till slutsatsen att risken är noll.

Ad hominem

"Jag är AI-forskare, jag har god teknisk kunskap", kände sig Moa Johansson manad att framhålla i onsdagens radiodebatt, och i dagens Ny Teknik-artikel återkommer hon och hennes medförfattare med viss pompa till hur kompetenta de minsann är. Men medan Johansson i radioinslaget stannade vi det och lät påståendet att jag saknar denna kompetens förbli underförstått, så går de i artikeln vidare och hävdar att "Häggström följer [...] inte den tekniska litteraturen" inom AI. Även om vi för resonemanget skull antog att påståendet är sant, så uppstår frågan: hur tusan vet de vilken litteratur jag följer eller inte följer? Det här är rent hittepå från Berglund et als sida.

Vart vill de då komma med detta? Jo, de ansluter sig till medförfattaren Devdatt Dubhashis uppfattning att den enda kompetens som räknas inom AI är den där man "bidrar aktivt till den tekniska AI-utvecklingen". Dubhashi har i snart tio år kampanjat (till en början i direkt konfrontation med mig, men på senare år mestadels bakom min rygg) för att jag bör hålla truten eller i annat fall inte lyssnas på eller erbjudas diverse plattformar, med hänvisning till att jag inte uppfyller hans ytterst specifika krav på vad som är verklig AI-kompetens. Kompetens inom områden som AI-risk och AI-futurologi räknas inte - faktiskt inte ens i diskussioner som (likt denna) handlar om just dessa områden.

Förlåt min franska, men jag finner det direkt fåraktigt av Berglund et al att driva denna argumentation, och det av två skäl. För det första är den analog med den (förhoppningvis uppenbart!) flänga idén att man i diskussioner om låt oss säga jordbrukets framtid skulle behöva vara bonde för att förtjäna att tas på allvar. För det andra är den linje jag här driver i stora drag densamma som den Geoffrey Hinton förfäktar, så för att Berglund et als ad hominem-attack skall fungera så behöver de påvisa att inte heller Hinton "bidrar aktivt till den tekniska AI-utvecklingen". Nog för att Berglund et al hävdat många konstiga saker, men en fullt så flagrant felaktighet tror jag inte att de vill försvara.

Nåväl, gör då inte jag mig skyldig till motsvarande ad hominem-argumentation då jag i min Ny Teknik-replik kommenterar en dumhet i Berglund et als ursprungsartikel med att "allt de därmed påvisar är den egna okunnigheten om AI-risklitteraturen"? Nej, jag tycker inte det, eftersom det jag skriver uppenbart är tänkt inte som en kommentar om dem som personer, utan om felen i deras artikel. Nu påstår de att "i motsats till vad Häggström tror är vi bekanta även med [AI-risk-litteraturen]". Jaha minsann. Hur skall man då förklara att Johansson i radioinslaget upprepade gånger ger uttryck för föreställningen att AI-risk-litteraturen kopplar existentiell AI-risk till fenomenet medvetande, eller att de i sin ursprungsartikel för ett resonemang som förbiser "bida sin tid"-fenomenet (se ovan), eller deras ständiga påståenden om att denna litteratur är fri från empiri? Jag trodde faktiskt att jag gav dem the benefit of the doubt genom antagandet att dessa exempel bottnade i bristande bekantskap med litteraturen ifråga, men om vi skall ta på allvar deras insisterande på att de faktiskt besitter denna bekantskap, då blir slutsatsen istället att de låtsas okunniga för att lättare kunna göra sina retoriska poänger. Eller med andra ord, de narras!

Skrämselpropaganda

Redan 2023 anklagade Dubhashi och Johansson (i en lite annan författarkonstellation) mig för "skrämselpropaganda", ett ord som återkommer i båda deras nu aktuella Ny Teknik-artiklar. I den sista av dessa varierar de också sitt språkbruk en smula och talar även om "alarmism".

Very well. Den situation vi (mänskligheten) befinner oss i med anledning av den framrusande AI-utvecklingen är ohyggligt skrämmande. Om det räknas som "skrämselpropaganda" att tala klarspråk om detta - må så vara. Vad Berglund et al dock bör vara medvetna om är att de med den sortens okvädningsord bidrar till ett samtalsklimat där det blir svårare för forskare som tycker sig se stora samhällsfaror på något område att slå larm.

Sammanfattning

Diskussionen i Berglunds et al ursprungsartikel den 14 augusti var på en nivå som jag inte tycker borde anstå universitetsforskare, och den blev knappast särskilt mycket bättre i dagens slutreplik. I min replik den 15 augusti avslutade jag med en släng om hur genant det var att arbeta vid samma lärosäte som en grupp forskare som tillåter sig denna nivå. Det står jag fast vid, men det är egentligen inte det som är det riktigt allvarliga. Det riktigt allvarliga är att de genom sin desinformtionskampanj försvårar uppkomsten av den breda och samtidigt rationella och faktabaserade publika diskussion om AI-risk som vi så väl behöver om vi skall kunna sätta stopp för den extremt farliga utveckling som nu pågår.

Fotnot

1) Kyrkflytten färdigställdes igår, och deras text verkar vara författad dessförinnan.

Oenighet bland Chalmersforskare om AI-risk

För den som följt denna blogg noggrant i några år kommer förekomsten av djupa oenigheter mellan olika Chalmersforskare i frågor som rör AI-risk knappast som någon överraskning, men nu har de nått offentligheten igen. Lite förenklat kan det sägas föreligga två falanger, där den ena hävdar antingen att existentiella AI-risker (alltså sådana som handlar om eller är i nivå med utrotning av mänskligheten) är ett hjärnspöke eller att de av andra skäl bör förtigas, medan den andra (vilken jag tillhör) menar att dessa risker behöver tas på stort allvar, jämte de mer jordnära AI-risker som rör bias, deepfakes, havererande examination av studenter, etc. Det som nu hänt är att fyra företrädare för det första falangen skrivit en debattartikel med rubriken GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker och fått den publicerad i Ny Teknik i torsdags, den 14 augusti 2025. Artikeln är påfallande illa argumenterad - så till den grad att läsare lätt kan få intrycket att förmågan till strukturerat och logiskt tänkande inte är något krav för en forskartjänst på Chalmers - och för den som värnar om lärosätets goda rykte kan detta eventuellt ses som skäl till att ignorera den i hopp om att den skall tigas ihjäl.

En sådan taktik är dock vanligtvis inte min melodi, och jag finner frågor om AI-risk oerhört viktiga och är angelägen om att reda ut missförstånd och missuppfattningar på detta område. Dessutom råkar det vara så att de fyra artikelförfattarna - Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki - formuerar sitt debattinlägg som ett svar på en text jag skrev i samma tidning den 24 mars 2023 (alltså för nära två och ett halvt år sedan!), och att tidningsredaktionen omedelbart efter publiceringen bjöd in mig att skriva replik. Detta resulterade i en text som publicerades dagen efter (alltså igår) med rubriken Oansvarigt om AI-risker av de fyra Chalmerskollegerna, i vilken jag på ett förödande (om än inte uttömmande) vis pekar ut några av bristerna i Berglunds et al argumentation. Vi får se om detta blir sista ordet, men jag har en föraning om att så inte är fallet. Så här börjar mitt inlägg:

Serietecknaren Zach Wienersmith ritade för några år sedan en teckning där man ser silhuetterna av två individer som diskuterar så kallad superintelligens. Den ena oroar sig för att en sådan varelse skulle kunna ta över världen, medan den andra avfärdar sådana tankar som paranoia. I nästa serieruta ser vi att de två individerna är apor, och att entiteten de talar om är en stenåldersmänniska.

Det är naturligtvis en allegori för AI-utvecklingen. Ända sedan 1950-talet har AI-forskningen haft som vision att så småningom skapa övermänskligt kapabel AI. Lika långt tillbaka går varningarna för att mänskligheten om detta lyckas kan komma att förlora kontrollen. Alan Turing framhöll det i ett känt uttalande från 1951, och bland de många nutida experter som varnar för att det i värsta fall kan leda till slutet för Homo sapiens finns världens tre mest citerade AI-forskare Yoshua Bengio, Geoffrey Hinton och Ilya Sutskever, varav Hinton som bekant förra året belönades med Nobelpriset för att ha lagt en stor del av grunden till dagens rasande snabba AI-utveckling.

Länge framstod superintelligent AI som något ganska avlägset, men vi står nu på randen till ett skifte i AI-utvecklingen där de skickligaste AI-utvecklarna inte längre är människor av kött och blod utan AI-systemen själva. Detta medför ett slags turbofeedback i utvecklingen som kan få den att skena bortom all kontroll, och det är till stor del denna mekanism som får ledande experter att varna för att livsfarlig superintelligens kan bli en realitet redan före 2030.

Likt den andra apan i Wienersmiths teckning vill Henrik Berglund och tre andra Chalmersforskare i Ny Teknik den 14 augusti vifta undan den sortens varningsord. De uppmanar till att ”spekulera lite mindre” och att fokusera helt på de mer jordnära risker som redan existerande AI-system ger upphov till. Det finns naturligtvis gott om sådana problem vi bör hantera – deepfakes, maktkoncentration, med mera – men vad Berglund och hans medförfattare inte tycks inse är att deras förslag att ignorera de mer avancerade risker som framtida AI kan medföra i sig bygger på en tämligen avancerad spekulation, nämligen att AI-utvecklingen inom några månader skall komma att avstanna helt. Och visst, i princip skulle det kunna bli så, men att ta det för givet är oansvarigt på en nivå som riskerar mänsklighetens överlevnad.

Läs gärna fortsättningen här!

With great power comes great responsibility

As I've argued at length elsewhere (and nowhere at greater length than in my latest book), what is currently going on at the leading AI companies in Silicon Valley and San Francisco is likely to have stupendous influence on our lives and the entire future of humanity. Their ambitions for the intended transformation of society are on a stratospheric and hitherto unmatched level, but so are the risks. With great power comes great responsibility, yet they are proceeding at reckless speed, and they have not asked us for permission to risk our lives. It is hardly an exaggeration to call their behavior a unilateral moral trespass against humanity.

I expand on this matter in my brand-new manuscript Advanced AI and the ethics of risking everything, which also serves as a complement to my latest blog post, on OpenAI's CEO Sam Altman, in which I express my opinion about his behavior in just a few crisp swear words. In the new text I elaborate more extensively and with somewhat more polished language. Here is how it begins:

Imagine sitting in the back seat of a taxi with your two closest family members. As you approach the bridge across the canal, you notice that a ship is waiting to pass and that the bridge has slowly begun to lift. The driver, visibly annoyed by the delay, turns to you and your loved ones and asks “Shall we try and jump it?”. You quickly calculate that doing so would save five minutes, at the cost of a 1% probability of a crash that kills everyone in the car. Do you give the driver your permission?

In a Hollywood movie, you would probably say yes. But this is real life and you are not insane, so of course you politely decline the driver’s reckless suggestion.

Next consider Sam Altman, CEO of OpenAI, facing the decision of whether to release the newly developed GPT-5. (There’s a good chance that when this reaches the reader, release of GPT-5 has already happened, but at the time of writing, in August 2025, it is still a hypothetical future event.)

Read the rest of my manuscript here!

On Sam Altman

Sam Altman is CEO of OpenAI, and in that capacity he qualifies easily on my top ten list of the world's most influential people today. So when a biography of him is published, it does make some sense to read it. But Keach Hagey's The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future turned out to be a disappointment.¹ One of the things I want most from a biography, regardless of whether it is about someone I admire or someone I consider morally corrupt, is a window into the subject's inner world that allows me (at least to some extent) to understand and to empathize with them. The Optimist does not achieve this, because even though the main focus of every chapter of the book is Altman, he remains an opaque and distant character throughout. I am uncertain about whether this opacity is a personality trait of Altman (despite his often powerful and spellbinding stage performances) or a shortcoming of the book. What perhaps speaks for the latter interpretation is that all the supporting characters of the book come across as equally distant.

Overall, I found the book boring. Altman's childhood and adolescence is given only a very cursory treatment, and the description of his adventures with his first startup Loopt is equally shallow but filled with Silicon Valley and venture capital jargon. Especially boring is how, about a dozen times, the author starts a kind of one-page mini-biography of some supporting character, beginning with their place of birth and parents' occupation, etc, but one is never rewarded with any insights to which this background information comes across as particularly relevant. Somewhat more attuned to my interest are the later chapters of the book, about OpenAI, but to those of us who have been following the AI scene closely in recent years, there is very little in the direction of new revelations.

One aspect of Altman's personality and inner world that strikes me as especially important to understand (but to which the book does not have much to offer) is his view of AI existential risk. Up until "the blip" in November 2023, it seemed that Altman was fairly open about the risk that the technology he was developing might spell doom - ranging from his pre-OpenAI statement that "AI will probably most likely lead to the end of the world, but in the meantime there will be great companies created" to his repeated statements in 2023 about the possibility of "lights out for all of us" and his signing of the CAIS open letter on extinction risk the same year. But after that, he became suddenly very quiet about that aspect of AI. Why is that? Did he come across some new evidence suggesting we are fine when it comes to AI safety, or did he just realize it might be bad for business to speak about how one's product might kill everyone? We deserve to know, but remain in the dark about this.

In fact, Altman still leaks the occasional utterance suggesting he remains concerned. On July 22 this year, he tweeted this:

woke up early on a saturday to have a couple of hours to try using our new model for a little coding project.

done in 5 minutes. it is very, very good.

not sure how i feel about it...

To which I replied, on a different social media platform:²

Sam Altman, you creep, excuse my French but could you shut the f*** up? Or to state this a bit more clearly: if you feel conflicted because your next machine might do damage to the world, the right way is not to be a crybaby and treat your four million Twitter followers and all the rest of us as if we were your private therapist; the right way is to NOT BUILD THAT GODDAMN MACHINE!

That is, in a sense, worse language than I usually employ, but in this case I consider it warranted.

Footnotes

1) Another Altman biography, Karen Hao's Empire of AI, was published this spring, almost simultaneously with Hagey's. So perhaps that one is better? Could be, but Shakeel Hashim, who has read both books, actually likes The Optimist better than Empire of AI, and a lot better than I did.

2) In late 2023 I left Twitter in disgust over how its CEO was using it.