A message from Guido Reichstadter, who is on hunger strike outside Anthropic's offices

I am somewhat in two minds about the leading AI company Anthropic. On one hand, they are pretty much the world's best AI safety lab, producing so much extraordinarily interesting work, such as their papers on Alignment faking in large language models and on Agentic misalignment. For that I love them. On the other hand, that work is deeply insufficient for robustly protecting against AI apocalypse, and yet they push full speed ahead on capabilities in a way that makes them one of the main contributors to the reckless race towards the AGI precipice. For that I detest them.

Those are mixed feelings. On balance, though, I do not think their work on AI safety makes up for their reckless endangering of all of our lives.

An increasing number of people are reaching a similar conclusion, including in particular Guido Reichstadter, who is currently on his 8th day of hunger strike outside Anthropic's offices in San Francisco.¹ For this, he has my deepest admiration and respect. Here is his message from yesterday:

Hey it’s Guido! It’s Day 7 out here in front of Anthropic, going strong!

Last week I delivered a letter to the security desk addressed to Dario Amodei, asking him to stop putting the lives of my family and our community in danger through his reckless participation in the race to dangerous AI which he acknowledges risks the lives of everyone on Earth, and to do everything in his power to stop the global AI race. I told him I would be waiting outside his offices at 500 Howard Street, San Francisco, untill he responds.

I figure that if a man has consciuosly decided to put my life at risk of imminent harm, as well as the lives of my family - not to mention everyone on Earth - he owes it to me to look me in the eyes and tell me why he won’t stop doing so.

I’ve been outside his offices for 7 days so far, and haven’t heard a word from Mr. Amodei. Not a single Anthropic employee has taken the time of day to talk to the man starving outside their doors. Most of them keep their eyes to the ground as they leave the lobby I’m posted squarely in front of, as though the granite flooring had suddenly captured their attention. Maybe Mr. Amodei and his employees don’t think my petition that he respect my life and the lives of our community deserves a response. Maybe he thinks my right to life and the lives of my family deserve as much attention as a piece of dirt. If that is the case then you can be sure he thinks your life deserves as much respect too, and that’s how much he will give it as he continues to develop the most dangerous technology on the planet.

I believe that Mr. Amodei will conduct himself honorably and explain himself face to face. I worry perhaps that he might not have got my letter though, so I’m posting it publicly to him here. And I’d like to encourage everyone reading this to share this to the public accounts of Mr. Amodei and all the Anthropic employees, and to encourage him to meet with the man waiting outside his door.

Here is the text of the letter I delivered to the front desk of Anthropic’s offices at 500 Howard street:

To Dario Amodei, CEO Anthropic
September 2, 2025

Mr. Amodei-
My name is Guido Reichstadter. I am full of grief and concern for the safety and well-being of my family and loved ones as well as people everywhere who are endangered by the project to build artificial general intelligence and superintelligence which Anthropic is contributing to under your leadership.

I request that you stop endangering all of us by the pursuit of these AI systems and request that you join the effort to end this threat by ending these projects globally. I also exhort you to do everything in your ability to make our society aware of the serious and urgent danger it is in on account of the AI emergency.

For the sake of my children and with the urgency and gravity of our situation in my heart I have begun a hunger strike outside of the Anthropic offices at 500 Howard street while I await your response.

Sincerely,
Guido Reichstadter

Well said! And surely Dario Amodei will grant Guido Reichstadter a meeting? If and when that happens, I have a paper which I completed last month and which I believe can be useful as discussion material for that meeting: Advanced AI and the ethics of risking everything.

Footnote

1) Simultaneously, Michaël Trazzi and Denys Sheremet are on a similar hunger strike outside the offices of Google DeepMind in London. They, too, have my admiration and respect.

AI-riskförnekarargumentationens ihålighet: ett illustrativt exempel

I mina två senste bloggposter (16 augusti respektive 22 augusti) har jag rapporterat om ett meningsutbyte i tidningen Ny Teknik i vilket jag av fyra Chalmerskollegor angrips för att bedriva skrämselpropaganda i mitt tal om AI-risk, jämte en radiodebatt mellan mig och en av de fyra - Moa Johansson - som ägde rum i Sveriges Radios Studio Ett mitt under den pågående skriftväxlingen. Som framgår av min bloggrapportering är jag djupt kritisk mot nivån på de fyra kollegornas retorik.

Men det tog inte slut där, för i tisdags (den 26 augusti) tussades jag på nytt ihop med Moa Johansson, denna gång i SVT:s Aktuellt, med programledren Nike Nylander som moderator. Det jag vill göra här är att sätta strålkastarljuset på Johanssons avslutningsreplik, som trots att den blott består av några få meningar utgör ett slags koncentrat av mycket av den ihålighet som brukar prägla det slags AI-riskförnekarargumentation som det här handlar om.⁰

För lite kontext återger jag här även min egen (som det skulle visa sig) sista replik.¹ Min debattmotståndare hade just avfärdat hela den AI-riskforskning jag försöker torgföra som blott bestående av spekulativa filosofiska tankeexperiment, utan förankring i empiriska observationer.

NN: Olle Häggström, det är rena spekulationer säger Moa Johansson här.

OH: Det känns inte som att hon har en riktigt aktuell bild av hur AI-riskforskningen ser ut. För tio år sedan så hade det legat ganska mycket i den här bilden. Då dominerades forskningen av tankeexperiment, abstrakta modeller, och så vidare, som man tänkte kring. Men vad som hände då, det var att AI-riskforskare förutspådde med hjälp av de här modellerna att AI-system kan komma att utveckla självbevarelsedrift, och bete sig lögnaktigt och manipulativt, och motstå försök att stänga av dem, och sådana saker. Och de här grejerna, de observerar vi nu, i den ena efter den andra av empiriska studier. Så det här är exempel på de data som man faktiskt börjar se nu. Det finns andra data, som handlar om hur snabbt AI-utvecklingen går, och som ger möjlighet att extrapolera in i framtiden. Ingenting här är säkert, men när man extrapolerar en trend, och den går i alarmerande riktning, då behöver man i alla fall ta den på allvar menar jag.

NN: Moa Johansson, jag vill fråga dig: det här, för oss som inte kan så mycket om det här så är det här väldigt konstigt ändå att ni som kan jättemycket om AI landar i så här helt olika slutsatser. Vad tänker du om det, att ni forskare tycker så här olika om en så otroligt viktig fråga?

MJ: Jag vill då påpeka att som Olle säger att jag inte följt med i någon AI-risklitteratur så tänker jag att Olle Häggström kanske inte ändå har följt med tillräckligt djupt in i den tekniska litteraturen, för då skulle han kunna känna igen att de här scenarierna som han nämner, att AI inte vill bli avstängd, och så vidare, det finns ingen grund för det. Det är, återigen, spekulationer och hype. Man måste skilja på det som är kanske hype, ren reklam från vissa AI-företag som vill släppa en spektakulär pressrelease. Men det stämmer helt enkelt inte att det finns några empiriska fakta att AI-system inte skulle vilja bli avstängda. När man talar om stora språkmodeller, som producerar text, så kan man få en stor språkmodell att säga väldigt mycket olika saker, "jag vill inte bli avstängd", och det beror ju på att stora språkmodeller är tränade på data från internet. På internet finns även alla de här science fiction-historierna som har cirkulerat sedan AI:s födelse. AI, maskinintelligens, är ett av de mest populära ämnena för science fiction, tillsammans med rymdresor.

Här avbröt Nike Nylander med meddelandet att tiden för vårt samtal dessvärre var ute. Jag vet inte om Moa Johansson avsiktligt spekulerade i om det här skulle bli sista ordet, men på det här visat slapp hon i alla fall få de förödande bristerna i sin argumentation påpekade. I annat fall hade jag kunnat lyfta fram någon eller några av följande punkter:

• Det är såklart inte behagligt att få sin egen okunskap påpekad i direktsänd TV, men Moa Johansson bäddade själv för detta med sina svepande påståenden om ett forskningsområde som hon uppenbarligen blott har den allra ytligaste bekantskap med, och hennes tu quoque-svar är verkligen bisarrt. Hon påstår att mitt tal om hur man observerat olika slags adversariellt strategiskt agerande hos stora språkmodeller är grundlöst, och att jag skulle ha insett detta om blott jag hade "följt med tillräckligt djupt in i den tekniska litteraturen". Vad blir då hennes diagnos på exempelvis världens mest citerade AI-forskare Yoshua Bengio, eller på världens näst mest citrade AI-forskare tillika Nobelpristagare Geoffrey Hinton, när de säger samma sak som jag i denna fråga? Har inte heller dessa båda herrar "följt med tillräckligt djupt in i den tekniska litteraturen"? Här kan jag känna en impuls att be Moa Johansson att visa mig (och herrarna Bengio och Hinton) de referenser som bevisar att något AI-agerande av det slag vi här talar om inte föreligger. Men min impuls är så klart meningslös: några sådana referenser finns inte, och hennes påstående är gripet ur luften. Eller för att tolka henne en liten aning mer välvilligt: om man som Moa Johansson är förtjust i "stochastic parrots"-begreppet och hör frasen "LLMs are just stochastic parrots" tillräckligt ofta, så kan man till slut få för sig att inga nya emergenta fenomen kan uppstå ur detta papegojande,² glömsk av att den saken motbevisats hundra gånger om de senaste åren.
• Moa Johansson försöker påskina att den evidens jag avser för att AI inte vill³ bli avstängd består av yttranden AI gjort av typen "jag vill inte bli avstängd". Om det stannade vid det skulle jag gå med på att evidensen var tämligen svag, för vi vet ju alla att när någon säger sig vilja något kan det inte alltid tas at face value.⁴ Men som Johansson myckt väl vet går de AI-system man experimenterat med längre än så, och agerar för att undgå avstängning. En studie från Apollo Research från slutet av förra året visar t.ex. hur en AI som fått tillgång till dokumentation som tyder på att den kan komma att stängas av om den i tester uppvisar färdigheter på en viss nivå väljer⁵ att i testerna mörka dessa färdigheter. Och en nyare studie från Anthropic visar hur den i samma syfte⁶ (att undgå avstängning) vidtar åtgärder för att försöka⁷ utpressa sin ägare, och i ett extremt scenario till och med mörda denne.
• Moa Johansson hävdar att det är till följd av science fiction-historier i träningsdata där fiktiva AI försöker undgå avstängning som vi ser något liknande i laboratorieförsök med existerande AI. Detta är en intressant spekulation, men tvärtemot Johanssons tvärsäkra formulering är det just en spekulation.⁸ Men ok, låt oss för resonemangets skull anta att spekulationen är korrekt. Kan vi då på Johanssons vis avfärda fenomenet? Hon tycks tro det, men som jag skriver om saken i min förra bloggpost: "AI:s förmågor är vad de är, [och] att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns".⁹
• När man vill stänga sitt sinne helt för evidens i oönskad riktning kan man, som en sista desperat åtgärd, hävda att evidensen är förfalskad, exempelvis för att skapa "reklam" och att kunna "släppa en spektakulär pressrelease". Uppenbarligen är det så Moa Johansson ser på ovan nämnda studier från Apollo och Anthropic. Att hon sjunkit så djupt i sin argumentation är ett tydligt tecken på hur ohållbar hennes position är.

Men inget av detta fick jag alltså tillfälle att påpeka i Aktuellt-sändningen.

Slutligen. Några av dem som hört av sig till mig efter att ha sett Aktuellt-inslaget har antytt att jag verkade arg. Med anledning härav vill jag understryka att jag absolut inte har något emot samtal och debatter med rejält delade meningar. Så länge alla inblandade håller sig till intellektuellt hederlig argumentation är allt gott och väl, men när någon avviker alltför flagrant från det händer det att min sinnesstämning förmörkas en smula, och detta gäller i extra hög grad när det är en universitetsforskarkollega som förfaller till demagogi och oredlighet. Det kan ha varit något av detta som tv-tittarna anade bakom mitt ack så dåliga pokerface.

Fotnoter

0) Se även Jonas von Essens reflektioner om samma Aktuellt-debatt, i hans pinfärska artikel Riskerna med AI låter som science fiction - men går inte att vifta bort i Ny Teknik.

1) Jag ber läsaren ha översende med vilket slarvigt och ostrukturerat intryck talat språk nästan alltid ger så snart det sätts på pränt.

2) Denna bisarra tanke - analog med med att hävda att eftersom min hjärna blott består av atomer och elementarpartiklar så kan ingen tanke emergera i min hjärna som går bortom det själlösa och triviala interagerandet mellan elementarpartiklar - är dessvärre nödvändig för att ge talet om stokastiska papegojor någon som helst argumentativ stuns.

3) Här är det möjligt att inleda en semantisk diskussion om ordet "vill", och hävda att vilja är ett exklusivt mänskligt fenomen och att det därför är ett kategorifel att diskutera vilja hos en AI. Den sortens direkt cirkulära argument för att underkänna AI:s olika kompetenser per definition är jag dock inte intresserad av. När jag talar om "vilja" i detta sammanhang är det i behavioristisk mening: en AI:s vilja att uppnå något utfall U är de informations- och beräkningsstrukturer i AI:n inre som får dem att agera för att U skall inträffa - oavsett i vad mån dessa strukturer liknar eller skiljer sig från motsvarande hjärnverksamhet hos en människa som vill U. (Det finns flera goda skäl till ett sådant språkbruk, varav ett i AI-risksammanhang särskilt relevant är att det primärt viktiga ur AI-risksynpunkt är hur en AI agerar snarare än hur människolika dess inre maskinerier är.) Vän av ordning som anser att mitt bruk av ordet är en olämplig antropomorfism är välkommen att föreställa sig att jag istället för "vilja" och "vill" skriver "schvilja" och "schvill", samt på motsvarande sätt skriver "schönskan", "schpreferens", "schresonemang", "schkunskap", "schförståelse", och så vidare, men jag avstår helst från dessa fula och i längden tröttsamma sch-prefix.

4) Som när en byråkrat eller en kollega säger "Jag skulle såklart gärna vilja hjälpa dig, men...".

5) Schväljer.

6) Schyfte.

7) Schförsöker. Äh, ni fattar grejen vid det här laget, väl?

8) Ett fullt möjligt, om än dyrt, sätt att testa av hur mycket det ligger i denna spekulation vore att jämte, säg, GPT-5, träna en parallell modell på exakt samma sätt men med den enda skillnaden att sådana science fiction-historier tvättats bort från träningsdatamängden, och se vilken skillnad man kan uppmäta i modellernas tendens till självbevarelsedrift. Gissningsvis finns smartare sätt att testa detta, och jag skulle vara mycket intresserad av att få se resultatet. Moa Johansson däremot hyser knappast något sådant intresse, eftersom hon uppenbarligen anser sig veta svaret på förhand.

9) Jag kan inte föreställa mig annat än att Moa Johansson, som förberedelse för vår Aktuellt-debatt, hade läst min bloggpost. Men trots att jag där alltså påpekar det uppenbart felaktiga i hennes argumentation drar hon sig inte för att helt skamlöst dra samma vals igen för SVT:s tittare.

Fortsatt oenighet bland Chalmersforskare om AI-risk

Häromdagen, i min förra bloggpost, rapporterade jag om den debatt i tidningen Ny Teknik som började med ett inlägg rubricerat GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker av Chalmersforskarna Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki den 14 augusti, och följdes dagen efter av min replik Oansvarigt om AI-risker av de fyra Chalmerskollegerna. Vad som hänt sedan dess är dels att Moa Johansson och jag möttes i en kort muntlig diskussion i Sveriges Radios Studio Ett i förrgår (den 20 augusti), dels att hela kvartetten idag (22 augusti) återkommit med en ny text i Ny Teknik rubricerad AI-debatten bör bygga på vetenskap – inte på spekulation. Den har av tidningsredaktionen förärats status av "slutreplik", vilket såklart inte hindrar att jag här på bloggen meddelar mina reaktioner.

Varning vs prediktion

I sin ursprungsartikel den 14 augusti gör Berglund et al stor sak av att jag ett par år tidigare i samma tidning skrivit att vi "inte [kan] ta för givet att vi överlever en otillräckligt säkrad GPT-5", och menar att det faktum att vi trots att GPT-5 släpptes tidigare denna månad ännu är i liv visar att mina varningsord var "förhastade och missriktade". Jag valde att inte säga något i min replik om denna sammanblandning mellan risk och prediktion eftersom utrymmet var begränsat och jag bedömde den vara så urbota dum att det vore onödigt att skriva just detta argumentationsfel Ny Tekniks läsare på näsan. Troligen har dock andra personer hört av sig till författarkvartetten angående detta argumentationsfel, då de uppenbarligen känner sig manade att i sin slutreplik försvara denna argumentation. De kallar det "erbarmligt svagt" att insistera på denna disktinktion och menar att yttrandet av mina varningsord är analogt med att hävda att vi

inte [kan] utesluta att Gud kommer att straffa Sverige som ett resultat av kyrkflytten i Kiruna, och denna fråga är extremt akut!¹

Jag gratulerar Berglund et al till att ha kommit på denna färgstarka metafor. Låt mig föreslå en alternativ metafor.

En femåring korsar en bilväg medelst metoden att hålla för ögonen och rusa i full fart rakt fram. Berglund får syn på detta, och blir så förskräckt att han griper tag om femåringen och meddelar att metoden är livsfarlig eftersom han (femåringen) kan bli överkörd. Femåringen sliter sig ur Berglunds grepp, och rusar blint tillbaka till den ursprungliga sidan av vägen samt ropar triumferande att Berglunds varningsord var "förhastade och missriktade" i och med att passagen gick bra och inte medförde någon bilolycka.

Skillnaden mellan kyrkflytten och bilvägspassagen ligger naturligtvis i graden av rimlighet: i kyrflyttsfallet varnas för ett långsökt och konstlat och rent ut sagt orimligt scenario utan stöd i någon som helst evidens, medan varningen i bilvägspassagefallet rör ett med tanke på evidensläget ytterst rimligt scenario. Så hur skall man då bedöma mina varningsord från 2023? Det hela kokar ned till om det scenario jag varnade för var rimligt. Jag anser att det var rimligt (och därför mer liknar bilvägspassageexemplet) medan Berglund et al anser att det var orimligt. Det är denna orimlighet de behöver påvisa istället för att i generella ordalag döma ut distinktionen mellan varning och prediktion. Tyvärr är det tunnsått i deras debattinlägg med konkret sådan argumentation.

Spekulation vs vetenskap

Berglund et al verkar tro att luddigheten i deras argumentation för att någon risk för AI-katastrof inte föreligger på något sätt trollas bort genom att de tillräckligt många gånger upprepar att deras påstående grundar sig i vetenskaplig empiri. Exakt vari denna empiri består förblir något oklart, och än mer hur den leder till deras tvärsäkra slutsats. Samtidigt säger de i dagens slutreplik att min argumentation "primärt [vilar] på abstrakta, spekulativa tankeexperiment och påminner mer om science fiction än vetenskap". Här får man faktiskt glädjas en smula åt ordet "primärt", som möjligen kan förstås som en uppmjukning jämfört med ursprungsartikeln - sedan jag i min replik länkat till METR och AI 2027 kan de inte längre med att hävda att argumentationen hos oss som tar existentiell AI-risk på allvar är fri från empiri. Det är i så fall ett framsteg, men de borde då inse att vad som behöver göras är att väga de olika empiriska underlagen mot varandra. I stället fortsätter de hojta om science fiction, som om det faktum att datalogiforskningen var så mycket trögare än Hollywood med att reagera på Alan Turings ödesmättade ord från 1951 om att "at some stage [...] we should have to expect the machines to take control" på något vis skulle implicera att existentiell AI-risk inte är på riktigt.

Bida sin tid

En potentiell svårighet med att säkra avancerad AI mot att ha farliga förmågor och böjelser är att en tillräckligt avancerad AI kan välja att mörka dessa och bida sin tid tills dess den blivit ännu mer kraftfull eller på annat vis hamnat i ett bättre läge att skrida till handling. Fullständigt orimligt att så skulle kunna ske, tycker Berglund et al, men eftersom jag i min replik i Ny Teknik länkar till en Anthropic-studie som påvisar empiriskt att redan dagens AI har viss förmåga till sådant rävspel, så kan de inte låtsas okunniga om denna evidens. Istället för att förneka den spekulerar(!) de om denna förmåga möjligen kan bero på att liknande scenarier finns i den science fiction-litteratur som ingår i AI:s träningsdata. Därmed gills det inte, tycks de mena. Men AI:s förmågor är vad de är, oavsett om Berglunds et al spekulation stämmer eller inte. Att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns.

Brist på konsensus

Berglund et al skriver i dagens inlägg att det "finns verkligen ingen konsensus i fältet om att uppskalning av dagens AI-modeller skulle leda till vare sig AGI [...] eller än mindre till uppkomsten av AI med plötsliga, okontrollerbara förmågor". Jag känner såklart till detta. Vissa forskare anser AGI vara inom nära räckhåll medan andra lutar åt motsatt slutsats. Inte heller jag känner mig tillnärmelsevis säker i denna fråga, och inget i min argumentation för att ta existentiell AI-risk på allvar bygger på någon tvärsäkerhet om vad som kommer att hända. Men till skillnad från Berglund et al menar jag att en sådan brist på konsensus ger anledning till ödmjukhet och försiktighet snarare än till slutsatsen att risken är noll.

Ad hominem

"Jag är AI-forskare, jag har god teknisk kunskap", kände sig Moa Johansson manad att framhålla i onsdagens radiodebatt, och i dagens Ny Teknik-artikel återkommer hon och hennes medförfattare med viss pompa till hur kompetenta de minsann är. Men medan Johansson i radioinslaget stannade vi det och lät påståendet att jag saknar denna kompetens förbli underförstått, så går de i artikeln vidare och hävdar att "Häggström följer [...] inte den tekniska litteraturen" inom AI. Även om vi för resonemanget skull antog att påståendet är sant, så uppstår frågan: hur tusan vet de vilken litteratur jag följer eller inte följer? Det här är rent hittepå från Berglund et als sida.

Vart vill de då komma med detta? Jo, de ansluter sig till medförfattaren Devdatt Dubhashis uppfattning att den enda kompetens som räknas inom AI är den där man "bidrar aktivt till den tekniska AI-utvecklingen". Dubhashi har i snart tio år kampanjat (till en början i direkt konfrontation med mig, men på senare år mestadels bakom min rygg) för att jag bör hålla truten eller i annat fall inte lyssnas på eller erbjudas diverse plattformar, med hänvisning till att jag inte uppfyller hans ytterst specifika krav på vad som är verklig AI-kompetens. Kompetens inom områden som AI-risk och AI-futurologi räknas inte - faktiskt inte ens i diskussioner som (likt denna) handlar om just dessa områden.

Förlåt min franska, men jag finner det direkt fåraktigt av Berglund et al att driva denna argumentation, och det av två skäl. För det första är den analog med den (förhoppningvis uppenbart!) flänga idén att man i diskussioner om låt oss säga jordbrukets framtid skulle behöva vara bonde för att förtjäna att tas på allvar. För det andra är den linje jag här driver i stora drag densamma som den Geoffrey Hinton förfäktar, så för att Berglund et als ad hominem-attack skall fungera så behöver de påvisa att inte heller Hinton "bidrar aktivt till den tekniska AI-utvecklingen". Nog för att Berglund et al hävdat många konstiga saker, men en fullt så flagrant felaktighet tror jag inte att de vill försvara.

Nåväl, gör då inte jag mig skyldig till motsvarande ad hominem-argumentation då jag i min Ny Teknik-replik kommenterar en dumhet i Berglund et als ursprungsartikel med att "allt de därmed påvisar är den egna okunnigheten om AI-risklitteraturen"? Nej, jag tycker inte det, eftersom det jag skriver uppenbart är tänkt inte som en kommentar om dem som personer, utan om felen i deras artikel. Nu påstår de att "i motsats till vad Häggström tror är vi bekanta även med [AI-risk-litteraturen]". Jaha minsann. Hur skall man då förklara att Johansson i radioinslaget upprepade gånger ger uttryck för föreställningen att AI-risk-litteraturen kopplar existentiell AI-risk till fenomenet medvetande, eller att de i sin ursprungsartikel för ett resonemang som förbiser "bida sin tid"-fenomenet (se ovan), eller deras ständiga påståenden om att denna litteratur är fri från empiri? Jag trodde faktiskt att jag gav dem the benefit of the doubt genom antagandet att dessa exempel bottnade i bristande bekantskap med litteraturen ifråga, men om vi skall ta på allvar deras insisterande på att de faktiskt besitter denna bekantskap, då blir slutsatsen istället att de låtsas okunniga för att lättare kunna göra sina retoriska poänger. Eller med andra ord, de narras!

Skrämselpropaganda

Redan 2023 anklagade Dubhashi och Johansson (i en lite annan författarkonstellation) mig för "skrämselpropaganda", ett ord som återkommer i båda deras nu aktuella Ny Teknik-artiklar. I den sista av dessa varierar de också sitt språkbruk en smula och talar även om "alarmism".

Very well. Den situation vi (mänskligheten) befinner oss i med anledning av den framrusande AI-utvecklingen är ohyggligt skrämmande. Om det räknas som "skrämselpropaganda" att tala klarspråk om detta - må så vara. Vad Berglund et al dock bör vara medvetna om är att de med den sortens okvädningsord bidrar till ett samtalsklimat där det blir svårare för forskare som tycker sig se stora samhällsfaror på något område att slå larm.

Sammanfattning

Diskussionen i Berglunds et al ursprungsartikel den 14 augusti var på en nivå som jag inte tycker borde anstå universitetsforskare, och den blev knappast särskilt mycket bättre i dagens slutreplik. I min replik den 15 augusti avslutade jag med en släng om hur genant det var att arbeta vid samma lärosäte som en grupp forskare som tillåter sig denna nivå. Det står jag fast vid, men det är egentligen inte det som är det riktigt allvarliga. Det riktigt allvarliga är att de genom sin desinformtionskampanj försvårar uppkomsten av den breda och samtidigt rationella och faktabaserade publika diskussion om AI-risk som vi så väl behöver om vi skall kunna sätta stopp för den extremt farliga utveckling som nu pågår.

Fotnot

1) Kyrkflytten färdigställdes igår, och deras text verkar vara författad dessförinnan.

Tillägg 27 augusti 2025:

Igår, den 26 augusti, fich jag möta Moa Johansson ännu en gång, denna gång i SVT:s Aktuellt (med start ca 22:40 in i sändningen). Jag kan inte tänka mig annat än att hon som en del av sina förberedelser läst denna bloggpost, men hennes inlärningskurva förefaller dessvärre ganska platt, då hon i sändningen upprepade såväl sitt svepande och felaktiga påstående om bristen på empiri inom AI-riskforskningen som det bisarra argument jag diskuterar i avsnittet Bida sin tid ovan.

Chalmersandan!

Oenighet bland Chalmersforskare om AI-risk

För den som följt denna blogg noggrant i några år kommer förekomsten av djupa oenigheter mellan olika Chalmersforskare i frågor som rör AI-risk knappast som någon överraskning, men nu har de nått offentligheten igen. Lite förenklat kan det sägas föreligga två falanger, där den ena hävdar antingen att existentiella AI-risker (alltså sådana som handlar om eller är i nivå med utrotning av mänskligheten) är ett hjärnspöke eller att de av andra skäl bör förtigas, medan den andra (vilken jag tillhör) menar att dessa risker behöver tas på stort allvar, jämte de mer jordnära AI-risker som rör bias, deepfakes, havererande examination av studenter, etc. Det som nu hänt är att fyra företrädare för det första falangen skrivit en debattartikel med rubriken GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker och fått den publicerad i Ny Teknik i torsdags, den 14 augusti 2025. Artikeln är påfallande illa argumenterad - så till den grad att läsare lätt kan få intrycket att förmågan till strukturerat och logiskt tänkande inte är något krav för en forskartjänst på Chalmers - och för den som värnar om lärosätets goda rykte kan detta eventuellt ses som skäl till att ignorera den i hopp om att den skall tigas ihjäl.

En sådan taktik är dock vanligtvis inte min melodi, och jag finner frågor om AI-risk oerhört viktiga och är angelägen om att reda ut missförstånd och missuppfattningar på detta område. Dessutom råkar det vara så att de fyra artikelförfattarna - Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki - formuerar sitt debattinlägg som ett svar på en text jag skrev i samma tidning den 24 mars 2023 (alltså för nära två och ett halvt år sedan!), och att tidningsredaktionen omedelbart efter publiceringen bjöd in mig att skriva replik. Detta resulterade i en text som publicerades dagen efter (alltså igår) med rubriken Oansvarigt om AI-risker av de fyra Chalmerskollegerna, i vilken jag på ett förödande (om än inte uttömmande) vis pekar ut några av bristerna i Berglunds et al argumentation. Vi får se om detta blir sista ordet, men jag har en föraning om att så inte är fallet. Så här börjar mitt inlägg:

Serietecknaren Zach Wienersmith ritade för några år sedan en teckning där man ser silhuetterna av två individer som diskuterar så kallad superintelligens. Den ena oroar sig för att en sådan varelse skulle kunna ta över världen, medan den andra avfärdar sådana tankar som paranoia. I nästa serieruta ser vi att de två individerna är apor, och att entiteten de talar om är en stenåldersmänniska.

Det är naturligtvis en allegori för AI-utvecklingen. Ända sedan 1950-talet har AI-forskningen haft som vision att så småningom skapa övermänskligt kapabel AI. Lika långt tillbaka går varningarna för att mänskligheten om detta lyckas kan komma att förlora kontrollen. Alan Turing framhöll det i ett känt uttalande från 1951, och bland de många nutida experter som varnar för att det i värsta fall kan leda till slutet för Homo sapiens finns världens tre mest citerade AI-forskare Yoshua Bengio, Geoffrey Hinton och Ilya Sutskever, varav Hinton som bekant förra året belönades med Nobelpriset för att ha lagt en stor del av grunden till dagens rasande snabba AI-utveckling.

Länge framstod superintelligent AI som något ganska avlägset, men vi står nu på randen till ett skifte i AI-utvecklingen där de skickligaste AI-utvecklarna inte längre är människor av kött och blod utan AI-systemen själva. Detta medför ett slags turbofeedback i utvecklingen som kan få den att skena bortom all kontroll, och det är till stor del denna mekanism som får ledande experter att varna för att livsfarlig superintelligens kan bli en realitet redan före 2030.

Likt den andra apan i Wienersmiths teckning vill Henrik Berglund och tre andra Chalmersforskare i Ny Teknik den 14 augusti vifta undan den sortens varningsord. De uppmanar till att ”spekulera lite mindre” och att fokusera helt på de mer jordnära risker som redan existerande AI-system ger upphov till. Det finns naturligtvis gott om sådana problem vi bör hantera – deepfakes, maktkoncentration, med mera – men vad Berglund och hans medförfattare inte tycks inse är att deras förslag att ignorera de mer avancerade risker som framtida AI kan medföra i sig bygger på en tämligen avancerad spekulation, nämligen att AI-utvecklingen inom några månader skall komma att avstanna helt. Och visst, i princip skulle det kunna bli så, men att ta det för givet är oansvarigt på en nivå som riskerar mänsklighetens överlevnad.

Läs gärna fortsättningen här!

With great power comes great responsibility

As I've argued at length elsewhere (and nowhere at greater length than in my latest book), what is currently going on at the leading AI companies in Silicon Valley and San Francisco is likely to have stupendous influence on our lives and the entire future of humanity. Their ambitions for the intended transformation of society are on a stratospheric and hitherto unmatched level, but so are the risks. With great power comes great responsibility, yet they are proceeding at reckless speed, and they have not asked us for permission to risk our lives. It is hardly an exaggeration to call their behavior a unilateral moral trespass against humanity.

I expand on this matter in my brand-new manuscript Advanced AI and the ethics of risking everything, which also serves as a complement to my latest blog post, on OpenAI's CEO Sam Altman, in which I express my opinion about his behavior in just a few crisp swear words. In the new text I elaborate more extensively and with somewhat more polished language. Here is how it begins:

Imagine sitting in the back seat of a taxi with your two closest family members. As you approach the bridge across the canal, you notice that a ship is waiting to pass and that the bridge has slowly begun to lift. The driver, visibly annoyed by the delay, turns to you and your loved ones and asks “Shall we try and jump it?”. You quickly calculate that doing so would save five minutes, at the cost of a 1% probability of a crash that kills everyone in the car. Do you give the driver your permission?

In a Hollywood movie, you would probably say yes. But this is real life and you are not insane, so of course you politely decline the driver’s reckless suggestion.

Next consider Sam Altman, CEO of OpenAI, facing the decision of whether to release the newly developed GPT-5. (There’s a good chance that when this reaches the reader, release of GPT-5 has already happened, but at the time of writing, in August 2025, it is still a hypothetical future event.)

Read the rest of my manuscript here!

On Sam Altman

Sam Altman is CEO of OpenAI, and in that capacity he qualifies easily on my top ten list of the world's most influential people today. So when a biography of him is published, it does make some sense to read it. But Keach Hagey's The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future turned out to be a disappointment.¹ One of the things I want most from a biography, regardless of whether it is about someone I admire or someone I consider morally corrupt, is a window into the subject's inner world that allows me (at least to some extent) to understand and to empathize with them. The Optimist does not achieve this, because even though the main focus of every chapter of the book is Altman, he remains an opaque and distant character throughout. I am uncertain about whether this opacity is a personality trait of Altman (despite his often powerful and spellbinding stage performances) or a shortcoming of the book. What perhaps speaks for the latter interpretation is that all the supporting characters of the book come across as equally distant.

Overall, I found the book boring. Altman's childhood and adolescence is given only a very cursory treatment, and the description of his adventures with his first startup Loopt is equally shallow but filled with Silicon Valley and venture capital jargon. Especially boring is how, about a dozen times, the author starts a kind of one-page mini-biography of some supporting character, beginning with their place of birth and parents' occupation, etc, but one is never rewarded with any insights to which this background information comes across as particularly relevant. Somewhat more attuned to my interest are the later chapters of the book, about OpenAI, but to those of us who have been following the AI scene closely in recent years, there is very little in the direction of new revelations.

One aspect of Altman's personality and inner world that strikes me as especially important to understand (but to which the book does not have much to offer) is his view of AI existential risk. Up until "the blip" in November 2023, it seemed that Altman was fairly open about the risk that the technology he was developing might spell doom - ranging from his pre-OpenAI statement that "AI will probably most likely lead to the end of the world, but in the meantime there will be great companies created" to his repeated statements in 2023 about the possibility of "lights out for all of us" and his signing of the CAIS open letter on extinction risk the same year. But after that, he became suddenly very quiet about that aspect of AI. Why is that? Did he come across some new evidence suggesting we are fine when it comes to AI safety, or did he just realize it might be bad for business to speak about how one's product might kill everyone? We deserve to know, but remain in the dark about this.

In fact, Altman still leaks the occasional utterance suggesting he remains concerned. On July 22 this year, he tweeted this:

woke up early on a saturday to have a couple of hours to try using our new model for a little coding project.

done in 5 minutes. it is very, very good.

not sure how i feel about it...

To which I replied, on a different social media platform:²

Sam Altman, you creep, excuse my French but could you shut the f*** up? Or to state this a bit more clearly: if you feel conflicted because your next machine might do damage to the world, the right way is not to be a crybaby and treat your four million Twitter followers and all the rest of us as if we were your private therapist; the right way is to NOT BUILD THAT GODDAMN MACHINE!

That is, in a sense, worse language than I usually employ, but in this case I consider it warranted.

Footnotes

1) Another Altman biography, Karen Hao's Empire of AI, was published this spring, almost simultaneously with Hagey's. So perhaps that one is better? Could be, but Shakeel Hashim, who has read both books, actually likes The Optimist better than Empire of AI, and a lot better than I did.

2) In late 2023 I left Twitter in disgust over how its CEO was using it.

Om de kommande 25 åren

Är det troligt att AI-utvecklingen kommer av sig och att perioden fram till 2050 kommer att präglas av stagnation? Karim Jebari svarar ja i sin artikel Minns ni millennieskiftet? Snart är det 2050 i DN i onsdags. Den är läsvärd, om än inte övertygande i dess centrala budskap, så jag lät mig provoceras att skicka in en replik till DN, som dock har avböjt publicering. Refuseringsbrevet åtföljdes inte av någon närmare motivering än ”dessvärre”, varför fältet ligger fritt för spekulationer om huruvida redaktionen anser att förhindrandet av en AI-apokalyps är en preifer och oviktig fråga, eller helt enkelt att min text är illa skriven. Döm själva, här är min replik:

Dags att ta AI på allvar

En förkrossande majoritet av alla framtidsanalyser man idag finner i dagspress och på annat håll verkar – oavsett om de handlar om klimatförändringar, demografi, geopolitik, ekonomisk tillväxt eller andra samhällsaspekter – vila på ett och samma outtalade men ganska djärva antagande. Den närmast totala frånvaron av AI i de scenarier som diskuteras kan nämligen bara förstås som att man tar för givet att AI-utvecklingen inom mycket kort kommer att plana ut, och att inte heller den AI som redan finns kommer att få några genomgripande samhällskonsekvenser.

Skälet till att jag kallar antagandet djärvt är att vi idag, 2025, befinner oss i en skenande AI-utveckling där vi står på tröskeln till ett nytt skede där denna utveckling inte främst drivs av AI-forskare av kött och blod, utan av AI-systemen själva. Inom något år eller två kan dessa system väntas överträffa även de vassaste mänskliga mjukvaruutvecklarna och AI-forskarna, något som i så fall skapar ett slags turbofeedback som kan komma att accelerera utvecklingen ytterligare. Eventuellt kan det hela komma att kulminera i det som visionärer på området kallat intelligensexplosion eller singularitet, där AI uppnår så kallad superintelligens, långt bortom mänskliga nivåer. Såväl företrädare för ledande AI-bolag inklusive OpenAI och Anthropic som mer oberoende experter talar alltmer om detta som något som kan komma att realiseras under innevarande årtionde, alltså före 2030.

Inget av detta är ristat i sten, och teknisk utveckling är notoriskt svår att prognosticera, men jag menar att sådana scenarier behöver tas på största allvar. Ändå ignoreras de helt i den bredare framtidsdiskurs jag pekade på i inledningen. Även min framtidsforskarkollega Karim Jebari (DN 9/7 2025) tror mer på stagnation än på singularitet, men jämfört med nämnda diskurs har hans framställning en stor fördel: antagandet tydliggörs explicit. Därmed kan det både kritiseras och försvaras, istället för att bara tas för givet. Jebari försvarar sitt stagnationsscenario med ett antal faktorer som han tror kan bromsa AI-driven tillväxt. Han talar bland annat om en åldrande befolkning, om behovet av att hantera klimatförändringar, och om de praktiska svårigheterna med att implementera AI-lösningar i samhälle och industri. Allt detta är beaktansvärda aspekter, men min bedömning är att om väl turbon i AI:s självförbättringsspiral kommer i gång på allvar så blir deras bromsande inverkan marginell.

En annan dygd Jebari uppvisar i sin text (utöver tydliggörandet av antaganden) är att han inte tvärsäkert slår fast sina prognoser utan uppvisar intellektuell ödmjukhet. Kanske det stora AI-genombrottet – det han kallar ”en andra digital revolution” – trots allt blir av? Men när han föreslår att dess påverkan på samhället och våra liv under perioden 2025-2050 i så fall kan väntas bli i nivå med förändringarna under tillväxtperioden 1945-1970 tyder det på att han trots allt inte på allvar förmår föreställa sig effekterna av superintelligent AI. Ta bara en sådan sak som att vi med en sådan hamnar i ett läge där allt mänskligt arbete onödiggörs, något som torde medföra samhällsförändringar ojämförligt större än dem vi sett under efterkrigstiden.

Och kommer mänskligheten att i närvaro av en ännu intelligentare art alls att kunna behålla kontrollen? Denna ödesmättade fråga lyfte fysikpristagaren Geoffrey Hinton – ofta beskriven som AI-utvecklingens ”gudfader” – i sitt tal på Nobelbanketten 2024, och varken de ledande AI-bolagen eller någon annan har idag några säkra svar på hur mänsklig kontroll skall kunna säkerställas.

De flesta medborgare är ännu omedvetna om de enorma risker som den pågående AI-kapplöpningen medför: ett slags rysk roulette med hela vår fortsatta existens i potten. Många skulle nog hävda att riskerna är oacceptabla, men för att protestera behöver man först och främst känna till dem. Det är därför en viktig demokratifråga att våra framtidsdiskussioner blir bättra på att lyfta den avgörande roll AI-tekniken kan komma att få.