En medborgare och matematiker ger synpunkter på samhällsfrågor, litteratur och vetenskap.
fredag 19 september 2025
Debatten om AI-risk behöver en rejäl uppryckning
tisdag 9 september 2025
A message from Guido Reichstadter, who is on hunger strike outside Anthropic's offices
-
Hey it’s Guido! It’s Day 7 out here in front of Anthropic, going strong!
Last week I delivered a letter to the security desk addressed to Dario Amodei, asking him to stop putting the lives of my family and our community in danger through his reckless participation in the race to dangerous AI which he acknowledges risks the lives of everyone on Earth, and to do everything in his power to stop the global AI race. I told him I would be waiting outside his offices at 500 Howard Street, San Francisco, untill he responds.
I figure that if a man has consciuosly decided to put my life at risk of imminent harm, as well as the lives of my family - not to mention everyone on Earth - he owes it to me to look me in the eyes and tell me why he won’t stop doing so.
I’ve been outside his offices for 7 days so far, and haven’t heard a word from Mr. Amodei. Not a single Anthropic employee has taken the time of day to talk to the man starving outside their doors. Most of them keep their eyes to the ground as they leave the lobby I’m posted squarely in front of, as though the granite flooring had suddenly captured their attention. Maybe Mr. Amodei and his employees don’t think my petition that he respect my life and the lives of our community deserves a response. Maybe he thinks my right to life and the lives of my family deserve as much attention as a piece of dirt. If that is the case then you can be sure he thinks your life deserves as much respect too, and that’s how much he will give it as he continues to develop the most dangerous technology on the planet.
I believe that Mr. Amodei will conduct himself honorably and explain himself face to face. I worry perhaps that he might not have got my letter though, so I’m posting it publicly to him here. And I’d like to encourage everyone reading this to share this to the public accounts of Mr. Amodei and all the Anthropic employees, and to encourage him to meet with the man waiting outside his door.
Here is the text of the letter I delivered to the front desk of Anthropic’s offices at 500 Howard street:
To Dario Amodei, CEO Anthropic
September 2, 2025
Mr. Amodei-
My name is Guido Reichstadter. I am full of grief and concern for the safety and well-being of my family and loved ones as well as people everywhere who are endangered by the project to build artificial general intelligence and superintelligence which Anthropic is contributing to under your leadership.
I request that you stop endangering all of us by the pursuit of these AI systems and request that you join the effort to end this threat by ending these projects globally. I also exhort you to do everything in your ability to make our society aware of the serious and urgent danger it is in on account of the AI emergency.
For the sake of my children and with the urgency and gravity of our situation in my heart I have begun a hunger strike outside of the Anthropic offices at 500 Howard street while I await your response.
Sincerely,
Guido Reichstadter
fredag 29 augusti 2025
AI-riskförnekarargumentationens ihålighet: ett illustrativt exempel
-
NN: Olle Häggström, det är rena spekulationer säger Moa Johansson här.
OH: Det känns inte som att hon har en riktigt aktuell bild av hur AI-riskforskningen ser ut. För tio år sedan så hade det legat ganska mycket i den här bilden. Då dominerades forskningen av tankeexperiment, abstrakta modeller, och så vidare, som man tänkte kring. Men vad som hände då, det var att AI-riskforskare förutspådde med hjälp av de här modellerna att AI-system kan komma att utveckla självbevarelsedrift, och bete sig lögnaktigt och manipulativt, och motstå försök att stänga av dem, och sådana saker. Och de här grejerna, de observerar vi nu, i den ena efter den andra av empiriska studier. Så det här är exempel på de data som man faktiskt börjar se nu. Det finns andra data, som handlar om hur snabbt AI-utvecklingen går, och som ger möjlighet att extrapolera in i framtiden. Ingenting här är säkert, men när man extrapolerar en trend, och den går i alarmerande riktning, då behöver man i alla fall ta den på allvar menar jag.
NN: Moa Johansson, jag vill fråga dig: det här, för oss som inte kan så mycket om det här så är det här väldigt konstigt ändå att ni som kan jättemycket om AI landar i så här helt olika slutsatser. Vad tänker du om det, att ni forskare tycker så här olika om en så otroligt viktig fråga?
MJ: Jag vill då påpeka att som Olle säger att jag inte följt med i någon AI-risklitteratur så tänker jag att Olle Häggström kanske inte ändå har följt med tillräckligt djupt in i den tekniska litteraturen, för då skulle han kunna känna igen att de här scenarierna som han nämner, att AI inte vill bli avstängd, och så vidare, det finns ingen grund för det. Det är, återigen, spekulationer och hype. Man måste skilja på det som är kanske hype, ren reklam från vissa AI-företag som vill släppa en spektakulär pressrelease. Men det stämmer helt enkelt inte att det finns några empiriska fakta att AI-system inte skulle vilja bli avstängda. När man talar om stora språkmodeller, som producerar text, så kan man få en stor språkmodell att säga väldigt mycket olika saker, "jag vill inte bli avstängd", och det beror ju på att stora språkmodeller är tränade på data från internet. På internet finns även alla de här science fiction-historierna som har cirkulerat sedan AI:s födelse. AI, maskinintelligens, är ett av de mest populära ämnena för science fiction, tillsammans med rymdresor.
- Det är såklart inte behagligt att få sin egen okunskap påpekad i direktsänd TV, men Moa Johansson bäddade själv för detta med sina svepande påståenden om ett forskningsområde som hon uppenbarligen blott har den allra ytligaste bekantskap med, och hennes tu quoque-svar är verkligen bisarrt. Hon påstår att mitt tal om hur man observerat olika slags adversariellt strategiskt agerande hos stora språkmodeller är grundlöst, och att jag skulle ha insett detta om blott jag hade "följt med tillräckligt djupt in i den tekniska litteraturen". Vad blir då hennes diagnos på exempelvis världens mest citerade AI-forskare Yoshua Bengio, eller på världens näst mest citrade AI-forskare tillika Nobelpristagare Geoffrey Hinton, när de säger samma sak som jag i denna fråga? Har inte heller dessa båda herrar "följt med tillräckligt djupt in i den tekniska litteraturen"? Här kan jag känna en impuls att be Moa Johansson att visa mig (och herrarna Bengio och Hinton) de referenser som bevisar att något AI-agerande av det slag vi här talar om inte föreligger. Men min impuls är så klart meningslös: några sådana referenser finns inte, och hennes påstående är gripet ur luften. Eller för att tolka henne en liten aning mer välvilligt: om man som Moa Johansson är förtjust i "stochastic parrots"-begreppet och hör frasen "LLMs are just stochastic parrots" tillräckligt ofta, så kan man till slut få för sig att inga nya emergenta fenomen kan uppstå ur detta papegojande,2 glömsk av att den saken motbevisats hundra gånger om de senaste åren.
- Moa Johansson försöker påskina att den evidens jag avser för att AI inte vill3 bli avstängd består av yttranden AI gjort av typen "jag vill inte bli avstängd". Om det stannade vid det skulle jag gå med på att evidensen var tämligen svag, för vi vet ju alla att när någon säger sig vilja något kan det inte alltid tas at face value.4 Men som Johansson myckt väl vet går de AI-system man experimenterat med längre än så, och agerar för att undgå avstängning. En studie från Apollo Research från slutet av förra året visar t.ex. hur en AI som fått tillgång till dokumentation som tyder på att den kan komma att stängas av om den i tester uppvisar färdigheter på en viss nivå väljer5 att i testerna mörka dessa färdigheter. Och en nyare studie från Anthropic visar hur den i samma syfte6 (att undgå avstängning) vidtar åtgärder för att försöka7 utpressa sin ägare, och i ett extremt scenario till och med mörda denne.
- Moa Johansson hävdar att det är till följd av science fiction-historier i träningsdata där fiktiva AI försöker undgå avstängning som vi ser något liknande i laboratorieförsök med existerande AI. Detta är en intressant spekulation, men tvärtemot Johanssons tvärsäkra formulering är det just en spekulation.8 Men ok, låt oss för resonemangets skull anta att spekulationen är korrekt. Kan vi då på Johanssons vis avfärda fenomenet? Hon tycks tro det, men som jag skriver om saken i min förra bloggpost: "AI:s förmågor är vad de är, [och] att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns".9
- När man vill stänga sitt sinne helt för evidens i oönskad riktning kan man, som en sista desperat åtgärd, hävda att evidensen är förfalskad, exempelvis för att skapa "reklam" och att kunna "släppa en spektakulär pressrelease". Uppenbarligen är det så Moa Johansson ser på ovan nämnda studier från Apollo och Anthropic. Att hon sjunkit så djupt i sin argumentation är ett tydligt tecken på hur ohållbar hennes position är.
0) Se även Jonas von Essens reflektioner om samma Aktuellt-debatt, i hans pinfärska artikel Riskerna med AI låter som science fiction - men går inte att vifta bort i Ny Teknik.
1) Jag ber läsaren ha översende med vilket slarvigt och ostrukturerat intryck talat språk nästan alltid ger så snart det sätts på pränt.
2) Denna bisarra tanke - analog med med att hävda att eftersom min hjärna blott består av atomer och elementarpartiklar så kan ingen tanke emergera i min hjärna som går bortom det själlösa och triviala interagerandet mellan elementarpartiklar - är dessvärre nödvändig för att ge talet om stokastiska papegojor någon som helst argumentativ stuns.
3) Här är det möjligt att inleda en semantisk diskussion om ordet "vill", och hävda att vilja är ett exklusivt mänskligt fenomen och att det därför är ett kategorifel att diskutera vilja hos en AI. Den sortens direkt cirkulära argument för att underkänna AI:s olika kompetenser per definition är jag dock inte intresserad av. När jag talar om "vilja" i detta sammanhang är det i behavioristisk mening: en AI:s vilja att uppnå något utfall U är de informations- och beräkningsstrukturer i AI:n inre som får dem att agera för att U skall inträffa - oavsett i vad mån dessa strukturer liknar eller skiljer sig från motsvarande hjärnverksamhet hos en människa som vill U. (Det finns flera goda skäl till ett sådant språkbruk, varav ett i AI-risksammanhang särskilt relevant är att det primärt viktiga ur AI-risksynpunkt är hur en AI agerar snarare än hur människolika dess inre maskinerier är.) Vän av ordning som anser att mitt bruk av ordet är en olämplig antropomorfism är välkommen att föreställa sig att jag istället för "vilja" och "vill" skriver "schvilja" och "schvill", samt på motsvarande sätt skriver "schönskan", "schpreferens", "schresonemang", "schkunskap", "schförståelse", och så vidare, men jag avstår helst från dessa fula och i längden tröttsamma sch-prefix.
4) Som när en byråkrat eller en kollega säger "Jag skulle såklart gärna vilja hjälpa dig, men...".
5) Schväljer.
6) Schyfte.
7) Schförsöker. Äh, ni fattar grejen vid det här laget, väl?
8) Ett fullt möjligt, om än dyrt, sätt att testa av hur mycket det ligger i denna spekulation vore att jämte, säg, GPT-5, träna en parallell modell på exakt samma sätt men med den enda skillnaden att sådana science fiction-historier tvättats bort från träningsdatamängden, och se vilken skillnad man kan uppmäta i modellernas tendens till självbevarelsedrift. Gissningsvis finns smartare sätt att testa detta, och jag skulle vara mycket intresserad av att få se resultatet. Moa Johansson däremot hyser knappast något sådant intresse, eftersom hon uppenbarligen anser sig veta svaret på förhand.
9) Jag kan inte föreställa mig annat än att Moa Johansson, som förberedelse för vår Aktuellt-debatt, hade läst min bloggpost. Men trots att jag där alltså påpekar det uppenbart felaktiga i hennes argumentation drar hon sig inte för att helt skamlöst dra samma vals igen för SVT:s tittare.
fredag 22 augusti 2025
Fortsatt oenighet bland Chalmersforskare om AI-risk
-
inte [kan] utesluta att Gud kommer att straffa Sverige som ett resultat av kyrkflytten i Kiruna, och denna fråga är extremt akut!1
-
En femåring korsar en bilväg medelst metoden att hålla för ögonen och rusa i full fart rakt fram. Berglund får syn på detta, och blir så förskräckt att han griper tag om femåringen och meddelar att metoden är livsfarlig eftersom han (femåringen) kan bli överkörd. Femåringen sliter sig ur Berglunds grepp, och rusar blint tillbaka till den ursprungliga sidan av vägen samt ropar triumferande att Berglunds varningsord var "förhastade och missriktade" i och med att passagen gick bra och inte medförde någon bilolycka.
lördag 16 augusti 2025
Oenighet bland Chalmersforskare om AI-risk
-
Serietecknaren Zach Wienersmith ritade för några år sedan en teckning där man ser silhuetterna av två individer som diskuterar så kallad superintelligens. Den ena oroar sig för att en sådan varelse skulle kunna ta över världen, medan den andra avfärdar sådana tankar som paranoia. I nästa serieruta ser vi att de två individerna är apor, och att entiteten de talar om är en stenåldersmänniska.
Det är naturligtvis en allegori för AI-utvecklingen. Ända sedan 1950-talet har AI-forskningen haft som vision att så småningom skapa övermänskligt kapabel AI. Lika långt tillbaka går varningarna för att mänskligheten om detta lyckas kan komma att förlora kontrollen. Alan Turing framhöll det i ett känt uttalande från 1951, och bland de många nutida experter som varnar för att det i värsta fall kan leda till slutet för Homo sapiens finns världens tre mest citerade AI-forskare Yoshua Bengio, Geoffrey Hinton och Ilya Sutskever, varav Hinton som bekant förra året belönades med Nobelpriset för att ha lagt en stor del av grunden till dagens rasande snabba AI-utveckling.
Länge framstod superintelligent AI som något ganska avlägset, men vi står nu på randen till ett skifte i AI-utvecklingen där de skickligaste AI-utvecklarna inte längre är människor av kött och blod utan AI-systemen själva. Detta medför ett slags turbofeedback i utvecklingen som kan få den att skena bortom all kontroll, och det är till stor del denna mekanism som får ledande experter att varna för att livsfarlig superintelligens kan bli en realitet redan före 2030.
Likt den andra apan i Wienersmiths teckning vill Henrik Berglund och tre andra Chalmersforskare i Ny Teknik den 14 augusti vifta undan den sortens varningsord. De uppmanar till att ”spekulera lite mindre” och att fokusera helt på de mer jordnära risker som redan existerande AI-system ger upphov till. Det finns naturligtvis gott om sådana problem vi bör hantera – deepfakes, maktkoncentration, med mera – men vad Berglund och hans medförfattare inte tycks inse är att deras förslag att ignorera de mer avancerade risker som framtida AI kan medföra i sig bygger på en tämligen avancerad spekulation, nämligen att AI-utvecklingen inom några månader skall komma att avstanna helt. Och visst, i princip skulle det kunna bli så, men att ta det för givet är oansvarigt på en nivå som riskerar mänsklighetens överlevnad.
torsdag 7 augusti 2025
With great power comes great responsibility
-
Imagine sitting in the back seat of a taxi with your two closest family members. As you approach
the bridge across the canal, you notice that a ship is waiting to pass and that the bridge has
slowly begun to lift. The driver, visibly annoyed by the delay, turns to you and your loved ones
and asks “Shall we try and jump it?”. You quickly calculate that doing so would save five
minutes, at the cost of a 1% probability of a crash that kills everyone in the car. Do you give the
driver your permission?
In a Hollywood movie, you would probably say yes. But this is real life and you are not insane, so of course you politely decline the driver’s reckless suggestion.
Next consider Sam Altman, CEO of OpenAI, facing the decision of whether to release the newly developed GPT-5. (There’s a good chance that when this reaches the reader, release of GPT-5 has already happened, but at the time of writing, in August 2025, it is still a hypothetical future event.)
fredag 1 augusti 2025
On Sam Altman
-
woke up early on a saturday to have a couple of hours to try using our new model for a little coding project.
done in 5 minutes. it is very, very good.
not sure how i feel about it...
-
Sam Altman, you creep, excuse my French but could you shut the f*** up? Or to state this a bit more clearly: if you feel conflicted because your next machine might do damage to the world, the right way is not to be a crybaby and treat your four million Twitter followers and all the rest of us as if we were your private therapist; the right way is to NOT BUILD THAT GODDAMN MACHINE!
1) Another Altman biography, Karen Hao's Empire of AI, was published this spring, almost simultaneously with Hagey's. So perhaps that one is better? Could be, but Shakeel Hashim, who has read both books, actually likes The Optimist better than Empire of AI, and a lot better than I did.
2) In late 2023 I left Twitter in disgust over how its CEO was using it.
måndag 14 juli 2025
Om de kommande 25 åren
onsdag 18 juni 2025
Pro tip on discussions about AI xrisk: don't get sidetracked
- But if (for the sake of argument) the risk is actually real, is there anything at all we can do about it?
- But doesn't this whole xrisk issue just distract from more pressing near-term AI risks which we ought to discuss instead?
- But evolution moves on, so what's the big deal anyway if humanity is replaced by some superior new kind of beings?
måndag 16 juni 2025
Fläng eftersläng från Erik Svensson
1) Jag är inte helt säker på vilket av dessa gräl som blev det allra sista, men tror det kan ha varit det som handlade om ansvarsfördelningen för den omfattande covid-döden på våra äldreboenden våren 2020. Erik hade skrivit ett inlägg (på Twitter eller Facebook - jag minns inte längre exakt var) som helt friskrev FMH från ansvar, och istället menade att ansvaret låg på äldreboendena själva och på landstingen. Jag invände att förvisso låg ett stort ansvar på landstingen och äldreboendena, men att helt friskriva FHM från ansvar är ju knappast rimligt, eftersom smittan på äldreboendena härrör från samhället i stort, så att ju större smittspridningen i samhället är desto mer drabbas äldreboendena, varför FHM:s med internationella mått släpphänta nivå på restriktioner behöver ses som en bidragande orsak till döden på äldreboendena. Därmed såklart inte sagt att denna släpphänthet per automatik är klandervärd, eftersom mycket annat än den omedelbara mortaliteten på äldreboenden behöver vägas in när man väljer nivå på restriktioner, utan mitt enkla påpekande var att FHM har ett ansvar för de konsekvenser - såväl positiva som negativa - som följer av detta nivåval. Icke, svarare Erik, ty här är det faktiskt landstingen (i synnerhet borgerligt styrda sådana) och äldreboendena som fallerat och därigenom bär ansvaret. Jag frågade då Erik om inte det kunde anses ingå i FHM:s uppdrag att i sin utformning av covidstrategi ta hänsyn till faktiska omständigheter, som exempelvis personalsituation och kompetensnivå inom allehanda samhällssektorer som exempelvis äldreomsorgen. Bör FHM härvidlag arbeta utifrån en realistisk bild av dessa förutsättningar, eller är det bättre att de utgår från en fantasibild om vad verksamheterna därute ur smittskyddssynpunkt idealt borde vara kapabla till? Min fråga var retoriskt avsedd, men döm om min häpnad då Erik svarade att FHM var i sin fulla rätt att utgå från den senare bilden - alltså ett slags rosaskimrande önskedröm om hur olika verksamheter i landet borde se ut. Jag minns att jag vid denna punkt kände att Erik hade stigit av från vår outtalade överenskommelse om att hålla oss till rationell och meningsfull diskussion, varför jag valde att inte fortsätta diskussionen, och det är också detta som får mig att tro att denna diskussion blev vår sista.
2) Erik är långt ifrån ensam om denna bisarra upphöjning av Tomas Pueyo till uppfinnare av en helt ny smittskyddsstrategi. Till och med DN:s vetenskapsredaktör Maria Gunther bidrog i en artikel hösten 2020 till spridandet av denna missuppfattning. Det tycks mig ganska troligt att Erik läst Gunthers artikel men att han däremot dessvärre missat (eller i annat fall ignorerat) mitt svar.
3) För att undvika ett debacle liknande det jag återger i slutet av Fotnot 1 vill jag betona att dessa frågor är retoriska, och att det svar jag underförstår på båda frågorna är "nej".
4) Även dessa passager innehåller dock en del bisarrerier, som hans påstående att "det gick inte att uttala sig om Sveriges pandemistrategi redan våren 2020". Det här är så dumt att jag tar mig för pannan. Vadå "gick inte"? Jag har tydliga minnen av att till och med Erik själv gjorde sådana uttalanden, så nog gick det. Mitt bästa försök till generös tolkning av hans kryptiska påstående är att han menar att vi vid denna tidpunkt inte hade facit i hand och därmed inte kunde avgöra med säkerhet vilka strategier som skulle bli framgångsrika och vilka som skulle leda i fördärv. Absolut är det så, och det var och förblir viktigt att då och då påminna sig om det, men en slutsats som inte kan dras är vi alla borde ha hållt truten och avstått från yttra oss om de olika strategierna, för trots de omfattande osäkerheterna var det ändå möjligt att göra mer eller mindre välgrundade uttalanden om vilka strategier som föreföll lovande och vilka som inte gjorde det. Att många debattörer (häribland jag) kritiserade FHM:s strategival, och många andra (häribland Erik) tog dem i försvar är enligt min mening helt i sin ordning som en viktig del av det demokratiska samtalet; härmed dock inte sagt att alla sådana kommentarer hade samma värde när det gäller att bringa klarhet och föra diskussionen framåt.
-
Hej Erik
Jag skriver mest för att försäkra mig om att du inte missat bloggposten https://haggstrom.blogspot.com/2025/06/flang-efterslang-fran-erik-svensson.html jag skrev tidigare i veckan. Jag beklagar att du blir måltavla för min text på ett sätt som antagligen inte känns jättetrevligt, men jag ser detta slags text som ett akademiskt renhållningsarbete som är absolut nödvändigt om vi skall kunna upprätthålla det viktiga förtroendet för vår profession.
Mvh och glad midsommar!
Olle
-
Hahahaha ok, så ovanpå allt annat är du även svensk språkpurist! Så till den grad att du anser bruket av ordet "gaslighting" vara ett värre felsteg än själva gaslightingen. Det påminner inte så lite om den gamla goda tid då vi fightades (oops!) sida vid sida mot klimatförnekare, och en del av dessa klimatförnekare ville bannlysa ordet "klimatförnekare". I båda fallen handlar det om att försöka skydda sig mot kritik genom att eliminera relevant vokabulär. Men tro mig, jag kommer att fortsätta använda både g-ordet och k-ordet hur mycket du och Ingemar Nordin än gormar om saken.
torsdag 5 juni 2025
Remissvar AI-kommissionen
(dnr Fi2025/00457)
- identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.
- Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.
- AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas, men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.
Daniel, A. (2023) CEO of AI company warns his tech has a large chance of ending the world, Indy100, 9 oktober.
Grace, K., Stewart, H., Fabienne Sandkühler, J., Thomas, S., Weinstein-Raun, B. och Brauner, J. (2024) Thousands of AI Authors on the Future of AI
Hinton, G. et al (2023) Statement on AI risk, Center for AI Safety.
Häggström, O. (2025) Our AI future and the need to stop the bear.
Kokotajlo, D., Alexander, S., Larsen, T., Lifland, E. och Dean, R. (2025) AI 2027.
Leahy, C., Alfour, G., Scammell, C., Miotti, A. och Shimi, A. (2024) The Compendium.
torsdag 22 maj 2025
Ett annat USA, och en bok med en överraskande plot twist