Pro tip on discussions about AI xrisk: don't get sidetracked

In my experience, a quite frequent dynamic in discussions about existential risk (xrisk) from AI is that my conversation partner remains skeptic about the reality of such risk, but before that issue has been even the slightest bit resolved they propose to change the subject to some neighboring topic, such as one of the following.

• But if (for the sake of argument) the risk is actually real, is there anything at all we can do about it?
• But doesn't this whole xrisk issue just distract from more pressing near-term AI risks which we ought to discuss instead?
• But evolution moves on, so what's the big deal anyway if humanity is replaced by some superior new kind of beings?

In all three cases, my recommendation (based on years of experience from having these discussions) is to avoid getting sidetracked and to insist on getting clear on the is-AI-xrisk-a-real-thing issue before moving on, and I will explain why. The explanations will be a bit different in the three cases, so I'm not sure how well my advise generalizes to other change-of-topic proposals, and I can in fact easily think of other more benign such proposals where I would happily oblige, such as "OK, let's agree to disagree, but how about if we go grab a beer and discuss [X]", where X could be anything ranging from tonight's football game to the scandal of Douglas Adams never having been rewarded the Nobel Prize in literture. On to the three cases:

But is there anything we can do?

I think the question of what we can do to mitigate or entirely avoid AI xrisk is very important and very difficult, and I am super happy to discuss it, provided my discussion partner is on board with the idea that the risk may be real. If he or she is not, I will politely decline to discuss this topic, because from from their point of view there is no real problem to be solved, and if I agree to discuss it anyway their contribution to the discussion therefore tends not to be very constructive. When we enter the realm of AI governance (as it nowadays tends to do fairly quickly, because as opposed to just 4-5 years ago I no longer believe that technical AI alignment on its own has much chance of saving us from AI catastrophe without assistance from politics and legislation), they will bombard me with questions such as "What about China?", "What about Trump?", "What about the relentless market forces?", and so on. These are all valid questions, but as the deck is currently stacked they are also extremely difficult, to the extent that even a moderately clever discussion partner who is not interested in actually solving the problem but merely in playing devil's advocate is likely to win the argument and triumphantly conclude that I have no clear and feasible plan for avoiding catastrophe, so why am I wasting people's time by going on and on abut AI xrisk?

And here's the thing. Many of those who play the devil's advocate in this way will be aiming for exactly that turn of the conversation, and will implicitly and possibly unconsciously believe that at that point, they have arrived at a reduction ad absurdum where the assumption that AI xrisk is real has been shown to be absurd and therefore false. But the reasoning leading to this reductio doesn't work, because it relies on (something like) the assumption that the universe is a sufficiently benign place to not put humanity in a situation where we are utterly doomed. Although this assumption is central to various Christian thinkers, it is in fact unwarranted, a horrible realization which is core to the so-called Deep Atheism of Eliezer Yudkowsky, further elaborated in recent work by Joe Carlsmith.

To reiterate, I do think that the AI governance questions on how to stop actors from building an apocalyptically dangerous AI are important, and I am very interested in discussing them. They are also difficult - difficult enough that I don't know of any path forward that will clearly work, yet we have far from exhausted all such possibilities, so the challenges cannot at this stage be dismissed as impossible. I want to explore potential ways forward in intellectual exchanges, but am only prepared to do it with someone who actually wants to help, because the field is so full of real difficulties of which we who work in it are so highly aware that our primary need is not for additional devil's advocates to repeat these difficulties to us. Our primary need is for the discussions to be serious and constructive, and for that we need discussion partners who take seriously the possibility of AI xrisk being real.

But distraction?

So what about the suggestion to put the AI xrisk issue aside, on account of it just being a distraction from more pressing concerns coming out of present-day AI systems? These are concerns about things like AI bias, copyright issues, deepfakes and the AI-driven poisoning of our epstemic infrastructure. I have two problems with this suggestion.

The first is terminological. Calling those kinds of more down-to-Earth AI issues "near-term", in contrast to AI xrisk which is called "long-term", may have had some logic to it in the bygone era of the 2010s when most of us working on AI xrisk thought the crucial events such as an intelligence explosion and/or the extinction of humanity were at least decades away. Now that there seems to be a very serious possibility that these may happen within the next five years or so (see, e.g., Daniel Kokotajlo et al's seminal AI 2027), insisting on this near-term vs long-term terminology has become highly misleading. My near-term survival may well depend on preventing an existential AI catastrophe!

My second problem with the change-of-topic suggestion is more substantial, and lies in whether the term "just" (as in "AI xrisk is just a distraction") is justified. Well, I claim that in order to judge that, we need to work out whether or not AI xrisk is a real thing. If it is not a real thing, then of course discussing it is just a distraction from more pressing real-world issues, and we should switch topics, whereas if it is a real thing, then of course it is a topic that warrants discussion, and not "just a distraction". Hence, to judge the case for changing topics on account of AI xrisk being "just a distraction", we have no choice but to continue discussing AI xrisk until we have reached a verdict on whether or not it is a real thing. As long as we disagree about that the suggested change of topic is premature.

To avoid any misunderstanding here, let me emphasize that I think many down-to-Earth problems with present-day AI are important to discuss. But there are plenty of times and places to do so, in parallell with discussions elsewhere on AI xrisk. There really isn't any need to abort the few discussions taking place about AI xrisk to leave room for those other AI discussions. See my paper On the troubled relation between AI ethics and AI safety for more on this.

But evolution?

So what about the question of whether humanity being replaced by a society of advanced AIs is a good thing or a bad thing? This is an interesting and serious philosophical question, involving whether to employ an ethics that is from the point of view of humanity, or a more objective one that is more from the point of view of the universe. There are surprisingly many thinkers within the AI sphere, including names like Larry Page, Robin Hanson, Hugo de Garis and Richard Sutton, who claim it is not a bad thing at all; see, e.g., this tweet by Andres Critch and Section 7 of my paper Our AI future and the need to stop the bear. And yes, I am happy to discuss it. But not with someone who is not yet on board with AI xrisk being a real thing, because to them the issue is merely theoretical, making them less capable of seeing the seriousness of the matter and of feeling the moral force of wanting to prevent the omnicidal murder by AIs of you and me and all our loved ones along with the remaining eight billion humans. If I agree to the proposed change of discussion topic, I run the risk of assisting my discussion partner, who was perhaps originally just driven by a lust for philosophical sophistication or contrarianness, in painting themselves into a philosophical corner, making it more difficult for them to wake up to the horror of omnicide once we get to the point where they realize it may actually happen.

Concluding remarks

Every discussion context is unique, and most of them are challenging in their own ways. In particular, standing on stage during a Q&A session with a room full of skeptics is usually more challenging than a one-on-one. I therefore fully expect to sometimes be sidetracked in future discussions in precisely the directions that I above recommend avoiding, and the same thing might well happen to the reader. But even when that happens, I believe having thought through the meta-concerns I raise above may be beneficial for the continued discussion.

Explaining AI xrisk convincingly to skeptics is not an easy thing to do, even of one's basic reasoning on the matter is correct. One reason for this is that people have such wildly varying intuitions on this topic, and tend to get hung up on very different issues - or in Liron Shapira's colorful language, there are many "stops where you could get off the Doom Train". Consequently, there are many different places where the conversation can go astray. Ideally it would be good to have a handbook, cataloguing all of them along with instructions on how to avoid or escape these traps, but for the time being we'll have to make do with more scattered and less systematic treatments of some of these traps, which is the kind of thing I try to do in this blog post.

If the reader aspires to become a better communicator of AI xrisk ideas, what can he or she do? I think this is very much a case where mastery comes with practice. It may take a long time, and after nearly 15 years of such practice I am still working on it. Along with that, it also helps to listen to masters like Rob Miles and the aforementioned Liron Shapira, and to read some modern classics such as the exemplary synthesis The Compendium by Connor Leahy and coauthors.

Fläng eftersläng från Erik Svensson

Det fanns en tid för sisådär 10-15 år sedan då jag betraktade den lundabaserade biologiprofessorn Erik Svensson som allierad, mest tack vare hans tydliga ställningstaganden i klimatfrågan. Så småningom kom dock denna allians att alltmer urholkas, dels av vad jag uppfattade som en tendens hos honom till vårdslöshet med fakta, dels av att det från den ryska Kriminvasionen 2014 och framåt uppenbarades att han bar på det slags besynnerliga proryska sentimentalitet som inte är helt ovanlig i vänsterkretsar av avgrundskaraktär. Som trogna läsare av denna blogg känner till så hör dessa båda egenheter till dem jag har allra svårast att fördra då jag träffar på dem hos mina medmänniskor. Vår vänskapliga relation lyckades ändå hanka sig fram hyggligt några år till.

Men så kom pandemin, vilket till slut blev för mycket. Erik bestämde sig genast för att betrakta den svenska Folkhälsomyndigheten FHM och dåvarande statsepidemiolog Anders Tegnell som ofelbara auktoriteter, medan jag tidigt fann oroande tecken på långtgående inkompetens hos dem, en bild om under pandemins lopp kom att förstärkas ytterligare. Erik och jag hade via sociala medier flera affekterade gräl om covid-frågor under 2020, och har inte kommunicerat sedan dess.¹

Jag har under de år som gått sedan dess inte ägnat Erik många tankar. Emellertid, sedan han nu i sin aktuella text Pandemidebatten i backspegeln – vilka slutsatser kan vi dra i nättidningen Opulens gått till bisarrt angrepp mot mig vill jag ändå ta till orda.

En av utgångspunkterna för Eriks text i Opulens är att Sverige i en internationell jämförelse totalt sett klarade sig relativt bra ur pandemin. Det är helt riktigt, och påståendet är lätt att belägga med statistik rörande exempelvis den överdödlighet pandemin orsakade i olika länder, där Sverige ligger lägre än de flesta andra europeiska länder. Jag tror och hoppas att Erik håller med mig om att detta i sig inte automatiskt implicerar vare sig att den svenska covidpolitiken varit optimal på alla punkter eller att all kritik mot FHM varit osaklig och dum. Men den som läser hans ensidigt agiterande text kan lätt få för sig att han drar dessa slutsatser.

Erik marknadsför sin artikel på plattformen X, tidigare känd som Twitter, med meddelandet att han kritiskt granskar "några av de debattörer [...] som körde i diket under pandemin", varpå han nämner ett antal av dessa påstådda dikeskörare vid namn, inklusive mitt. Den dikeskörning han i mitt fall syftar på är den artikel på DN Debatt den 30 april 2020 som bar rubriken Alternativ coronastrategi för Sverige kan rädda liv och som jag skrivit och undertecknat ihop med fyra medförfattare: Olof Johansson Stenman, Joacim Rocklöv, Stefan Schubert och Markus Stoor. Vår artikel, författad i ett läge då covidpandemins första våg i Sverige fortfarande var i kraftigt stigande och ingen visste vart det hela skulle ta vägen, gick i korthet ut på följande.

Svensk coronadebatt hade fram till den aktuella tidpunkten, i april 2020, nästan helt förbisett det mest fundamentala vägvalet i utformningen av en pandemihanteringsstrategi: det mellan vad som i den vetenskapliga litteraturen benämns suppression kontra mitigation. Det förstnämnda innebär att man trycker ned antal smittade så långt det praktiskt är möjligt, i syfte att en så liten del av befolkningen som möjligt skall nås av smittan, medan mitigation (eller på svenska bromsstrategi) bygger på att det ses som oundvikligt att smittan sveper genom befolkningen tills dess så kallad flockimmunitet uppstått, och de åtgärder som vidtas mot smittspridningen ute i samhället främst handlar om att sakta ned förloppet så att inte sjukvården överbelastas av alltför många sjuka samtidigt. Vilken av dessa strategier som är bäst skickad att minimera pandemins skadeverkningar beror i hög grad på smittämnets olika egenskaper - i synnerhet dess reproduktionstal R₀ och dess dödlighet jämte övriga mått på dess skadeverkningar på den som smittats. Det vetenskapliga kunskapsläget i april 2020 kring dessa och andra egenskaper hos covidviruset var fortfarande väldigt långt från fullständigt, något som i om möjligt än högre grad gällde frågor om eventuella kommande mutationer av viruset och om när och i vilken mån effektiva vacciner var att vänta. Dessa olika osäkerheter var alltjämt så stora att vi bedömde det som en vidöppen fråga huruvida det bästa i rådande läge var att (som FHM) satsa på mitigation, eller att (som flertalet av motsvarande smittskyddsmyndigheter i andra europeiska länder) förorda suppression, och vår enkla poäng var att asymmetrin i kostnader (inräknat såväl BNP etc som människors liv och hälsa) mellan de två typerna av fel man kan göra talade för en flexibel försiktighetsstrategi där man initialt och i avvaktan på ett förbättrat kunskapsläge tillämpar suppression. Asymmetrin består i att ifall den fortsatta utvecklingen tyder på att mitigation hade varit bättre har man med en sådan försiktighetsstrategi visserligen dragit på sig en del onödiga samhällskostnader förknippade med lockdowns och liknande, men dessa kostander är måttliga jämfört med de tiotusentals eller ännu fler liv som hade riskerat gå till spillo om man istället chansat på en mitigation-strategi men det senare visar sig att suppression hade varit bättre.

Så långt vår artikel i april 2020. Med facit i hand tyder det mesta på att Sverige inte hade klarat sig bättre genom pandemin om FHM anammat vårt förslag jämfört med att fortsätta med sin mitigation-strategi. Att det skulle sluta på det viset var dock knappast möjligt får någon att veta i det läget (inte för Tegnell eller för någon av hans utländska statsepidemiologkollegor som gjorde andra vägval, inte för mig eller någon av mina medförfattare i DN, och inte heller för Erik Svensson). Ändå är såklart Erik i sin fulla rätt att agera efterklok och till följd av sin så kallade hindsight bias hävda att vårt förslag var dumt.

Men det är inte det jag vill kritisera här, utan hans mer specifika argumentation mot vår DN-artikel, en argumentation jag finner helt bisarr. Den består nämligen uteslutande av att varv efter varv och i stycke efter stycke upprepa att en USA-baserad bloggare vid namn Tomas Pueyo saknar relevanta akademiska meriter och att dennes bloggpost The hammer and the dance från mars 2020 inte genomgått vetenskaplig peer review. Det är allt Erik anför, och det är fullkomligt irrelevant för budskapet i vår DN-artikel.

Jag vill inte göra anspråk på någon större inblick i vad som egentligen pågår i Erik Svenssons inre, men intrycket man här får av hans Opulens-artikel är att han tror att Pueyo är hjärnan bakom den suppression-strategi vi i DN-artikeln framhöll som ett beaktansvärt alternativ till mitigation.² I så fall har jag några följdfrågor. Tror Erik alltså att det är Pueyo som utarbetat strategin för (den relativt framgångsrika) bekämpningen av ebolaviruset från 1970-talet och framåt? Tror han också att Pueyo är den hemlige mastermind som ligger bakom covidhanteringsstrategierna våren 2020 i en lång rad länder (inklusive Storbritannien, Norge, Danmark och Sydkorea, för att nu nämna de exempel vi tog upp i DN-artikeln)?³

För att vara fullkomligt explicit, låt mig förklara att suppression-strategin, tvärtemot Eriks bisarra påstående i Opulens-artikeln att det rör sig om "en helt ny och oprövad pandemistrategi", går långt tillbaka, och alltså inte har sitt ursprung i Pueyos bloggpost från mars 2020. Allt Pueyo kan ta ära för (vilket för all del inte är så illa) med den bloggposten är att han givit en målande och pedagogisk beskrivning av hur suppression-strategin skulle kunna fungera i praktiken, och att han givit den ett slagkraftigt smeknamn, vilket vi lånade och översatte i vår DN-artikel: hammaren och dansen. Om det är ett vetenskapligt övertramp (eller med Eriks terminologi en dikeskörning) att som professor använda en färgstark glosa som införts i en text som inte genomgått vetenskaplig peer review-granskning, då erkänner jag mig skyldig, men... ehm... jag tror dessvärre inte att jag kan lova att inte begå motsvarande övertramp igen.

Erik attackerar i sin text en lång rad andra svenska coronadebattörer, men jag vill för död och pina inte ta på mig uppgiften att försvara dem alla, utan väljer istället att gå rakt på hans övergripande slutsatser. Dessa är tre till antalet, varav de första två mest utgörs av truismer om vikten av kritiskt och analytiskt tänkande och epistemisk ödmjukhet, mot vilka jag inte har några större invändningar.⁴

Men med sin tredje slutsats begår Erik det slags grova omdömeslöshet som jag har så extra svårt att fördra när det kommer från professorskollegor. Han påstår nämligen, kategoriskt och utan minsta antydan om nyansering, att "när väl en ny pandemi har brutit ut går det inte att stoppa den, vare sig med munskyddskrav eller med hårda samhällsnedstängningar" och att "pandemier slutar när vi har uppnått flockimmunitet". Här generaliserar han på tok för hårt, och med total brist på det slags epistemiska ödmjukhet han nyss pläderat för. Det är måhända sant att det inte fanns någon rimlig chans att utan flockimmunitet få stopp på covid när den väl fått globalt fäste, men olika virus har som påpekats ovan olika smittspridnings- och mortalitetsegenskaper (med mera), och djävulen bor i detaljerna. Det kan mycket väl hända att vi en vacker dag (fastän jag såklart hoppas att vi slipper det) nås av en pandemi vars smittämne på ett ungefär kombinerar covids smittsamhetsegenskaper med ebolas dödlighet, som är cirka 50%, och hur kommer Erik att reagera då? Om han håller fast vid sin omdömeslösa tredje slutsats så kan vi räkna med att han kliver upp på sina barrikader och ropar i sin megafon att "nej för bövelen, inga munskydd och inga nedstängningar, för vad vi behöver göra är att offra inemot hälften av våra medmänniskor för att resten av oss skall kunna uppnå flockimmunitet!". I det läget kommer jag i så fall att lägga åt sidan alla de lager av diplomatisk fetvadd jag tillämpat ovan och svara ocensurerat och från djupet av mitt hjärta: "F*** you Erik! Jag tillhör Team Människa, men du tillhör uppenbarligen Team Pesten, so go f*** yourself in the ***!"

Fotnoter

1) Jag är inte helt säker på vilket av dessa gräl som blev det allra sista, men tror det kan ha varit det som handlade om ansvarsfördelningen för den omfattande covid-döden på våra äldreboenden våren 2020. Erik hade skrivit ett inlägg (på Twitter eller Facebook - jag minns inte längre exakt var) som helt friskrev FMH från ansvar, och istället menade att ansvaret låg på äldreboendena själva och på landstingen. Jag invände att förvisso låg ett stort ansvar på landstingen och äldreboendena, men att helt friskriva FHM från ansvar är ju knappast rimligt, eftersom smittan på äldreboendena härrör från samhället i stort, så att ju större smittspridningen i samhället är desto mer drabbas äldreboendena, varför FHM:s med internationella mått släpphänta nivå på restriktioner behöver ses som en bidragande orsak till döden på äldreboendena. Därmed såklart inte sagt att denna släpphänthet per automatik är klandervärd, eftersom mycket annat än den omedelbara mortaliteten på äldreboenden behöver vägas in när man väljer nivå på restriktioner, utan mitt enkla påpekande var att FHM har ett ansvar för de konsekvenser - såväl positiva som negativa - som följer av detta nivåval. Icke, svarare Erik, ty här är det faktiskt landstingen (i synnerhet borgerligt styrda sådana) och äldreboendena som fallerat och därigenom bär ansvaret. Jag frågade då Erik om inte det kunde anses ingå i FHM:s uppdrag att i sin utformning av covidstrategi ta hänsyn till faktiska omständigheter, som exempelvis personalsituation och kompetensnivå inom allehanda samhällssektorer som exempelvis äldreomsorgen. Bör FHM härvidlag arbeta utifrån en realistisk bild av dessa förutsättningar, eller är det bättre att de utgår från en fantasibild om vad verksamheterna därute ur smittskyddssynpunkt idealt borde vara kapabla till? Min fråga var retoriskt avsedd, men döm om min häpnad då Erik svarade att FHM var i sin fulla rätt att utgå från den senare bilden - alltså ett slags rosaskimrande önskedröm om hur olika verksamheter i landet borde se ut. Jag minns att jag vid denna punkt kände att Erik hade stigit av från vår outtalade överenskommelse om att hålla oss till rationell och meningsfull diskussion, varför jag valde att inte fortsätta diskussionen, och det är också detta som får mig att tro att denna diskussion blev vår sista.

2) Erik är långt ifrån ensam om denna bisarra upphöjning av Tomas Pueyo till uppfinnare av en helt ny smittskyddsstrategi. Till och med DN:s vetenskapsredaktör Maria Gunther bidrog i en artikel hösten 2020 till spridandet av denna missuppfattning. Det tycks mig ganska troligt att Erik läst Gunthers artikel men att han däremot dessvärre missat (eller i annat fall ignorerat) mitt svar.

3) För att undvika ett debacle liknande det jag återger i slutet av Fotnot 1 vill jag betona att dessa frågor är retoriska, och att det svar jag underförstår på båda frågorna är "nej".

4) Även dessa passager innehåller dock en del bisarrerier, som hans påstående att "det gick inte att uttala sig om Sveriges pandemistrategi redan våren 2020". Det här är så dumt att jag tar mig för pannan. Vadå "gick inte"? Jag har tydliga minnen av att till och med Erik själv gjorde sådana uttalanden, så nog gick det. Mitt bästa försök till generös tolkning av hans kryptiska påstående är att han menar att vi vid denna tidpunkt inte hade facit i hand och därmed inte kunde avgöra med säkerhet vilka strategier som skulle bli framgångsrika och vilka som skulle leda i fördärv. Absolut är det så, och det var och förblir viktigt att då och då påminna sig om det, men en slutsats som inte kan dras är vi alla borde ha hållt truten och avstått från yttra oss om de olika strategierna, för trots de omfattande osäkerheterna var det ändå möjligt att göra mer eller mindre välgrundade uttalanden om vilka strategier som föreföll lovande och vilka som inte gjorde det. Att många debattörer (häribland jag) kritiserade FHM:s strategival, och många andra (häribland Erik) tog dem i försvar är enligt min mening helt i sin ordning som en viktig del av det demokratiska samtalet; härmed dock inte sagt att alla sådana kommentarer hade samma värde när det gäller att bringa klarhet och föra diskussionen framåt.

* * *

Tillägg 23 juni 2025:

Under den vecka som gått sedan jag publicerade denna bloggpost har Erik Svensson och jag haft en tämligen irriterad brevväxling, inledd med ett ebrev från mig med följande ordalydelse.

Hej Erik

Jag skriver mest för att försäkra mig om att du inte missat bloggposten https://haggstrom.blogspot.com/2025/06/flang-efterslang-fran-erik-svensson.html jag skrev tidigare i veckan. Jag beklagar att du blir måltavla för min text på ett sätt som antagligen inte känns jättetrevligt, men jag ser detta slags text som ett akademiskt renhållningsarbete som är absolut nödvändigt om vi skall kunna upprätthålla det viktiga förtroendet för vår profession.

Mvh och glad midsommar!
Olle

I sitt första svar till mig bad Erik mig ”vänligen respektera” att hans svar inte var avsett för publicering på min blogg eller annorstädes. Även om mitt val att fortsätta korrespondensen utan att kommentera denna begäran eventuellt kan förstås som att jag implicit accepterat den som ett villkor för fortsatt korrespondens, så känner jag mig inte särskilt bunden av denna eventuella överenskommelse, eftersom Erik senare i korrespondensen bröt mot ett i mitt tycke än mer grundläggande implicit villkor genom att försöka manipulera mig medelst rent blåljug (jag skall återkomma till det). Detta gör att jag inte har några betänkligheter mot att här berätta om huvuddragen i vår brevväxling. Likväl avstår jag från att återge hans ebrev, men mest för att jag inte vill trötta läsaren med hans uppblåsta prosa.

Allra mest iögonfallande i Eriks svar är hans totala ointresse för att kommentera substansen i mitt tillbakavisande av hans anklagelse mot mig i Opulens-artikeln. Med början i en tröttsam yttrandefrihetsklyscha (”du har givetvis all rätt att framföra dina synpunkter [...], precis som jag”) såg han till att den fortsatta diskussionen istället hamnade på ett meta-plan, och därefter på ett meta-meta-plan, etc, i en spiral som förde oss allt längre från själva sakfrågan.

Detta totala ointresse är i mina ögon anmärkningsvärt. När man offentligen anklagat någon för ett felsteg, och denne svarar och argumenterar för att anklagelsen saknar grund, så ber man antingen om ursäkt, eller påvisar vad som brister i motpartens argumentation. Att varken göra det ena eller det andra, som om sanningen inte spelade någon roll, tyder på en ändamålen-helgar-medlen-attityd som jag finner moraliskt förkastlig. Med nämnda yttrandefrihetsklyscha och dess implicerade symmetri sopar Erik under mattan det kraftiga moraliska asymmetrin mellan å ena sidan falska anklagelser och å andra sidan att medelst saklig argumentation försvara sig mot sådana. Jag har som påpekats ovan ingen privilegierad inblick i Eriks huvud, men det förefaller ändå sannolikt att han kan ha resonerat ungefär så här: ”Det spelar egentligen ingen roll om hur det står till i sak med den där Pueyo-grejen, för även om Olle skulle råka ha rätt på just denna enskilda punkt så har han sagt så mycket annat dumt i covid-frågan att han är förtjänt av kritiken oavsett.” Men ett sådant förhållningssätt duger enligt min mening inte i anständig debatt.

Vad innehöll då vår brevväxling istället för den sakdiskussion Erik så noggrant undvek? En sak var hur han hånfullt noterade diskrepansen i längd mellan den ganska korta passage i hans Opulens-artikel som ägnades åt Häggström-bashing och min betydligt längre bloggpost. Till synes glömsk av hur vi på den tid vi stred på samma sida mot klimatförnekare var väl medvetna om asymmetrin i hur en klimatförnekare kan fråga mer än tio klimatforskare kan svara, kallade han min bloggpost ”en något oproportionerlig överreaktion”, och tillade för säkerhets skull att detta var avsett som ett ”understatement”. Oskicket att håna meningsmotståndare för att de bemöter ens påståenden fick mig att tipsa om en Astral Codex Ten-bloggpost nyligen, vilken Erik genast förklarade sig vara totalt ointresserad av, och mitt understrykande av bloggpostens titel var nog inte särskilt ändamålsenligt ur samtalsklimatsförbättringssynpunkt.

Sådär höll vi på, i en nära nog 100%-igt improduktiv diskussion som jag i efterhand kan ifrågasätta om den verkligen var värd min tid. Så småningom kom vi till en punkt där jag tyckte mig kunna beslå honom med att i två konsekutiva ebrev ha torgfört två oförenliga ståndpunkter (först hade han prisat det slags empati med debattmotståndare han tyckte sig se i mitt inledande ebrev, och därefter hade han meddelat att om han i en diskussion beter sig på ett sätt som skapar dysterhet hos den andre så är det inte hans problem). En smula odiplomatiskt (för att inte säga grälsjukt) betecknade jag detta som ett fall av ”gaslighting”. Eriks svar på detta blev att meddela att han, så snart han hör "importerade låneord från andra länder" (notera den eleganta trippeltautologin!) så tappar han allt intresse för fortsatt diskussion.

Denna reaktion förvånade mig, då jag under åren av kontakt aldrig uppfattat ett uns av detta slags språkprotektionistiska läggning hos Erik. Den är i själva verket en i stunden påhittad fiktion (eller på ren svenska: han ljög), något jag insåg genom att gå tillbaka till hans Opulens-text och konstatera hur full av anglicismer den är, varav ”lockdowns”, ”fake news” och ”scientism” är de mest iögonfallande. I mitt nästa (och troligtvis sista) svar valde jag därför att bruka sarkasm, och därefter argumentera längs en mer sannolik linje rörande vari hans aversion mot mitt bruk av ordet ”gaslighting” egentligen bestod:

Hahahaha ok, så ovanpå allt annat är du även svensk språkpurist! Så till den grad att du anser bruket av ordet "gaslighting" vara ett värre felsteg än själva gaslightingen. Det påminner inte så lite om den gamla goda tid då vi fightades (oops!) sida vid sida mot klimatförnekare, och en del av dessa klimatförnekare ville bannlysa ordet "klimatförnekare". I båda fallen handlar det om att försöka skydda sig mot kritik genom att eliminera relevant vokabulär. Men tro mig, jag kommer att fortsätta använda både g-ordet och k-ordet hur mycket du och Ingemar Nordin än gormar om saken.

Längre än så kom vi inte i vår brevväxling, som nu tack och lov verkar vara avslutad.

Remissvar AI-kommissionen

Regeringens AI-kommission presenterade den 26 november förra året sin slutrapport Färdplan för Sverige. Därpå följde sedvanligt remissförfarande, med deadline igår den 4 juni, och svaren från de av regeringen utsedda remissinstanserna finns nu publicerade på regeringskansliets hemsidor. Icke beställda yttranden publiceras inte på samma vis, så för att öka tillgängligheten till mitt eget svar återger jag detta nedan.

Den observante kan notera att min arbetsgivare Chalmers finns med bland de officiella remissinstanserna. Jag har bidragit med viss input till Chalmers remissvar, men den som jämför med mitt eget svar nedan skall finna att det i frågan om existentiell AI-risk är jämförelsevis urvattnat, något som åtminstone delvis är en följd av att inte alla på Chalmers fullt ut delar min syn på situationens akuta allvar. Detta slags urvattning är typisk för remissvar från universitet, och jag tror inte att det finns någon större meningsmotsättning mellan mig och Chalmersledningen angående universitetens roll i att föra ut spetskunskap i samhällsdebatten och i att detta oftast görs bättre av enskilda forskare än av universiten som organisationer, ett övervägande som gränsar till principiella frågor om akademisk frihet; se exempelvis den klassiska Kalven-rapporten.

En hel del av mina synpunkter i remissvaret nedan kan kännas igen från min artikel i tidskrivten Kvartal den 10 december förra året.

* * *

Remissvar på AI-kommissionens rapport Färdplan för Sverige
(dnr Fi2025/00457)

Olle Häggström

2 juni 2025

Styrkan och tonvikten i AI-kommissionens rapport ligger på snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor och på hur vi genom upprätthållandet av ett gott innovationsklimat ska kunna stärka svensk konkurrenskraft. I stället för att orda om detta går jag rakt på sak med det som mer än något annat sticker ut som en iögonfallande och svår brist hos rapporten.

Vad som lyser med sin nästan totala frånvaro i rapporten är nämligen AI sedd som global ödesfråga, och risken för att vi på nuvarande bana är på väg mot en global katastrof som rentav kan komma att innebära slutet för Homo sapiens. Det är naturligtvis möjligt att hävda – vilket AI-kommissionen kan sägas implicit göra genom underlåtelsen att diskutera detta – att Sverige är en perifer AI-nation som saknar betydelse för den globala AI-utvecklingen, och att globala riskfrågor kring AI därför inte är något vi behöver bry oss om i Sverige. Den sortens strutsmentalitet går dock stick i stäv med direktiven då kommissionen sjösattes 2023, vilka inbegrep formuleringar om att

identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.

I stället för att ge sådana förslag präglas rapporten av ett enögt och snävt nationalistiskt perspektiv. Som exempel på detta kan nämnas synen på EU-reglering av AI-teknik, där vikten av att sådan reglering inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa betonas. I rapporten framhålls bland annat att ”även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen”, och kommissionen anmodar ”svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg”. Dessa aspekter är förvisso värda att beakta, men de behöver vägas mot EU:s viktiga roll i att verka för att den globala omställningen till en värld med avancerad AI blir lyckosam. Det är angeläget att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof.

Om denna centrala avvägning säger rapporten inte ett knyst. Genom att ignorera avvägningen och endast lyfta fram den sida som talar för deras önskade slutsats visar AI-kommissionen att de saknar ambition att leva upp till det statliga utredningsväsendets stolta saklighetstradition.

Jag ska inte försöka påskina att AI som existentiell risk mot mänskligheten överhuvudtaget inte nämns i AI-kommissionens rapport, för det gör den, om än bara i förbigående:

Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.

I reservationen ”vissa menar” finns här ett implicit avståndstagande och en subtil antydan om att dessa ”vissa” utgör en perifer fraktion inom AI-debatten, vilket emellertid inte stämmer alls. Det hade varit hederligare att nämna att kategorin ”vissa” inkluderar såväl världens tre mest citerade AI-forskare (Geoffrey Hinton, Yoshua Bengio och den avhoppade Open AI-medarbetaren Ilya Sutskever) som cheferna för de tre ledande AI-labben (Demis Hassabis på Google DeepMind, Sam Altman på OpenAI och Dario Amodei på Anthropic). Det finns gott om belägg i form av exempelvis föredrag och nyhetsartiklar för att de sex här uppräknade personerna (varav två som bekant emottog Nobelpris 2024) har denna syn på AI-risk, men här räcker att nämna att de alla undertecknade det öppna brev om AI-risk som publicerades i maj 2023; se Hinton m.fl. (2023). Och om inte den långa fortsättningen på det brevets undertecknarlista räcker för att övertyga om hur utbredd ståndpunkten är inom AI-forskarsamhället kan man se till omfattande enkätstudier som Grace et al (2024), vilken pekar mot att mer än hälften av den tillfrågade kategorin AI-forskare bedömer sannolikheten att AI ger upphov till existentiell katastrof till minst 10%.

Ett liknande försåtligt avfärdande av AI-risk finner vi i det ställningstagande som följer strax därpå i rapporten:

AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas, men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.

Här preciseras inte vilka dessa ”spekulativa risker” är, och i och med hur vittförgrenad och ojämn AI-debatten som helhet är gör därför denna otydlighet att det inte går att formellt beslå påståendet om ”mycket låg sannolikhet” som felaktigt. Sammanhanget ger dock en kraftig antydan om att det handlar om risken att mänskligheten utplånas av superintelligent AI. Den ytterst kontroversiella bedömningen att sådana scenarier har ”mycket låg sannolikhet” som vi därmed kan läsa mellan raderna i rapporten levereras utan ett uns av motivering, och går på tvärs mot exempelvis Dario Amodeis bedömning om att sannolikheten ligger ”någonstans mellan 10% och 25%” (Daniel, 2023) och mot den ovan citerade mediansiffra bland AI-forskare som Grace et al (2024) rapporterar. Se även exempelvis Aschenbrenner (2024), Leahy et al (2024), Häggström (2025) och Kokotajlo et al (2025) för mer utförliga diskussioner om det extremt allvarsamma läge vi befinner oss i visavi existentiell AI-risk.

Det ointresse för saklig argumentation AI-kommissionen uppvisar är beklämmande att stöta på i en statlig utredning, och den bistra sanningen är dessutom att något solitt vetenskapligt stöd för kommissionens bedömning om AI-risk helt enkelt inte existerar. Givet denna nonchalanta inställning till AI-risk är det knappast förvånande att kommissionen inte säger något alls om det kanske allra viktigaste Sverige har att göra i AI-frågan just nu, nämligen att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning som ett litet antal AI-företag i norra Kalifornien just nu är inbegripna i. Med namn som Hammarskjöld och Palme i bagaget har Sverige en stolt tradition av kraftfullt internationellt agerande för mänskliga rättigheter, och det är av största och akutaste vikt att vi, via organisationer som FN, EU och NATO samt på andra vis, återupplivar denna tradition och påpekar det oacceptabla i att dessa AI-företag spelar rysk roulette med allas våra liv.

Skadan AI-kommissionen härmed gör stannar inte vid en försutten chans att uppmana Sveriges regering att steppa upp det internationella arbetet. Genom att orda sida upp och sida ned om AI utan att ta på allvar eller knappt ens vidgå den rimligtvis allra viktigaste aspekten – vikten av att undvika en global AI-katastrof som utplånar mänskligheten – bidrar de till en bredare och dessvärre tämligen dominant AI-diskurs som genom att göra just så vaggar in både allmänhet och makthavare i en falsk säkerhet som ökar risken att vi sömngångaraktigt fortsätter vår nuvarande färd mot AI-katastrof.

Att kommissionen trots allt föreslår inrättandet av ett svenskt AI-säkerhetsinstitut med en årlig finansiering om 30 miljoner kronor är såklart positivt, men det kan inte ursäkta deras försåtliga retorik i AI-riskfrågor och frånvaron av konstruktiva förslag på hur Sverige kan stå upp internationellt för vår rätt att inte utplånas av urspårad superintelligent AI.

Referenser

Aschenbrenner, L. (2024) Situational Awareness: The Decade Ahead.

Daniel, A. (2023) CEO of AI company warns his tech has a large chance of ending the world, Indy100, 9 oktober.

Grace, K., Stewart, H., Fabienne Sandkühler, J., Thomas, S., Weinstein-Raun, B. och Brauner, J. (2024) Thousands of AI Authors on the Future of AI

Hinton, G. et al (2023) Statement on AI risk, Center for AI Safety.

Häggström, O. (2025) Our AI future and the need to stop the bear.

Kokotajlo, D., Alexander, S., Larsen, T., Lifland, E. och Dean, R. (2025) AI 2027.

Leahy, C., Alfour, G., Scammell, C., Miotti, A. och Shimi, A. (2024) The Compendium.

Ett annat USA, och en bok med en överraskande plot twist

Bortsett från Sverige är det land vars samhälle jag känner mig mest bekant med USA. Till stor del bottnar detta i egna vistelser från 11 års ålder och framåt och i kontakter med vänner och kollegor därifrån, men betydelsefullt i sammanhanget är givetvis också det stora kulturella inflytande som bland annat Hollywood har. Men USA är stort och heterogent, och min bekantskap med landet är knappast representativ utan har en kraftig slagsida mot akademiska miljöer och välbärgad medelklass, samt mot vissa av landets nordligare delstater (plus Kalifornien). Andra delar av USA, som den Djupa Södern och de Appalachiska bergstrakterna, är mig till följd av mina begränsade erfarenheter lika främmande och exotiska som många länder i tredje världen jag aldrig satt min fot i. Vad gäller livet i Appalacherna är mina kunskapskällor begränsade till filmer som The Deer Hunter och enstaka DN- eller SVT-reportage om vad som får så kallade vanliga amerikaner att rösta på Trump.

Fram tills nu, då jag läst Hillbilly Elegy från 2016. Denna självbiografiska berättelse utspelar sig i en fattig småstad i östra Kentuckys bergstrakter och den lite större industristad i södra Ohio dit många bergsbor arbetskraftsinvandrar. Den handlar om starka familjeband och djupa klassklyftor, och om fattigdom, missbruk, våld och avindustrialiseringens sociala effekter, men framför allt är den en coming of age-roman om hur en utsatt och vilsen pojke förvandlas till en vuxen man fast besluten att göra USA till ett bättre land för de stora befolkningsgrupper som hamnat så kraftigt på efterkälken i förhållande till den allt mer avskärmade öst- och västkusteliten. Boken är välskriven, och trots att berättarens återkommande reflektioner kring de besvärliga odds han övervunnit med avgörande stöd från några av sina käraste familjemedlemmar till slut får något repetitivt och självförhärligande över sig, så är det lätt att känna sympati med honom, och det värmer hjärtat att boken slutar så optimistiskt.

Eller gör den det? Om man går lite utanför bokens pärmar möts man av en ohyggligt mörk plot twist. Ett knappt decennium efter att huvudpersonen satt punkt för sitt bokmanus visar det sig nämligen att den framgångsrike och till synes så pro-sociale unge världsförbättrare han trots barndomens svåra omständigheter förvandlats till blott var en övergående fas eller en mask. När masken fallit visar han sig ha så stark avsky mot att hjälpa andra människor än den fattiga vita arbetarklass han själv är sprungen ur att han kallar the Bill and Melinda Gates Foundation "en cancersvulst på det amerikanska samhället". Han är genom sin blinda lojalitet gentemot sin chef Donald Trump den främste facilitatorn av dennes envåldshärskarambitioner, han är en mobbare som inte drar sig för att trakassera den europeiske ledare som inget annat vill än att skydda sitt land mot ett oprovocerat och olagligt ryskt anfallskrig, han är en skamlös demagog som talar sig varm för en handelspolitik som riskerar störta världsekonomin i fördärvet, och han är en bromskloss som gör vad han kan för att sätta sig på tvären mot dem som söker vägar att få mänsklighetens pågående och exitentiellt ödesmättade AI-äventyr att sluta lyckligt. Kort sagt, han har förvandlats till en av världens farligaste och mest destruktiva personer alla kategorier. Så gick det med bokens skenbart lyckliga slut.

Ödesfråga i Lund

Förra veckan talade jag i Lund, på Kungliga Fysiografiska Sällskapets årliga Rausingsymposium, som i år bar rubriken Behövs våra hjärnor? med underrubriken AI - hot och möjligheter. Symposiet som helhet finns anslaget som YouTube-video. Mitt eget bidrag bar rubriken AI är mänsklighetens största ödesfråga och upptar tidsspannet 24:00-58:30 i videon, men där finns också en rad andra föredrag värda att lyssna till, varav jag allra främst vill rekommendera vännen Thore Husfeldt bidrag AI och undervisning (4:25:00-5:00:30) som jag ärligt kan säga är det både förståndigaste och mest välformulerade jag hört i den brännande frågan om hur utbildningssystemet bör förhålla sig till den nya AI-tekniken.

Symposiet kommer även att publiceras i bokform, och jag har idag levererat till arrangörerna min text AI är mänsklighetens största ödesfråga, som visserligen inte är en ordagrann återgivning av föredraget, men som till både innehåll och form följer det relativt nära. Jag vill såklart gärna att ni läser den fyra och en halv sida långa texten i sin helhet, men här, som ett litet smakprov, några stycken hämtade ur den:

Jag har stor respekt för att det finns andra frågor än AI – exempelvis klimatförändringarna – som kan göra anspråk på att vara stora ödesfrågor för mänskligheten, men de senaste åren har jag kommit att landa i att den om hur vi hanterar AI-utvecklingen är den största och mest akuta av dem alla. Jag skall förklara varför, men vill börja i en mer jordnära ände.

[...]

En typ av arbetsuppgift där AI gjort särskilt dramatiska framsteg de senaste åren och som kan komma att få stor betydelse för den fortsatta utvecklingen som helhet är kodning och mjukvaruutveckling. AI-systemens förmåga att skriva korrekt kod och i övrigt lösa uppgifter riktigt är starkt avhängig uppgiftens omfattning. I en rapport från AI-säkerhetsorganisationen METR i mars i år studeras hur denna förmåga utvecklats över tid. Det visar sig att omfattningen – mätt i tidsåtgång för en mänsklig expert – som AI klarar av har ökat från enstaka sekunder 2019 till cirka en timme idag. Ökningen är exponentiell, med en observerad genomsnittlig fördubblingstid på sju månader, och om man extrapolerar den trenden blott ett par-tre år in i framtiden blir resultatet dramatiskt. Sådan kurvanpassning inbegriper givetvis stora osäkerheter, men ser man till hur modellerna förbättrats från 2024 och framåt verkar det snarast som att utvecklingen är på väg att gå ännu fortare.

Det är bland annat den sortens data som ligger till grund för den gedigna rapporten AI 2027, utkommen i april i år och författad av en kvintett forskare med den avhoppade OpenAI-medarbetaren Daniel Kokotajlo i spetsen. Rapporten är det ambitiösaste och bästa som hittills skrivits vad gäller detaljerade förutsägelser av kommande års AI-utveckling. Osäkerheterna är som sagt stora, men successivt och månad för månad arbetar de fram vad de ser som det mest sannolika förloppet. Centralt i detta förlopp är hur AI, till följd av den utveckling som bland annat METR-rapporten påvisat, år 2027 når en punkt där den är en lika skicklig AI-utvecklare som dagens främsta sådana av kött och blod. Tack vare att de ledande AI-företagen då kan sätta hundratusentals eller miljontals sådana AI i arbete leder detta på några få månader till så kallad superintelligens – AI som vida överträffar människan över hela spektret av relevanta förmågor.

[...]

AI alignment-pionjären Eliezer Yudkowsky kan med blott en mild överdrift sägas egenhändigt ha lagt grunden för området under 00-talet. I en inflytelserik artikel från 2008 beskriver han det han bedömer vara default-scenariot ifall vi misslyckas med eller helt enkelt ignorerar AI alignment: ”AI:n hatar dig inte, ej heller älskar den dig, men du består av atomer som den kan ha annan användning för”.

I en sådan situation vill vi givetvis inte hamna, och därför behöver vi lösa AI alignment i tid. Hur lång tid har vi då på oss? Ingen vet säkert, och det enda omdömesgilla är att medge att stor osäkerhet föreligger, men jag menar att vi bör ta på allvar den i AK-ekosystemet i San Francisco och Silicon Valley alltmer utbredda uppfattningen att superintelligent AI kan bli en realitet inom en tidsrymd som mäts i enstaka år snarare än decennier.

[...]

För att ge AI alignment-forskningen en chans att hinna ikapp tror jag att vi behöver dra i nödbromsen för utvecklingen av de allra mest kraftfulla AI-systemen. Detta försvåras dock av den kapplöpningssituation som föreligger, både mellan enskilda AI-företag och mellan länder (främst USA och Kina). Det allmänt hårdnande internationella klimatet sedan Trumps andra presidentämbetestillträde gör inte heller saken lättare. Ett lågvattenmärke för den globala AI-diskursen nåddes vid toppmötet AI Action Summit i Paris i februari i år, där säkerhetsfrågor sopades under mattan samtidigt som toppolitiker bjöd över varandra i vilka mångmiljardbelopp de avsåg satsa på AI-utveckling. Värst av allt var hur den amerikanske vicepresidenten JD Vance i sitt anförande uttryckte oförblommerat förakt för AI-säkerhet, då han slog fast att han ”inte var där för att tala om AI-säkerhet” och att ”vår AI-framtid inte erövras genom att oja sig över säkerhet utan genom att bygga”. Hans förhoppning lite längre fram i samma tal om att ”AI-ekonomin kommer att […] transformera den värld som består av atomer” ger, för den som minns Yudkowskys ovan citerade oneliner om AI och atomer, en isande rysning längs ryggraden.

Detta säger något om vilka krafter vi behöver övervinna om vi skall få ordning på AI-utvecklingen och styra den i för mänskligheten mer gynnsam riktning jämfört med vart vi idag verkar vara på väg. Men framtiden är inte ristad i sten, och jag tror fortfarande att det är möjligt att förhindra en AI-katastrof. Något som skulle förbättra oddsen ytterligare vore om vi lyckas mobilisera den folkopinion mot skapandet av övermänskligt intelligent AI som enligt diverse opinionsundersökningar verkar föreligga. Så hjälp gärna till att sprida budskapet!

Läs hela texten här!

Om kentaurschack

Igår skrev jag i Expressen om AI, arbetsmarknad och det så kallade människan i loopen-idealet. En central fråga är den om huruvida det finns någon vettig plats för människan i en process med AI-system som blivit bättre än vi på vad det nu är som skall göras. Ett populärt exempel att lyfta fram för dem som vill besvara frågan jakande har varit det så kallade kentaurschacket, vilket jag omtalar i artikeln:

Då AI överträffar mänsklig skicklighet kan vi [...] fortfarande hoppas att kombinationen människa plus AI ska visa sig mer kapabel än AI ensam. AI-entusiasternas paradexempel på detta var länge schack. Sedan mänskliga stormästare visat sig vara chanslösa mot de bästa schackprogrammen började man experimentera med spelformen kentaurschack, där mänskliga spelare fick lov att konsultera ett schackprogram innan de utförde sina drag. Så länge teamet människa plus maskin var bättre än maskinen ensam var spelformen intressant, men intresset kollapsade i slutet av 2010-talet då det blev snudd på omöjligt att överträffa en motståndare som valde att slaviskt följa datorns rekommendationer.

1997 förlorade den dåvarande schackvärldsmästaren Garri Kasparov en uppmärksammad match mot IBM:s schackprogram Deep Blue, och det var då kampen mellan människa och maskin på schackets område ansågs avgjord. Redan året efter lanserade Kasparov i en uppvisningsmatch mot stormästarkollegan Veselin Topalov det som senare kom att kallas kentaurschack, där alltså två mänskliga spelare med tillgång till schackprogram som de har rätt att konsultera under spelets gång ställs mot varandra. Spelformen fortsatte i nära två decennier att röna ett visst intresse, men i takt med att datorprogrammen blev allt spelstarkare närmade sig spelformen en kris: hur länge skulle den mänskliga komponenten i beslutsfattandet visa sig ha något att tillföra?

Så länge kombinationen människa plus maskin var starkare än maskinen ensam var spelformen intressant, och AI-propagandister kunde anföra kentaurschacket som ett exempel på hur människan kan förbli relevant även i närvaro av överlägset kapabla AI-system. Men det som tycks ha blivit den sista internationella kentaurschacksturneringen spelades 2017, varpå intresset i tysthet kollapsade. Jag har varit i kontakt med en av de ledande organisatörerna av kentaurschackturneringar, och han bekräftar min bild av att orsaken till det kollapsade intresset är att det inte längre verkade finnas något konstruktivt för den mänskliga parten i ett kentaurteam att bidra med. (Att till slut alla partier oundvikligen verkade sluta i remi bidrog också till att de sista entusiasterna ledsnade.)

Det ligger i sakens natur att ett vikande intresse för vad det nu må vara inte alltid dokumenteras explicit, och detta verkar vara fallet specifikt för det som hände med kentaurschacket 2017-2018. Och just detta bidrog antagligen till att en del av de oförväget optimistiska AI-debattörer som spred budskapet "Framtiden är ljus! Se på kentaurschacket!" inte observerade att tiden sprungit ifrån dem utan fortsatte med sina glada besked som om inget hade hänt. Den i Sverige ledande företrädaren för denna inobservanta falang är otvivelaktigt Mathias Sundin, i kraft av dennes bok Kentaurens fördel från 2023 (här är ett relevant utdrag). Jag hoppas att han i ljuset av det jag här meddelar kommer att korrigera sin kentaurschacksretorik, men med tanke på den inte alltför imponerande nivå av argumentativ stringens och hederlighet han hittills uppvisat (och som jag sett mig föranledd att kommentera här, här och här) håller jag inte andan.

Recommending the AI 2027 report by Kokotajlo and collaborators

Most people, including many AI experts, struggle to grasp (if they're even aware of it) the increasingly dominant view emerging in the epicenter of AI development in San Francisco and Silicon Valley: that extreme developments (on a scale surpassing even the Industrial Revolution) may well occur within the present decade. It is therefore entirely reasonable that there's growing demand for concrete scenarios describing what might happen. For almost exactly ten months, from early June 2024 onward, my go-to reference for such scenarios was Leopold Aschenbrenner’s Situational Awareness.

As of today, however, I recommend instead the brand-new AI 2027, by Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland and Romeo Dean. The report is an ambitious, detailed, remarkably competent and highly readable account of where things may be headed over the next few years. I commend the authors for putting in the considerable amount of work needed to produce the report, and I share their hope that the report will stimulate others in the AI sphere to react to it, for instance by challenging the various assumptions underlying the suggested scenario, or by proposing alternative scenarios.

Anyone with an interest in societal issues and a desire to ground their discussions in a realistic situational assessment is warmly encouraged to read it. In addition to the report itself, there is a highly informative three-hour podcast episode where Dwarkesh Patel interviews the first two authors, plus a short blog post by Scott Alexander introducing the project.

[Edit, April 9: Here are Scott Alexander's personal takeways from the project. Here and here are two relevant blog posts by Zwi Mowshowitz: the first is a detailed reading of the aforementioned podcast discussion, and the second is his summary of various people's initial reactions to the report, on Twitter and elsewhere. All of this is well worth reading, and I am certain a lot more will follow.]

METR on AI's ability to complete long tasks

The absolutely relentless deluge of breaking news from the AI world over the last few months has been pretty much impossible to adequately keep up with,¹ but the following is possibly the most important diagram I have encountered so far in 2025.

It is from a report released yesterday by the AI evals organization METR. In short: Due to the highly multi-dimensional nature of intelligence, we have so far been struggling to find a measure of AI capabilities that is appropriate for predicting when to expect AI with transformative societal effects. Since AI capabilities seem bottlenecked by the their ability to devise and execute plans in many steps, METR's proposal to measure capabilities in terms of how humanly long tasks AIs succeed at seems very promising. Their main result is that the length of tasks that AIs can handle seems to be growing exponentially, with an astonishingly short doubling time of around 7 months. Obviously the trend is in no way guaranteed to continue, but... extrapolating it just a few years into the future is vertigo-inducing.

Here is METR's report, and here is their summary blog post about the work.

Footnote

1) Anyone wishing to nevertheless try to do so is strongly advised to follow Zvi Mowshowitz' newsletter Don't Worry About the Vase.

Om AI och fabeln med hästarna: svar till Andreas Bergh

När första upplagan av min bok Tänkande maskiner var nyutkommen skrev nationalekonomen Andreas Bergh i en bloggpost den 10 maj 2021 positivt om boken, men tillät sig också ett stycke saklig kritik där han avvisar mina tankar om att den pågående AI-utvecklingen skulle kunna leda till esklerande massarbetslöshet. Kärnan i hans kritik finns i följande klipp från hans bloggpost.

Att jag nu tar till pennan kommer sig av att han igår återkom i samma ärende, i en bloggpost rubricerad Den vilseledande fabeln om hästar i diskussionen om AI och jobben som inleds med påpekandet att "Olle Häggström, Max Tegmark och Gregory Clark alla har [...] använt en fabel som förvirrar mer än den klargör". Jag skall strax återkomma till fabeln, men först vill jag berätta att jag redan 2021 tog mer intryck av Andreas kritik än han kanske anar. Bland annat har jag som en direkt följd av hans kritik inkorporerat i några av mina föreläsningar en kort diskussion om den så kallade ricardianska modellen för komparativa fördelar. Bilden ovan (inklusive grönmarkeringen) är liksom de följande hämtad från en sådan föreläsning, som jag gav den 11 september förra året vid ett hållbarhetsevenemang på Handelshögskolan vid Göteborgs universitet. Som en uppvärmning för min diskussion om ricardiansk teori visade jag följande exempel på nyttan med handel i en situation med aktörer som har olika kompetensprofil.

Här är det ganska enkelt att förstå vad som händer: Alice är bättre än Bob på korvtillverkning, medan Bob å sin sida är bättre än Alice på korvbrödstillverkning, så det är klart som korvspad att båda tjänar på om var och en av dem kan specialisera sitt arbete på det hen är bäst på. Men vad händer om Alice är bättre än Bob på allt? Då finns det väl inte mycket att göra? Jo, det går faktiskt som regel (och detta var 1800-talsekonomen David Ricardos briljanta insikt) att dra ömsesidig nytta av handel även i ett sådant fall:

Och här ligger Andreas poäng: människans situation i en värld där AI överträffar oss i allt kommer sannolikt att likna Bobs i det senare exemplet, på så vis att det kommer att gå att hitta områden där vår relativa underlägsenhet mot AI är mindre än på andra, och genom att arbeta inom dessa områden kan vi likt Bob ändå få en produktiv roll som bidrar positivt till ekonomin som helhet.

Värt att notera i Alice-och-Bob-exemplet är dock att Alices överlägsenhet över Bob är relativt måttlig: hon är fyra gånger så effektiv som Bob i fråga om korvtillvekning och dubbelt så effektiv inom korvbrödstillverkning. Vad skulle hända om hennes överlägsenhet vore större, så att hennes effektivitet överträffar Bobs tusenfaldigt eller mer på båda områdena? I praktiken skulle detta undergräva hennes incitament att handla med Bob, eftersom det lilla hon då har att vinna på saken sannolikt äts upp av transaktionskostnaderna för att bedriva sådan handel och av de övriga komplikationer som framhålls av Markus Stoor i nedanstående fotnot.¹ Då blir Bob ekonomiskt irrelevant, och situation genast mer bekymmersam - men tänk om det är just en sådan situation människan är på väg mot relativt AI? Denna eventualitet brukar jag inskärpa i mina föreläsningar, och slå fast att den ricardianska teorin därför inte duger för att avfärda risken för en framtida teknologisk arbetslöshet.

Jag är helt överens med Andreas om att så länge det finns arbetsmaknadsnischer där (för att citera den grönmarkerade passagen ovan) "människor [...] är nästan lika bra som maskiner", så ger ricardiansk teori goda skäl att anta att det kommer att finnas fortsatt plats för människor på arbetsmarknaden. Och även om jag på många andra håll i min bok talar om superintelligens, så medger jag att min passus på sidan 63 som Andreas citerar både i den gamla bloggposten och den nya - att jag har "svårt att tro att vi i evighet ska förmå hitta nya arbetsuppgifter där den mänskliga förmågan överstiger maskinernas" - var i slappaste laget, och att det hade varit bättre att ersätta "överstiger" med "inte helt utklassas av". Jag är mycket tacksam mot Andreas för att han pressar mig att klargöra denna viktiga punkt.

Men hur var det då med fabeln om hästarna? Andreas sammanfattar den osentimentalt men föredömligt koncist:

I fabeln konverserar två hästar i början av 1900-talet kring riskerna att deras position hotas av ny teknik: Ångmaskiner och bilar är de oroliga för. En häst är optimistisk, en annan är mer skeptisk. Fabeln avslutas med påpekandet att antalet hästar i USA föll med 90 procent mellan 1915 och 1960.

Och han kommenterar den med följande ord:

På vilket sätt är fabeln vilseledande? Jo, fabelformatet och kontexten får läsaren att tro att de talande hästarna symboliserar människor. Människor som hotas av ny teknik.

I själva verket symboliserar hästarna verktyg. När ånglok och bilar gör vad hästar tidigare gjorde fast bättre och billigare kommer allt färre att fortsätta använda hästar.

Talet här om vad fabeln "i själva verket symboliserar" antyder en lite märklig ontologi för fabler, där varje fabel existerar i något slags platonsk idévärld jämte ett facit rörande vad den "i själva verket" symboliserar, above and beyond författarens avsikt. I själva verket (hehe) finns ju inget sådant facit, vilket jag gissar att Andreas håller med om, och att han med sitt "I själva verket"-påstående snarare menar att fabeln enligt hans uppfattning passar bättre som illustration till hur det går för föråldrade verktyg än till hur människor riskerar att bli överflödiga.

Det verkar dock som att vi pratar förbi varandra när det gäller vad för slags framtid vi åsyftar. Å ena sidan, när Andreas läser mina ord från sidan 63 i boken tänker han per default på en värld där AI överträffar människan i alla arbetsuppgifter fastän på vissa områden med knapp marginal. Å andra sidan, när jag återger fabeln med hästarna tänker jag på en värld där AI nått mycket längre än så.

Var och en får såklart tänka på vilka framtider hen vill, och på så vis finns inget objektivt rätt svar på vem av oss som har den bästa tolkningen av fabeln, men man kan också fråga sig vilken av de båda framtidsvisionerna som är mest relevant. Eller med andra ord: hur långt är det troligt att AI-utvecklingen kommer att gå?

Varken Andreas eller jag eller någon annan vet något säkert svar på den frågan, men det senaste halvåret har jag entusiastiskt propagerat (i bloggposten Inte mycket om AI... och i den färska essän Our AI future and the need to stop the bear) för Nate Silvers TRS-skala (Technological Richter Scale) som ett värdefullt tankeredskap för att ta sig an frågan; se även Silvers bok eller Zvi Mowshowitz kommentar för närmare diskussion kring skalan. Jag lyssnade för någon månad sedan på Andreas poddsamtal med Joakim Wernberg om den svenska AI-kommissionens rapport,² och slogs av hur ingen av dem ens för en sekund verkade överväga möjligheten att AI-utvecklingen skulle kunna nå högre än en hög 7:a eller möjligen en låg 8:a på TRS-skalan.³ Om Andreas verkligen känner sig säker på att AI inte kan nå högre än så (något som i så fall vore intressant att se honom argumentera för) är det helt följdriktigt att han ser det ricardianska argumentet mot idén om eskalerande teknologisk arbetslöshet som helt avgörande, och hästen-som-människa-tolkningen av fabeln som en vilseledande fantasi. Om man (som jag) istället tar på allvar idén att AI kan nå längre och till och med kanske nå TRS-nivå 10, då ter sig den tolkningen av fabeln tvärtom ytterst relevant, medan Andreas påstående i den nya bloggposten att "det finns mekanismer i marknadsekonomin som gör permanent ökad arbetslöshet på grund av tekniska framsteg till något synnerligen osannolikt" framstår som överilat.

Kort sagt: meningsmotsättningen Andreas och mig emellan verkar inte handla om nationalekonomins ricardianska elementa (på detta område erkänner jag villigt hans expertis), utan snarare om hur långt vi räknar med att AI-utvecklingen kan komma att gå.

Fotnoter

1) Jag instämmer i det min gode vän Markus Stoor skriver i kommentarsfältet till Andreas nya bloggpost, och tillåter mig här att återge deras meningsutbyte:

Markus:

Men nej, det stämmer ju inte alls att det räcker med komparativa fördelar!

De komparativa fördelarna måste vara tillräckligt stora för att bära de fasta kostnaderna för en arbetare(eller häst).

Så kan det ju säkert vara så länge människor är nästan lika bra som maskiner på något, men det är väl vara osannolikt att vi i längden skulle stå oss så pass väl.

Eller?

Vi anställer ju inte 3-åringar eller schimpanser (eller hästar!) trots att de har komparativa fördelar.

Transaktionskostnaderna är för stora och värdet av deras arbetskraft för litet. Den samlade mänskligheten inklusive 3-åringarna och apligheten och hästligheten skulle producera mindre än den samlade mänskligheten pga att vi måste avdela så många vuxna till att organisera, arbetsleda och betala aporna, barnen och hästarna.

Andreas:

Hej Markus!

Min poäng var att man bör tänka i termer av komparativa fördelar, inte absoluta fördelar. Och det tycks du hålla med mig om.

Sedan beskriver du ett intressant specialfall i tillämpningen av komparativa fördelar, där exvis treåringar inte får arbete för att nettovärdet är negativt: kostnaden för att arbetsleda dem skulle överstiga värdet av vad de producerar. Då blir de oanvända i produktionen, det har du rätt i. Hur sannolikt det är att vuxna människor kommer att bli som treåringar i ditt exempel vill jag däremot låta vara osagt.

Markus:

Jag tycker att man ska vara uppmärksam på att teorin om komparativa fördelar har en gräns när den inte längre är tillämplig (det du här kallar specialfall). Även om det är väldigt tydligt med exemplet treåringar så gäller det också vuxna människor, vilket vi både ser på svensk arbetsmarknad och i internationell handel.

I fallet med treåringarna blir värdet nettonegativt redan om man ska involvera redan existerande treåringar i produktionen. Det tror jag är osannolikt vad gäller större delen av den vuxna befolkningen.

Tyvärr är dock klassen av specialfall större än så (eller som jag ser det, gränsen för modellen om de komparativa fördelarnas giltighet snävare än så) i och med att det inte räcker att lämna ett positivt produktionsbidrag efter transaktionskostnader. Man måste också täcka sina egna fasta kostnader.

För en människa innebär det ytterst att man måste vara effektivare i sitt resursutnyttjande vad det gäller begränsade resurser än maskinerna. Blir den sammanlagda produktionen högre ifall det står solceller på åkern där vetet till ditt bröd skulle ha odlats så är tyvärr din existens inte ett positivt bidrag till den sammanlagda produktionen. På det viset tror jag att det är rejält sannolikt att vi människor, liksom draghästarna den gången, kommer att bli obsoleta.

En fingervisning om det tycker jag mig se bakom den liknelse (fabel?) du ofta återkommer till i podden. Kentauren. Det fanns en tid när människor med schackprogram kunde slå schackprogram utan människor. Men kentaurernas tid var kort.

2) Se den här debattartikeln i Kvartal för min egen (skarpt kontrasterande) syn på kommissionens rapport.

3) Detta alltså trots att Andreas läst min bok Tänkande maskiner, något som jag dessvärre får notera som ett pedagogiskt misslyckande med boken. Det jag nu skulle önska mig mest av allt från Andreas, om han har tid och intresse för saken, är att han läser (åtminstone Avsnitt 1 och 3 i) min Stop the bear-essä och funderar ett varv till på hur långt han tror att AI-utvecklingen kommer att nå, i termer av TRS-skalan, samt (gärna i bayesianska termer) hur säker han är på denna prediktion. Ett skäl till att jag skulle tycka detta vore intressant är att jag tror att en väldigt stor del av dagens AI-debatt lider skada av att många kommentatorer implicit och strängt taget omotiverat tar för givet att AI inte kommer att utvecklas stort mer än epsilon bortom dagens nivå, och det vore intessant att se vad som händer om en allmänkompetent tänkare i denna kategori anstränger sig att resonera mer explicit om detta.

Snart dags för Vetenskapsfestivalen 2025

Varje år i april äger Vetenskapsfestivalen rum i Göteborg, och nästan varje år medverkar jag i en eller flera programpunkter. Så även detta år! Det publika programmet i år äger rum den 1-6 april, och jag finns med vid två tillfällen:

• Torsdag den 3 april kl 19:20-19:50 talar jag över ämnet Can AI be conscious i sal Pascal på Chalmers (hitta dit). Detta är en del av den större programpunkt A mathematical evening som äger rum 17:30-20:00, då tillfälle ges att även höra populärvetenskapliga framställningar av några av mina lokala matematikerkollegor.
• Fredag den 4 april kl 17:00-18:00 på Stadsbiblioteket samtalar jag med Chalmers rektor Martin Nilsson Jacobi om Vår framtid med AI. I programbeskrivningen utlovas diskussion om "...den dramatiska AI-utveckling som pågår, dess enorma möjligheter och likaledes enorma risker, och vad vi kan göra för att styra utvecklingen i en för människan och samhället gynnsam riktning. Perspektivet kommer i första hand att vara globalt, men [...] det finns även anledning att diskutera vad en teknisk högskola som Chalmers kan bidra med".

Our AI future and the need to stop the bear

Here, in pdf, is my latest essay Our AI future and the need to stop the bear.¹

In it, I describe humanity's current predicament regarding existential AI risk, and our urgent need to solve the situation. This is important stuff. I didn't intend it when I started writing, but towards the end it turns into a pamphlet, a manifesto, a call to action. If you read just one thing by me in 2025, let this essay be it. Here!

Footnote

1) Perhaps you wonder about the bear. I rarely write about bears, so what about the bear? It comes from a metaphor by Connor Leahy, which I quote on p 2 of my essay:

My emphasis on the risks stems from a realization of how urgent the need to mitigate them has become. In a recent podcast, AI researcher Connor Leahy went further in his colorful motivation for this prioritization by stating that “it is not useful to philosophize about the communist utopia if a bear is currently ramming down your door”.

Back from Paris

The so-called AI Action Summit¹ takes place today and tomorrow in Paris, but I am back home after the inaugural meeting of the International Association for Safe and Ethical AI that took place there last week. Much was said at our meeting that I would wish for the world leaders at the Summit to pick up on, but if I had to single out just one sentence, it would be the following, said by the organization's president pro tempore Stuart Russell in his closing address:

It is entirely reasonable for governments to impose safety requirements that manufacturers cannot meet.

Read it, and read it again, and upon a moment's thought you will find it utterly obvious. Safety requirements are safety requirements. Yet, so much of contemporary AI governance discussion seems to implicitly rest on its negation.

Stuart Russell's talk can be found here, beginning 03:35:50 into the video. Other notable talks were given by Yoshua Bengio, Anca Dragan, Geoffrey Hinton, Maria Ressa, Joseph Stiglitz and Max Tegmark. These and many others are available in the videos collected here. I especially recommend Bengio's talk, beginning 17:00 into this video.

Footnote

1) The name change, compared to the 2023 AI Safety Summit led by Rishi Sunak at Bletchley Park in the UK, is unfortunate. You can still protest!

Ständigt denne Göran Lambertz

1. Sammanfattning

Göran Lambertz, tidigare justitiekansler och därefter justitieråd i Högsta domstolen, har författat och på sin hemsida nyligen publicerat en rapport rubricerad Vem mördade sannolikt Olof Palme?, där han utger sig för att analysera frågan med bayesiansk statistisk metod, men gör det med så bottenlös inkompetens att de siffror han presenterar är värdelösa för den som vill bilda sig en uppfattning om vem som mördade Palme. Huvudpunkten i denna bloggpost (se Avsnitt 4 nedan) är en presentation av ett urval av de grövsta matematisk-statistiska fel som Lambertz begår i sin rapport.

2. Syfte

Jag håller för tämligen osannolikt att någon läsare av min blogg skulle känna sig frestad att vända sig till Lambertz rapport för vägledning i frågan om vem som mördade Olof Palme, och fastän jag avråder starkt från sådan vägledningshänvändelse är detta inte mitt primära syfte. Ej heller handlar det om att tala Göran Lambertz till rätta; vis av erfarenhet betraktar jag detta som näst intill omöjligt.¹ Nej, huvudsyftet med min bloggpost är att illustrera (a) några fallgropar som den matematisk-statistiskt oerfarne kan hamna i i sina försök att tillämpa de ytligt sett ganska enkla redskap som den bayesianska statistiken tillhandahåller, och (b) ett visst slags psykologi som kan få högt begåvade personer att kraftigt överskatta sin egen kompetens.

3. Bakgrund

Våren 2015 publicerade Göran Lambertz sin bok Quickologi, som handlade om det så kallade Quickärendet - ett av de allra mest uppmärksammade i modern svensk rättskipning. Bokens centrala budskap är att Thomas Quick (även känd som Sture Bergwall) med 183%-ig sannolikhet är skyldig till de mord denne anklagats för. Ack så fånigt, tänkte jag när jag fick se den då nyutgivna boken, och bestämde mig för att inte engagera mig i frågan, men när veckorna gick och de kommentatorer som höjde sina röster mot Lambertz matematik samtliga verkade stanna vid (det i och för sig korrekta) konstaterandet att 183% inte är en matematiskt giltig sannolikhet ändrade jag mig, då jag bedömde chanserna goda att debatten skulle gagnas av en matematiskt kompetent genomgång av de resonemang i boken som fick Lambertz att landa i sin stolliga siffra. Jag läste boken och levererade mina (ganska beska) sammanfattande omdömen i bloggposten Quickologisk sannolikhetskalkyl. Därefter vidtog en diskussion med Lambertz som med varierande intensitet pågick i mer än ett år, delvis på min blogg (se t.ex. denna bloggpost, och denna, och denna, och denna) men också i mer privata kanaler. Denna diskussion var extremt frustrerande, och även om den på ett plan kan ha förefallit uppvisa viss progression - från Lambertz insisterande på sin totalflänga additionsformel, via hans hopp till sin kosmetiskt mer tilltalande men i själva verket precis lika odugliga multiplikationsformel, till att han slutligen landade i att tillämpa den välkända och matematiskt korrekta Bayes sats - så hjälpte detta inte alls, eftersom alla matematiska verktyg oavsett om de är nonsens eller i sig helt riktiga leder till rena dumheter när de brukas med lambertzk omdömeslöshet och inkompetens.

När jag framåt hösten 2016 explicit avsade mig fortsatt engagemang rörande Lambertz matematiska äventyrligheter så rådde jag honom i så otvetydiga ordalag jag förmådde att inte på egen hand arbeta vidare på det bayesianska spåret, då det ju var lätt att förutse vilket slags trams det skulle resultera i. Om han ville fortsätta framåt längs denna väg så var det absolut nödvändigt, framhöll jag, att han gör det i samarbete med matematisk-statistisk expertis.

Dessa råd föll dessvärre för döva öron, och Lambertz har under de år som gått sedan 2016 fortsatt att redovisa en rad på Bayes sats baserade analyser av Quickärendet. Det har hänt att jag kastat ett öga på dessa och då förfärats av det jag sett, men jag har avstått från närmare dissekering, då jag även vid tillfällen då vi befinner oss på landet med hyfsat långt till närmsta granne ändå som regel haft min hustru på plats i samma hus, och då jag vet att hon ogillar när jag sliter mitt hår, dunkar huvudet i skrivbordet och ropar okvädningsord rakt ut i luften. En annan bidragande orsak till min avhållsamhet är hur hjärtinnerligt trött jag var på den Quickologiska sannolikhetskalkylen i alla dess skepnader. Därför kändes det snudd på nytt och fräscht (nej jag överdriver, fräscht var det sannerligen inte) när Lambertz i den rapport han i mellandagarna publicerade valde att (tillfälligt?) lägga Quickärendet åt sidan och istället tillämpa det han inbillar sig kunna om bayesiansk metodik på Palmemordet. Ok, sade jag till mig själv, jag kan väl ta en titt på detta för att se om nära ett decennium av autodidaktiskt övande på tillämpning av Bayes sats eventuellt börjat ge resultat i form av förbättrade färdigheter. Men ack nej, någon sådan förbättring kan knappast skönjas.

4. Rapportens innehåll och ett urval av dess brister

Göran Lambertz nya rapport Vem mördade sannolikt Olof Palme? gör anspråk på att med bayesiansk metodik uppskatta sannolikheterna för fem olika gärningspersoner eller kategorier av sådana, nämligen (a) Christer Pettersson, (b) Stig Engström, (c) pseudonymen Christer Andersson, (d) Sydafrikaspåret och (e) annan konspiration. Det förtjänar här inskärpas att det är en mycket bra idé att göra en sådan analys, då bayesiansk metodik enligt min mening är den principiellt rätta att tillämpa i brottmål där osäkerhet om gärningsperson och andra omständigheter i sak föreligger. Jag tror att rättsväsendet, både i Sverige och internationellt, skulle ha väldigt mycket att vinna på om det bayesianska tillvägagångssättet sattes i system, och att många förfärliga rättsskandaler hade kunnat unndvikas med en kompetent genomförd sådan praxis; det ökända Sally Clark-fallet i Storbritannien är ett lärorikt paradexempel.

Problemet med Lambertz analys är emellertid att den är så urbota inkompetent genomförd att de siffror han presenterar i rapporten genom att ge ett bedrägligt intryck av precision är ännu sämre än att inte ge några siffror alls. I det följande ger jag en (icke-uttömmande) lista över fyra av de mest flagranta dumheterna i hans analys. Jag väljer att i mitt urval särskilt fokusera på gärningsmannakandidaten Stig Engström, då jag finner denne vara av särskilt intresse i kraft av att ha pekats ut som misstänkt gärningsman i samband med nedläggningen 2020 av Palmemordsutredningen.

4.1. A priori-sannolikheten för Engström. I en bayesiansk analys behöver de händelser vilkas sannolikhet vi är ute efter att uppskatta tilldelas så kallade a priori-sannolikheter (av Lambertz kallade ursprungssannolikheter). Vad gäller händelsen att det var Stig Engström som sköt Palme väljer Lambertz a priori-sannolikheten 0,001. Någon närmare motivering till detta val ger inte Lambertz, utöver påpekandet på s 31 i rapporten att "man brukar ange en mycket låg sådan sannolikhet utifrån tanken att alla personer i någorlunda närhet till brottet som utgångspunkt är ungefär lika möjliga som gärningsmän". Grundprincipen här är vettig, men problemet i det aktuella fallet är att 0,001 inte alls är någon särskilt låg sannolikhet, utan tvärtom uppseendeväckande hög. Om jag själv hade givit mig på att analysera Palmemordet med bayesianska metoder hade jag nog på sin höjd satt a priori-sannolikheten till 0,000 001 (eller troligtvis ytterligare något lägre), med stöd i att allt tyder på att mördaren är en man, och i att det i Stockholmsområdet finns i storleksordningen en miljon män. För att motivera en så hög siffra som 0,001 skulle Lambertz behöva ange (åtminstone på ett ungefär) någon a priori-avgränsning av en population om cirka 1000 personer² vilken inkluderar såväl Stig Engström som Christer Pettersson och Christer Andersson vilka båda också åstätts a priori-sannolikhet 0,001, men rörande hur en sådan (i storstadssammanhang ytterst liten) population skall definieras lämnar Lambertz läsaren fullkomligt i sticket.

Intrycket jag får här är att Lambertz uppfattar såväl 0,001 som 0,000 001 som pyttesmå sannolikheter och tänker (om han nu alls ägnat saken någon medveten tanke, vilket såklart inte kan tas för givet) att valet mellan dem inte rimligtvis kan spela någon större roll. Här tar han i så fall miste, eftersom det inte främst är den ringa differensen 0,000 999 mellan talen som gör valet betydelsefullt, utan (den betydligt större) kvoten mellan dem, som är 0,001/0,000 001 = 1000. Om man genomför Lambertz analys av gärningsmannakandidaten Engström med modifieringen att a priori-sannolikheten sätts till 0,000 001 istället för 0,001, så landar a posteriori-sannolikheten att Engström är mördaren på cirka 0,01% istället för de 10% som Lambertz anger. Skillnaden mellan dessa resultat är betydande: 10% är en högst påtaglig misstankegrad medan 0,01% är en snudd på försumbar sådan.

En bayesiansk analys blir sällan bättre än de siffror som matas in i formlerna, och det är därför i någon mån ett bekymmer att bayesianen ofta behöver höfta. Skillnaden är dock avgrundsdjup mellan välgenomtänkta höftningar och att på Lambertz vis lite på måfå dra fram sina siffror ur röven.

4.2. Engströms närvaro vid brottsplatsen. Stig Engström är bunden vid brottsplatsen, och att han var där är såklart en viktig omständighet att ta hänsyn till i en bedömning av sannolikheten att han också begick mordet. För att tillämpa Bayes formel behöver vi sätta in värden dels på den betingade sannolikheten att Engström skulle vara där givet att han är mördaren, dels motsvarande betingade sannolikhet givet att han inte är mördaren. Den första sätter Lambertz till 1, vilket är helt rimligt: för att kunna begå mordet behöver givetvis Engström ha varit närvarande på brottsplatsen. Men sedan kommer den stora överraskningen, nämligen att Lambertz sätter även den andra betingade sannolikheten till 1. Att dessa båda sannolikheter är lika betyder att Engströms närvaro vid brottsplatsen överhuvudtaget inte förmår rubba a priori-sannolikheten att han är mördare, eller med andra ord att denna närvaro inte har någon betydelse för misstankegraden mot Engström.

Detta måste Lambertz rimligtivis hålla med om är orimligt, och jag misstänker att den andra ettan i hans kalkyl (sannolikheten att Engström skall finnas vid brottsplatsen givet att han inte är mördaren) helt enkelt är frukten av ett tillfälligt hjärnsläpp. Kanske tänkte Lambertz att "jamen vi vet ju att han var där, så då måste väl sannolikheten vara 1", men det är inte så man i detta slags sammanhang behandlar sannolikheter. I så fall skulle ju alla säkra bevisomständigheter automatiskt bli betydelselösa i bevissammanvägningen, något som självklart är orimligt och som dessutom skulle få förödande följder för snart sagt alla brottsutredningar.

4.3. Urvalet av evidensomständigheter att peta in i uträkningen. På sidan 36 i rapporten ränkar Lambertz upp de tio evidensomständigheter han bedömer ha störst betydelse för att avgöra Engströms eventuella skuld till mordet, varav fem sägs peka mot hans skuld medan de återståede fem sägs peka mot hans oskuld. När Lambertz sedan börjar sätta in siffror i Bayes sats så gör han det enbart för de första fem omständigheterna, och inte för de återstående fem. Att på detta sätt räkna in omständigheter som pekar i den ena riktningen men inte i den andra går inte an, utan förvränger såklart resultatet systematiskt i riktning mot Engströms skuld. (Man kan överhuvudtaget inte hoppa över några evidensomständigheter med mindre än att man bedömer dem vara av försumbar betydelse.)

Något förbryllande hävdar Lambertz (tre rader från botten av s 36) rörande hans tillämpning av Bayes sats på de fem första evidensomständigheterna att han genomför den "med beaktande av de omständigheter som talar emot att Stig Engström är skyldig" (dvs av de övriga fem). Men detta går helt emot den bayesianska systematik som Lambertz försöker tillämpa, där man räknar på effekterna av en evidensomständighet i taget. Eftersom Lambertz inte säger något konkret eller kvantitativt om detta "beaktande" lämnas läsaren helt i det blå rörande hur stor inverkan de enskilda omständigheterna har (såväl de första fem som de återstående fem).

Låt mig erbjuda en analogi. Antag att vi är intresserade av avståndet med bil mellan Stockholm och Göteborg längs E4:an och Riksväg 40. Eftersom Linköping och Jönköping ligger längs denna färdväg kan vi om vi så vill dela upp sträckan Stockholm-Göteborg på delsträckorna Stockholm-Linköping (20 mil), Linköping-Jönköping (13 mil) och Jönköping-Göteborg (14 mil), och räkna ut totalavståndet som 20 + 13 + 14 = 47 mil. So far so good, man antag nu att vi på Lambertz vis vill förenkla uträkningen genom att hoppa över den sista delsträckan och istället ta den i "beaktande" i angivandet av de två första. I så fall kan vi t.ex. erhålla sträckan Stockholm-Göteborg som sträckan Stockholm-Linköping (30 mil) plus sträckan Linköping-Jönköping (17 mil), och få totalsträckan 47 mil, vilket i och för sig råkar vara korrekt, men utan att ge någon som helst ledning om hur långa de olika delsträckorna är, så för den stackars läsaren blir uträkningen helt meningslös - lika meningslös som Lambertz låtsas-bayesianska uträkning av sannolikheten för Stig Engströms skuld.

4.4. Övriga tänkbara mördare. Lambertz fel på denna punkt är mer subtilt och mer förlåtligt än de ovanstående, men har enligt min mening visst pedagogiskt värde att redovisa. Låt A₁, A₂, A₃, A₄ och A₅ beteckna respektive händelser att Pettersson är mördaren, att Engström är mördaren, att Andersson är mördaren, att Sydafrika ligger bakom och att någon annan konspiration ligger bakom. Då är det naturligt att även införa A₆ som beteckning för att någon eller något som inte täcks av A₁, ..., A₅ ligger bakom mordet. De sex händelserna utgör då en så kallad partition av det totala utfallsrummet, vilket medför att

P(A₁) + P(A₂) + P(A₃) + P(A₄) + P(A₅) + P(A₆) = 1.

Om vi känner till de fem första sannolikheterna kan vi därför räkna ut den sjätte enligt

P(A₆) = 1 - (P(A₁) + P(A₂) + P(A₃) + P(A₄) + P(A₅)).

Detta samband visar sig vara fortsatt giltigt om vi betingar på någon viss uppsättning E av evidensomständigheter:

P(A₆|E) = 1 - (P(A₁|E) + P(A₂|E) + P(A₃|E) + P(A₄|E) + P(A₅|E)).

Det är detta generaliserade samband (vilket vi kan kalla betingade partitionsformeln) som Lambertz implicit försöker tillämpa på s 50 i sin rapport. Han summerar sina uppskattningar av de fem första sannolikheterna och får dem till 67,5%, varpå han föreslår att restposten A₆ därigenom får sannolikhet 100% - 67,5% = 32,5%. Problemet är bara att betingade partitionsformeln inte gäller i Lambertz situation, eftersom hans uträkning av sannolikheterna för A₁, ..., A₅ inte sker betingat på en och samma uppsättning E av bevisomständigheter, utan på fem olika sådana uppsättningar. I själva verket är det ren flax att de fem sannolikheter Lambertz fått fram summerar sig till något som understiger snarare än överstiger 100%. Summan hade mycket väl kunnat bli exempelvis 183%, varpå tillämpningen av betingade partitionsformeln hade givit honom det penibla resultatet att sannolikheten för A₆ landar på -83%, trots att negativa sannolikheter som bekant(?) inte existerar.

Detta visar på vådan av att betinga på olika evidensomständigheter i uppskattningen av sannolikheten för olika lösningar på mordgåtan. För en samlad och integrerad bild av evidensläget rörande Palmemordet behöver vi betinga på en och samma evidensomständighetsuppsättning för varje lösningskandidat. Detta är i själva verket ett exempel på det jag parentetiskt påpekade redan i Avsnitt 4.3, nämligen att man behöver betinga på samtliga föreliggande icke-försumbara evidensomständigheter. Om, säg, någon viss omständighet talar för att Stig Engström är mördaren, så talar den därigenom ofta emot att Christer Pettersson är mördaren, och behöver därför komma med även i den uträkningen.

5. Slutsatser

Bayesiansk statistik må förefalla enkelt för den som bekantat sig med Bayes sats, men att få det att fungera i praktiken kräver i själva verket färdigheter i matematiskt och statistiskt tänkande som går långt bortom själva satsen och som tar lång tid att lära sig. De fallgropar jag går igenom ovan är blott ett skrap på ytan vad gäller dessa svårigheter.

Jag välkomnar när forskare och andra utan matematisk-statistisk bakgrund försöker lära sig dessa saker för att sedan tillämpa dem, men det kräver ett visst mått av ödmjukhet inför alla de komplikationer som tenderar att dyka upp. Detta behov av ödmjukhet är såklart inte specifikt för bayesiansk statistik, utan gäller de flesta akademiska ämnesområden och profesionella och andra färdigheter. För många kommer den naturligt, medan andra har en tendens att alltför snabbt konstatera "nu begriper jag det här, nu är jag fullärd" och sedan fortsätta framåt som en bulldozer utan att lägga märke till alla de fel man gör. Jag tycker mig se en typ av allmänt akademiskt högpresterande individer som, vana vid hur de under sina studieår snabbt lärde sig behärska allt som kom deras väg, har extra lätt att falla i bulldozerfällan. Göran Lambertz hör helt klart till denna typ, och jag befinner mig själv i ett slags riskzon,⁴ med min eklektiska iver att klampa in på andra ämnesområden än de jag en gång utbildades för. En skillnad jag dock tycker mig se (med reservation för att inrospektion ibland kan vara förrädisk) är att jag är något mer medveten än Lambertz om denna min tendens, och kan göra medvetna ansträngningar att korrigera för den. Lambertz verkar ha svårare för den saken, och inte ens när han explicit blir varnad för svårighetsgraden inom ett ämnesområde verkar han ta någon notis. Jag syftar såklart här på interaktionen honom och mig emellan då när det begav sig, 2016.

Eller hade jag måhända en tråkig ton som försvårade för mitt budskap att nå fram? Även om jag inte tror att det var huvudorsaken så kan det såklart ha spelat in. Kanske borde jag gå tillbaka i ovanstående text och försöka hitta snällare formuleringar här och var? Fast nej, jag är lite för förtjust i att vara rak i min framställningskonst, och har lite för stark aversion mot att lägga på lager på lager av otydlighetsskapande diplomatisk fetvadd för att vilja göra det. Det får vara.

Fotnoter

1) Som mest kan jag föreställa mig att Lambertz tar till sig de specifika punkter jag pekar ut som felaktigheter i hans Palmemordsanalys, men min ganska säkra prediktion är att han i så fall inte kommer att acceptera påståendet att dessa blott utgör exempel på felaktigheter, utan tvärtom kommer att hävda att hans analys bortsett från de specifika punkterna är klanderfritt genomförd, och dessutom insistera på att hans diverse bayesianska analyser av Quickärendet håller föredömligt god kvalitet.

2) Eller egentligen snarare 870 personer, eftersom konspirationskategorierna (d) och (e) uppges omfatta totalt 13% av Lambertz a priori-fördelning,³ så att endast 87% återstår att fördela över enskilda gärningspersoner.

3) Av dessa 13% tilldelas hela 3% Sydafrikaspåret. Det betyder att maximalt 10% återstår att fördela över andra länders säkerhetstjänster, och såledels att maximalt tre ytterligare länder kan få lika hög eller högre sannolikhet än Sydafrika. Vadan denna särställning för ett land som varken ligger särskilt nära Sverige eller särskilt högt på någon topplista över världens folkrikaste eller mäktigaste länder? Om detta säger Lambertz inte ett pip. Frestande att anföra här skulle kunna vara den sydafrikanska regeringens fientliga inställning till Palme eller deras våldsbenägenhet, men båda dessa saker kommer med som evidensomständigheter i Lambertz kalkyl, och att då samtidigt ta hänsyn till dem i bildandet av a priori-sannolikheten vore ett slags dubbelräkning som riskerar att förvränga reusltatet av analysen.

4) Ett tredje exempel jag tycker mig se, som kan vara värt att framhålla i kraft av dess tydlighet, finns hos den eminente amerikanske fysikern, vetenskapspopularisatorn och poddaren Steven Hsu. I ett avsnitt i somras av hans podd Manifold berättar han bland mycket annat om hur han som barn intresserade sig för schack, och varför han gav upp det intresset. Det vore mig fjärran att kritisera någon för att välja annat än schack att syssla med, men det skäl han anger tyder på det slags tendens till självöverskattning jag talar om här. Han läste under sin schackspelande period i barndomen en del schackböcker och tyckte sig begripa vad som stod i dem, inklusive klassikern Bobby Fischer Teaches Chess. Detta att han till och med begrep vad som anfördes i en bok av Fischer fick honom att dra slutsatsen att han hade snappat upp spelets grundprinciper, och även om han såklart insåg att det fanns potential för honom att bli en säkrare och starkare schackspelare så gjorde han (och verkar än idag göra) bedömningen att det inte fanns något mer för honom att hämta vad gäller spelets idéer, och därmed kändes schacket alltför torftigt för att vara värt en fortsatt satsning. Men Bobby Fischer Teaches Chess är en nybörjarbok! Jag läste den själv i 11-årsåldern, och kan intyga att de schackliga idébatterier jag plockade upp under de decennier som följde vida översteg dem jag mötte i Fischers bok - samtidigt som jag inser att spelare som Fischer och Magnus Carlsen hade eller har en idérepertoar och en idéförståelse som får min egen att mer likna salongsberusad fia med knuff.

[Edit 14 januari: Efter publiceringen av denna bloggpost följde under förra veckan en irriterad ebrevsutväxling Lambertz och mig emellan. Lambertz visade sig mindre intresserad av att diskutera bayesiansk inferens är av att lyfta fram defekter i min personlighet, med särskilt fokus på min elakhet. Vår korrespondens blev snabbt alltför vresig för att förtjäna att offentliggöras, men jag vill ändå säga något om den elakhet mot honom jag i exempelvis föreliggande bloggpost uppvisar (att denna elakhet faktiskt föreligger är uppenbart och jag har inga invändningar på denna punkt).

På s 30 i sin rapport skriver Lambertz:

Vad man inte [...] kan göra med Bayes sats är att bedöma det matematiska värdet av omständigheter som talar emot personens skuld. [kursivering i original]

Detta yttrande kan fungera som förklaring till de lambertzka dumheter jag redovisar i Avsnitt 4.3 ovan, men det slags asymmetri mellan omständigheter för kontra emot som han här hävdar att tillämpbarheten i Bayes sats uppvisar existerar helt enkelt inte. Bayes sats fungerar exakt likadant i båda fallen. Genom att hävda denna asymmetri demonstrerar han sin totala cluelessness om sannolikhetslära i allmänhet och Bayes sats i synnerhet, och givet denna cluelessness är det inte särskilt konstigt (utan tvärtom oundvikligt) att hans försök att tillämpa bayesiansk metodik ständigt går så fel. Ändå fortsätter han, trots många välunderbyggda påpekanden (inte sällan från yours truly) om hans totala inkompetens på detta område, att med utnyttjande av sin ställning som känd svensk ämbetsman och samhällsdebattör publicera sina förment bayesianska analyser av kända rättsfall. För denna nedsmutsning av det offentliga rummet förtjänar han förakt och svidande elakheter, och jag anser därför att den debatton jag anlägger mot honom är välkalibrerad och helt i sin ordning.

För undvikande av missförstånd (ett missförstånd Lambertz själv gav uttryck för i nämnda brevväxling då han frågade mig om jag kallar även mina studenter "bottenlöst enfaldiga") vill jag understryka att det inte är Lambertz okunskap om sannolikhetslära och Bayesiansk metod som förtjänar förakt. Om jag ansåg det skulle jag bli en alldeles omöjlig person att ha att göra med, eftersom i runda tal 99% av alla svenskar kan lika lite som han om dessa saker. Den saken är inget att hetsa upp sig över. Det som kvalificerar honom för förakt är hans vägran att inse sin begränsning på detta område, och hans envishet med att med hög röst ge offentlighet åt sina charlatanerier.]