Pro tip on discussions about AI xrisk: don't get sidetracked

In my experience, a quite frequent dynamic in discussions about existential risk (xrisk) from AI is that my conversation partner remains skeptic about the reality of such risk, but before that issue has been even the slightest bit resolved they propose to change the subject to some neighboring topic, such as one of the following.

• But if (for the sake of argument) the risk is actually real, is there anything at all we can do about it?
• But doesn't this whole xrisk issue just distract from more pressing near-term AI risks which we ought to discuss instead?
• But evolution moves on, so what's the big deal anyway if humanity is replaced by some superior new kind of beings?

In all three cases, my recommendation (based on years of experience from having these discussions) is to avoid getting sidetracked and to insist on getting clear on the is-AI-xrisk-a-real-thing issue before moving on, and I will explain why. The explanations will be a bit different in the three cases, so I'm not sure how well my advise generalizes to other change-of-topic proposals, and I can in fact easily think of other more benign such proposals where I would happily oblige, such as "OK, let's agree to disagree, but how about if we go grab a beer and discuss [X]", where X could be anything ranging from tonight's football game to the scandal of Douglas Adams never having been rewarded the Nobel Prize in literture. On to the three cases:

But is there anything we can do?

I think the question of what we can do to mitigate or entirely avoid AI xrisk is very important and very difficult, and I am super happy to discuss it, provided my discussion partner is on board with the idea that the risk may be real. If he or she is not, I will politely decline to discuss this topic, because from from their point of view there is no real problem to be solved, and if I agree to discuss it anyway their contribution to the discussion therefore tends not to be very constructive. When we enter the realm of AI governance (as it nowadays tends to do fairly quickly, because as opposed to just 4-5 years ago I no longer believe that technical AI alignment on its own has much chance of saving us from AI catastrophe without assistance from politics and legislation), they will bombard me with questions such as "What about China?", "What about Trump?", "What about the relentless market forces?", and so on. These are all valid questions, but as the deck is currently stacked they are also extremely difficult, to the extent that even a moderately clever discussion partner who is not interested in actually solving the problem but merely in playing devil's advocate is likely to win the argument and triumphantly conclude that I have no clear and feasible plan for avoiding catastrophe, so why am I wasting people's time by going on and on abut AI xrisk?

And here's the thing. Many of those who play the devil's advocate in this way will be aiming for exactly that turn of the conversation, and will implicitly and possibly unconsciously believe that at that point, they have arrived at a reduction ad absurdum where the assumption that AI xrisk is real has been shown to be absurd and therefore false. But the reasoning leading to this reductio doesn't work, because it relies on (something like) the assumption that the universe is a sufficiently benign place to not put humanity in a situation where we are utterly doomed. Although this assumption is central to various Christian thinkers, it is in fact unwarranted, a horrible realization which is core to the so-called Deep Atheism of Eliezer Yudkowsky, further elaborated in recent work by Joe Carlsmith.

To reiterate, I do think that the AI governance questions on how to stop actors from building an apocalyptically dangerous AI are important, and I am very interested in discussing them. They are also difficult - difficult enough that I don't know of any path forward that will clearly work, yet we have far from exhausted all such possibilities, so the challenges cannot at this stage be dismissed as impossible. I want to explore potential ways forward in intellectual exchanges, but am only prepared to do it with someone who actually wants to help, because the field is so full of real difficulties of which we who work in it are so highly aware that our primary need is not for additional devil's advocates to repeat these difficulties to us. Our primary need is for the discussions to be serious and constructive, and for that we need discussion partners who take seriously the possibility of AI xrisk being real.

But distraction?

So what about the suggestion to put the AI xrisk issue aside, on account of it just being a distraction from more pressing concerns coming out of present-day AI systems? These are concerns about things like AI bias, copyright issues, deepfakes and the AI-driven poisoning of our epstemic infrastructure. I have two problems with this suggestion.

The first is terminological. Calling those kinds of more down-to-Earth AI issues "near-term", in contrast to AI xrisk which is called "long-term", may have had some logic to it in the bygone era of the 2010s when most of us working on AI xrisk thought the crucial events such as an intelligence explosion and/or the extinction of humanity were at least decades away. Now that there seems to be a very serious possibility that these may happen within the next five years or so (see, e.g., Daniel Kokotajlo et al's seminal AI 2027), insisting on this near-term vs long-term terminology has become highly misleading. My near-term survival may well depend on preventing an existential AI catastrophe!

My second problem with the change-of-topic suggestion is more substantial, and lies in whether the term "just" (as in "AI xrisk is just a distraction") is justified. Well, I claim that in order to judge that, we need to work out whether or not AI xrisk is a real thing. If it is not a real thing, then of course discussing it is just a distraction from more pressing real-world issues, and we should switch topics, whereas if it is a real thing, then of course it is a topic that warrants discussion, and not "just a distraction". Hence, to judge the case for changing topics on account of AI xrisk being "just a distraction", we have no choice but to continue discussing AI xrisk until we have reached a verdict on whether or not it is a real thing. As long as we disagree about that the suggested change of topic is premature.

To avoid any misunderstanding here, let me emphasize that I think many down-to-Earth problems with present-day AI are important to discuss. But there are plenty of times and places to do so, in parallell with discussions elsewhere on AI xrisk. There really isn't any need to abort the few discussions taking place about AI xrisk to leave room for those other AI discussions. See my paper On the troubled relation between AI ethics and AI safety for more on this.

But evolution?

So what about the question of whether humanity being replaced by a society of advanced AIs is a good thing or a bad thing? This is an interesting and serious philosophical question, involving whether to employ an ethics that is from the point of view of humanity, or a more objective one that is more from the point of view of the universe. There are surprisingly many thinkers within the AI sphere, including names like Larry Page, Robin Hanson, Hugo de Garis and Richard Sutton, who claim it is not a bad thing at all; see, e.g., this tweet by Andres Critch and Section 7 of my paper Our AI future and the need to stop the bear. And yes, I am happy to discuss it. But not with someone who is not yet on board with AI xrisk being a real thing, because to them the issue is merely theoretical, making them less capable of seeing the seriousness of the matter and of feeling the moral force of wanting to prevent the omnicidal murder by AIs of you and me and all our loved ones along with the remaining eight billion humans. If I agree to the proposed change of discussion topic, I run the risk of assisting my discussion partner, who was perhaps originally just driven by a lust for philosophical sophistication or contrarianness, in painting themselves into a philosophical corner, making it more difficult for them to wake up to the horror of omnicide once we get to the point where they realize it may actually happen.

Concluding remarks

Every discussion context is unique, and most of them are challenging in their own ways. In particular, standing on stage during a Q&A session with a room full of skeptics is usually more challenging than a one-on-one. I therefore fully expect to sometimes be sidetracked in future discussions in precisely the directions that I above recommend avoiding, and the same thing might well happen to the reader. But even when that happens, I believe having thought through the meta-concerns I raise above may be beneficial for the continued discussion.

Explaining AI xrisk convincingly to skeptics is not an easy thing to do, even of one's basic reasoning on the matter is correct. One reason for this is that people have such wildly varying intuitions on this topic, and tend to get hung up on very different issues - or in Liron Shapira's colorful language, there are many "stops where you could get off the Doom Train". Consequently, there are many different places where the conversation can go astray. Ideally it would be good to have a handbook, cataloguing all of them along with instructions on how to avoid or escape these traps, but for the time being we'll have to make do with more scattered and less systematic treatments of some of these traps, which is the kind of thing I try to do in this blog post.

If the reader aspires to become a better communicator of AI xrisk ideas, what can he or she do? I think this is very much a case where mastery comes with practice. It may take a long time, and after nearly 15 years of such practice I am still working on it. Along with that, it also helps to listen to masters like Rob Miles and the aforementioned Liron Shapira, and to read some modern classics such as the exemplary synthesis The Compendium by Connor Leahy and coauthors.

Fläng eftersläng från Erik Svensson

Det fanns en tid för sisådär 10-15 år sedan då jag betraktade den lundabaserade biologiprofessorn Erik Svensson som allierad, mest tack vare hans tydliga ställningstaganden i klimatfrågan. Så småningom kom dock denna allians att alltmer urholkas, dels av vad jag uppfattade som en tendens hos honom till vårdslöshet med fakta, dels av att det från den ryska Kriminvasionen 2014 och framåt uppenbarades att han bar på det slags besynnerliga proryska sentimentalitet som inte är helt ovanlig i vänsterkretsar av avgrundskaraktär. Som trogna läsare av denna blogg känner till så hör dessa båda egenheter till dem jag har allra svårast att fördra då jag träffar på dem hos mina medmänniskor. Vår vänskapliga relation lyckades ändå hanka sig fram hyggligt några år till.

Men så kom pandemin, vilket till slut blev för mycket. Erik bestämde sig genast för att betrakta den svenska Folkhälsomyndigheten FHM och dåvarande statsepidemiolog Anders Tegnell som ofelbara auktoriteter, medan jag tidigt fann oroande tecken på långtgående inkompetens hos dem, en bild om under pandemins lopp kom att förstärkas ytterligare. Erik och jag hade via sociala medier flera affekterade gräl om covid-frågor under 2020, och har inte kommunicerat sedan dess.¹

Jag har under de år som gått sedan dess inte ägnat Erik många tankar. Emellertid, sedan han nu i sin aktuella text Pandemidebatten i backspegeln – vilka slutsatser kan vi dra i nättidningen Opulens gått till bisarrt angrepp mot mig vill jag ändå ta till orda.

En av utgångspunkterna för Eriks text i Opulens är att Sverige i en internationell jämförelse totalt sett klarade sig relativt bra ur pandemin. Det är helt riktigt, och påståendet är lätt att belägga med statistik rörande exempelvis den överdödlighet pandemin orsakade i olika länder, där Sverige ligger lägre än de flesta andra europeiska länder. Jag tror och hoppas att Erik håller med mig om att detta i sig inte automatiskt implicerar vare sig att den svenska covidpolitiken varit optimal på alla punkter eller att all kritik mot FHM varit osaklig och dum. Men den som läser hans ensidigt agiterande text kan lätt få för sig att han drar dessa slutsatser.

Erik marknadsför sin artikel på plattformen X, tidigare känd som Twitter, med meddelandet att han kritiskt granskar "några av de debattörer [...] som körde i diket under pandemin", varpå han nämner ett antal av dessa påstådda dikeskörare vid namn, inklusive mitt. Den dikeskörning han i mitt fall syftar på är den artikel på DN Debatt den 30 april 2020 som bar rubriken Alternativ coronastrategi för Sverige kan rädda liv och som jag skrivit och undertecknat ihop med fyra medförfattare: Olof Johansson Stenman, Joacim Rocklöv, Stefan Schubert och Markus Stoor. Vår artikel, författad i ett läge då covidpandemins första våg i Sverige fortfarande var i kraftigt stigande och ingen visste vart det hela skulle ta vägen, gick i korthet ut på följande.

Svensk coronadebatt hade fram till den aktuella tidpunkten, i april 2020, nästan helt förbisett det mest fundamentala vägvalet i utformningen av en pandemihanteringsstrategi: det mellan vad som i den vetenskapliga litteraturen benämns suppression kontra mitigation. Det förstnämnda innebär att man trycker ned antal smittade så långt det praktiskt är möjligt, i syfte att en så liten del av befolkningen som möjligt skall nås av smittan, medan mitigation (eller på svenska bromsstrategi) bygger på att det ses som oundvikligt att smittan sveper genom befolkningen tills dess så kallad flockimmunitet uppstått, och de åtgärder som vidtas mot smittspridningen ute i samhället främst handlar om att sakta ned förloppet så att inte sjukvården överbelastas av alltför många sjuka samtidigt. Vilken av dessa strategier som är bäst skickad att minimera pandemins skadeverkningar beror i hög grad på smittämnets olika egenskaper - i synnerhet dess reproduktionstal R₀ och dess dödlighet jämte övriga mått på dess skadeverkningar på den som smittats. Det vetenskapliga kunskapsläget i april 2020 kring dessa och andra egenskaper hos covidviruset var fortfarande väldigt långt från fullständigt, något som i om möjligt än högre grad gällde frågor om eventuella kommande mutationer av viruset och om när och i vilken mån effektiva vacciner var att vänta. Dessa olika osäkerheter var alltjämt så stora att vi bedömde det som en vidöppen fråga huruvida det bästa i rådande läge var att (som FHM) satsa på mitigation, eller att (som flertalet av motsvarande smittskyddsmyndigheter i andra europeiska länder) förorda suppression, och vår enkla poäng var att asymmetrin i kostnader (inräknat såväl BNP etc som människors liv och hälsa) mellan de två typerna av fel man kan göra talade för en flexibel försiktighetsstrategi där man initialt och i avvaktan på ett förbättrat kunskapsläge tillämpar suppression. Asymmetrin består i att ifall den fortsatta utvecklingen tyder på att mitigation hade varit bättre har man med en sådan försiktighetsstrategi visserligen dragit på sig en del onödiga samhällskostnader förknippade med lockdowns och liknande, men dessa kostander är måttliga jämfört med de tiotusentals eller ännu fler liv som hade riskerat gå till spillo om man istället chansat på en mitigation-strategi men det senare visar sig att suppression hade varit bättre.

Så långt vår artikel i april 2020. Med facit i hand tyder det mesta på att Sverige inte hade klarat sig bättre genom pandemin om FHM anammat vårt förslag jämfört med att fortsätta med sin mitigation-strategi. Att det skulle sluta på det viset var dock knappast möjligt får någon att veta i det läget (inte för Tegnell eller för någon av hans utländska statsepidemiologkollegor som gjorde andra vägval, inte för mig eller någon av mina medförfattare i DN, och inte heller för Erik Svensson). Ändå är såklart Erik i sin fulla rätt att agera efterklok och till följd av sin så kallade hindsight bias hävda att vårt förslag var dumt.

Men det är inte det jag vill kritisera här, utan hans mer specifika argumentation mot vår DN-artikel, en argumentation jag finner helt bisarr. Den består nämligen uteslutande av att varv efter varv och i stycke efter stycke upprepa att en USA-baserad bloggare vid namn Tomas Pueyo saknar relevanta akademiska meriter och att dennes bloggpost The hammer and the dance från mars 2020 inte genomgått vetenskaplig peer review. Det är allt Erik anför, och det är fullkomligt irrelevant för budskapet i vår DN-artikel.

Jag vill inte göra anspråk på någon större inblick i vad som egentligen pågår i Erik Svenssons inre, men intrycket man här får av hans Opulens-artikel är att han tror att Pueyo är hjärnan bakom den suppression-strategi vi i DN-artikeln framhöll som ett beaktansvärt alternativ till mitigation.² I så fall har jag några följdfrågor. Tror Erik alltså att det är Pueyo som utarbetat strategin för (den relativt framgångsrika) bekämpningen av ebolaviruset från 1970-talet och framåt? Tror han också att Pueyo är den hemlige mastermind som ligger bakom covidhanteringsstrategierna våren 2020 i en lång rad länder (inklusive Storbritannien, Norge, Danmark och Sydkorea, för att nu nämna de exempel vi tog upp i DN-artikeln)?³

För att vara fullkomligt explicit, låt mig förklara att suppression-strategin, tvärtemot Eriks bisarra påstående i Opulens-artikeln att det rör sig om "en helt ny och oprövad pandemistrategi", går långt tillbaka, och alltså inte har sitt ursprung i Pueyos bloggpost från mars 2020. Allt Pueyo kan ta ära för (vilket för all del inte är så illa) med den bloggposten är att han givit en målande och pedagogisk beskrivning av hur suppression-strategin skulle kunna fungera i praktiken, och att han givit den ett slagkraftigt smeknamn, vilket vi lånade och översatte i vår DN-artikel: hammaren och dansen. Om det är ett vetenskapligt övertramp (eller med Eriks terminologi en dikeskörning) att som professor använda en färgstark glosa som införts i en text som inte genomgått vetenskaplig peer review-granskning, då erkänner jag mig skyldig, men... ehm... jag tror dessvärre inte att jag kan lova att inte begå motsvarande övertramp igen.

Erik attackerar i sin text en lång rad andra svenska coronadebattörer, men jag vill för död och pina inte ta på mig uppgiften att försvara dem alla, utan väljer istället att gå rakt på hans övergripande slutsatser. Dessa är tre till antalet, varav de första två mest utgörs av truismer om vikten av kritiskt och analytiskt tänkande och epistemisk ödmjukhet, mot vilka jag inte har några större invändningar.⁴

Men med sin tredje slutsats begår Erik det slags grova omdömeslöshet som jag har så extra svårt att fördra när det kommer från professorskollegor. Han påstår nämligen, kategoriskt och utan minsta antydan om nyansering, att "när väl en ny pandemi har brutit ut går det inte att stoppa den, vare sig med munskyddskrav eller med hårda samhällsnedstängningar" och att "pandemier slutar när vi har uppnått flockimmunitet". Här generaliserar han på tok för hårt, och med total brist på det slags epistemiska ödmjukhet han nyss pläderat för. Det är måhända sant att det inte fanns någon rimlig chans att utan flockimmunitet få stopp på covid när den väl fått globalt fäste, men olika virus har som påpekats ovan olika smittspridnings- och mortalitetsegenskaper (med mera), och djävulen bor i detaljerna. Det kan mycket väl hända att vi en vacker dag (fastän jag såklart hoppas att vi slipper det) nås av en pandemi vars smittämne på ett ungefär kombinerar covids smittsamhetsegenskaper med ebolas dödlighet, som är cirka 50%, och hur kommer Erik att reagera då? Om han håller fast vid sin omdömeslösa tredje slutsats så kan vi räkna med att han kliver upp på sina barrikader och ropar i sin megafon att "nej för bövelen, inga munskydd och inga nedstängningar, för vad vi behöver göra är att offra inemot hälften av våra medmänniskor för att resten av oss skall kunna uppnå flockimmunitet!". I det läget kommer jag i så fall att lägga åt sidan alla de lager av diplomatisk fetvadd jag tillämpat ovan och svara ocensurerat och från djupet av mitt hjärta: "F*** you Erik! Jag tillhör Team Människa, men du tillhör uppenbarligen Team Pesten, so go f*** yourself in the ***!"

Fotnoter

1) Jag är inte helt säker på vilket av dessa gräl som blev det allra sista, men tror det kan ha varit det som handlade om ansvarsfördelningen för den omfattande covid-döden på våra äldreboenden våren 2020. Erik hade skrivit ett inlägg (på Twitter eller Facebook - jag minns inte längre exakt var) som helt friskrev FMH från ansvar, och istället menade att ansvaret låg på äldreboendena själva och på landstingen. Jag invände att förvisso låg ett stort ansvar på landstingen och äldreboendena, men att helt friskriva FHM från ansvar är ju knappast rimligt, eftersom smittan på äldreboendena härrör från samhället i stort, så att ju större smittspridningen i samhället är desto mer drabbas äldreboendena, varför FHM:s med internationella mått släpphänta nivå på restriktioner behöver ses som en bidragande orsak till döden på äldreboendena. Därmed såklart inte sagt att denna släpphänthet per automatik är klandervärd, eftersom mycket annat än den omedelbara mortaliteten på äldreboenden behöver vägas in när man väljer nivå på restriktioner, utan mitt enkla påpekande var att FHM har ett ansvar för de konsekvenser - såväl positiva som negativa - som följer av detta nivåval. Icke, svarare Erik, ty här är det faktiskt landstingen (i synnerhet borgerligt styrda sådana) och äldreboendena som fallerat och därigenom bär ansvaret. Jag frågade då Erik om inte det kunde anses ingå i FHM:s uppdrag att i sin utformning av covidstrategi ta hänsyn till faktiska omständigheter, som exempelvis personalsituation och kompetensnivå inom allehanda samhällssektorer som exempelvis äldreomsorgen. Bör FHM härvidlag arbeta utifrån en realistisk bild av dessa förutsättningar, eller är det bättre att de utgår från en fantasibild om vad verksamheterna därute ur smittskyddssynpunkt idealt borde vara kapabla till? Min fråga var retoriskt avsedd, men döm om min häpnad då Erik svarade att FHM var i sin fulla rätt att utgå från den senare bilden - alltså ett slags rosaskimrande önskedröm om hur olika verksamheter i landet borde se ut. Jag minns att jag vid denna punkt kände att Erik hade stigit av från vår outtalade överenskommelse om att hålla oss till rationell och meningsfull diskussion, varför jag valde att inte fortsätta diskussionen, och det är också detta som får mig att tro att denna diskussion blev vår sista.

2) Erik är långt ifrån ensam om denna bisarra upphöjning av Tomas Pueyo till uppfinnare av en helt ny smittskyddsstrategi. Till och med DN:s vetenskapsredaktör Maria Gunther bidrog i en artikel hösten 2020 till spridandet av denna missuppfattning. Det tycks mig ganska troligt att Erik läst Gunthers artikel men att han däremot dessvärre missat (eller i annat fall ignorerat) mitt svar.

3) För att undvika ett debacle liknande det jag återger i slutet av Fotnot 1 vill jag betona att dessa frågor är retoriska, och att det svar jag underförstår på båda frågorna är "nej".

4) Även dessa passager innehåller dock en del bisarrerier, som hans påstående att "det gick inte att uttala sig om Sveriges pandemistrategi redan våren 2020". Det här är så dumt att jag tar mig för pannan. Vadå "gick inte"? Jag har tydliga minnen av att till och med Erik själv gjorde sådana uttalanden, så nog gick det. Mitt bästa försök till generös tolkning av hans kryptiska påstående är att han menar att vi vid denna tidpunkt inte hade facit i hand och därmed inte kunde avgöra med säkerhet vilka strategier som skulle bli framgångsrika och vilka som skulle leda i fördärv. Absolut är det så, och det var och förblir viktigt att då och då påminna sig om det, men en slutsats som inte kan dras är vi alla borde ha hållt truten och avstått från yttra oss om de olika strategierna, för trots de omfattande osäkerheterna var det ändå möjligt att göra mer eller mindre välgrundade uttalanden om vilka strategier som föreföll lovande och vilka som inte gjorde det. Att många debattörer (häribland jag) kritiserade FHM:s strategival, och många andra (häribland Erik) tog dem i försvar är enligt min mening helt i sin ordning som en viktig del av det demokratiska samtalet; härmed dock inte sagt att alla sådana kommentarer hade samma värde när det gäller att bringa klarhet och föra diskussionen framåt.

* * *

Tillägg 23 juni 2025:

Under den vecka som gått sedan jag publicerade denna bloggpost har Erik Svensson och jag haft en tämligen irriterad brevväxling, inledd med ett ebrev från mig med följande ordalydelse.

Hej Erik

Jag skriver mest för att försäkra mig om att du inte missat bloggposten https://haggstrom.blogspot.com/2025/06/flang-efterslang-fran-erik-svensson.html jag skrev tidigare i veckan. Jag beklagar att du blir måltavla för min text på ett sätt som antagligen inte känns jättetrevligt, men jag ser detta slags text som ett akademiskt renhållningsarbete som är absolut nödvändigt om vi skall kunna upprätthålla det viktiga förtroendet för vår profession.

Mvh och glad midsommar!
Olle

I sitt första svar till mig bad Erik mig ”vänligen respektera” att hans svar inte var avsett för publicering på min blogg eller annorstädes. Även om mitt val att fortsätta korrespondensen utan att kommentera denna begäran eventuellt kan förstås som att jag implicit accepterat den som ett villkor för fortsatt korrespondens, så känner jag mig inte särskilt bunden av denna eventuella överenskommelse, eftersom Erik senare i korrespondensen bröt mot ett i mitt tycke än mer grundläggande implicit villkor genom att försöka manipulera mig medelst rent blåljug (jag skall återkomma till det). Detta gör att jag inte har några betänkligheter mot att här berätta om huvuddragen i vår brevväxling. Likväl avstår jag från att återge hans ebrev, men mest för att jag inte vill trötta läsaren med hans uppblåsta prosa.

Allra mest iögonfallande i Eriks svar är hans totala ointresse för att kommentera substansen i mitt tillbakavisande av hans anklagelse mot mig i Opulens-artikeln. Med början i en tröttsam yttrandefrihetsklyscha (”du har givetvis all rätt att framföra dina synpunkter [...], precis som jag”) såg han till att den fortsatta diskussionen istället hamnade på ett meta-plan, och därefter på ett meta-meta-plan, etc, i en spiral som förde oss allt längre från själva sakfrågan.

Detta totala ointresse är i mina ögon anmärkningsvärt. När man offentligen anklagat någon för ett felsteg, och denne svarar och argumenterar för att anklagelsen saknar grund, så ber man antingen om ursäkt, eller påvisar vad som brister i motpartens argumentation. Att varken göra det ena eller det andra, som om sanningen inte spelade någon roll, tyder på en ändamålen-helgar-medlen-attityd som jag finner moraliskt förkastlig. Med nämnda yttrandefrihetsklyscha och dess implicerade symmetri sopar Erik under mattan det kraftiga moraliska asymmetrin mellan å ena sidan falska anklagelser och å andra sidan att medelst saklig argumentation försvara sig mot sådana. Jag har som påpekats ovan ingen privilegierad inblick i Eriks huvud, men det förefaller ändå sannolikt att han kan ha resonerat ungefär så här: ”Det spelar egentligen ingen roll om hur det står till i sak med den där Pueyo-grejen, för även om Olle skulle råka ha rätt på just denna enskilda punkt så har han sagt så mycket annat dumt i covid-frågan att han är förtjänt av kritiken oavsett.” Men ett sådant förhållningssätt duger enligt min mening inte i anständig debatt.

Vad innehöll då vår brevväxling istället för den sakdiskussion Erik så noggrant undvek? En sak var hur han hånfullt noterade diskrepansen i längd mellan den ganska korta passage i hans Opulens-artikel som ägnades åt Häggström-bashing och min betydligt längre bloggpost. Till synes glömsk av hur vi på den tid vi stred på samma sida mot klimatförnekare var väl medvetna om asymmetrin i hur en klimatförnekare kan fråga mer än tio klimatforskare kan svara, kallade han min bloggpost ”en något oproportionerlig överreaktion”, och tillade för säkerhets skull att detta var avsett som ett ”understatement”. Oskicket att håna meningsmotståndare för att de bemöter ens påståenden fick mig att tipsa om en Astral Codex Ten-bloggpost nyligen, vilken Erik genast förklarade sig vara totalt ointresserad av, och mitt understrykande av bloggpostens titel var nog inte särskilt ändamålsenligt ur samtalsklimatsförbättringssynpunkt.

Sådär höll vi på, i en nära nog 100%-igt improduktiv diskussion som jag i efterhand kan ifrågasätta om den verkligen var värd min tid. Så småningom kom vi till en punkt där jag tyckte mig kunna beslå honom med att i två konsekutiva ebrev ha torgfört två oförenliga ståndpunkter (först hade han prisat det slags empati med debattmotståndare han tyckte sig se i mitt inledande ebrev, och därefter hade han meddelat att om han i en diskussion beter sig på ett sätt som skapar dysterhet hos den andre så är det inte hans problem). En smula odiplomatiskt (för att inte säga grälsjukt) betecknade jag detta som ett fall av ”gaslighting”. Eriks svar på detta blev att meddela att han, så snart han hör "importerade låneord från andra länder" (notera den eleganta trippeltautologin!) så tappar han allt intresse för fortsatt diskussion.

Denna reaktion förvånade mig, då jag under åren av kontakt aldrig uppfattat ett uns av detta slags språkprotektionistiska läggning hos Erik. Den är i själva verket en i stunden påhittad fiktion (eller på ren svenska: han ljög), något jag insåg genom att gå tillbaka till hans Opulens-text och konstatera hur full av anglicismer den är, varav ”lockdowns”, ”fake news” och ”scientism” är de mest iögonfallande. I mitt nästa (och troligtvis sista) svar valde jag därför att bruka sarkasm, och därefter argumentera längs en mer sannolik linje rörande vari hans aversion mot mitt bruk av ordet ”gaslighting” egentligen bestod:

Hahahaha ok, så ovanpå allt annat är du även svensk språkpurist! Så till den grad att du anser bruket av ordet "gaslighting" vara ett värre felsteg än själva gaslightingen. Det påminner inte så lite om den gamla goda tid då vi fightades (oops!) sida vid sida mot klimatförnekare, och en del av dessa klimatförnekare ville bannlysa ordet "klimatförnekare". I båda fallen handlar det om att försöka skydda sig mot kritik genom att eliminera relevant vokabulär. Men tro mig, jag kommer att fortsätta använda både g-ordet och k-ordet hur mycket du och Ingemar Nordin än gormar om saken.

Längre än så kom vi inte i vår brevväxling, som nu tack och lov verkar vara avslutad.

Remissvar AI-kommissionen

Regeringens AI-kommission presenterade den 26 november förra året sin slutrapport Färdplan för Sverige. Därpå följde sedvanligt remissförfarande, med deadline igår den 4 juni, och svaren från de av regeringen utsedda remissinstanserna finns nu publicerade på regeringskansliets hemsidor. Icke beställda yttranden publiceras inte på samma vis, så för att öka tillgängligheten till mitt eget svar återger jag detta nedan.

Den observante kan notera att min arbetsgivare Chalmers finns med bland de officiella remissinstanserna. Jag har bidragit med viss input till Chalmers remissvar, men den som jämför med mitt eget svar nedan skall finna att det i frågan om existentiell AI-risk är jämförelsevis urvattnat, något som åtminstone delvis är en följd av att inte alla på Chalmers fullt ut delar min syn på situationens akuta allvar. Detta slags urvattning är typisk för remissvar från universitet, och jag tror inte att det finns någon större meningsmotsättning mellan mig och Chalmersledningen angående universitetens roll i att föra ut spetskunskap i samhällsdebatten och i att detta oftast görs bättre av enskilda forskare än av universiten som organisationer, ett övervägande som gränsar till principiella frågor om akademisk frihet; se exempelvis den klassiska Kalven-rapporten.

En hel del av mina synpunkter i remissvaret nedan kan kännas igen från min artikel i tidskrivten Kvartal den 10 december förra året.

* * *

Remissvar på AI-kommissionens rapport Färdplan för Sverige
(dnr Fi2025/00457)

Olle Häggström

2 juni 2025

Styrkan och tonvikten i AI-kommissionens rapport ligger på snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor och på hur vi genom upprätthållandet av ett gott innovationsklimat ska kunna stärka svensk konkurrenskraft. I stället för att orda om detta går jag rakt på sak med det som mer än något annat sticker ut som en iögonfallande och svår brist hos rapporten.

Vad som lyser med sin nästan totala frånvaro i rapporten är nämligen AI sedd som global ödesfråga, och risken för att vi på nuvarande bana är på väg mot en global katastrof som rentav kan komma att innebära slutet för Homo sapiens. Det är naturligtvis möjligt att hävda – vilket AI-kommissionen kan sägas implicit göra genom underlåtelsen att diskutera detta – att Sverige är en perifer AI-nation som saknar betydelse för den globala AI-utvecklingen, och att globala riskfrågor kring AI därför inte är något vi behöver bry oss om i Sverige. Den sortens strutsmentalitet går dock stick i stäv med direktiven då kommissionen sjösattes 2023, vilka inbegrep formuleringar om att

identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.

I stället för att ge sådana förslag präglas rapporten av ett enögt och snävt nationalistiskt perspektiv. Som exempel på detta kan nämnas synen på EU-reglering av AI-teknik, där vikten av att sådan reglering inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa betonas. I rapporten framhålls bland annat att ”även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen”, och kommissionen anmodar ”svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg”. Dessa aspekter är förvisso värda att beakta, men de behöver vägas mot EU:s viktiga roll i att verka för att den globala omställningen till en värld med avancerad AI blir lyckosam. Det är angeläget att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof.

Om denna centrala avvägning säger rapporten inte ett knyst. Genom att ignorera avvägningen och endast lyfta fram den sida som talar för deras önskade slutsats visar AI-kommissionen att de saknar ambition att leva upp till det statliga utredningsväsendets stolta saklighetstradition.

Jag ska inte försöka påskina att AI som existentiell risk mot mänskligheten överhuvudtaget inte nämns i AI-kommissionens rapport, för det gör den, om än bara i förbigående:

Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.

I reservationen ”vissa menar” finns här ett implicit avståndstagande och en subtil antydan om att dessa ”vissa” utgör en perifer fraktion inom AI-debatten, vilket emellertid inte stämmer alls. Det hade varit hederligare att nämna att kategorin ”vissa” inkluderar såväl världens tre mest citerade AI-forskare (Geoffrey Hinton, Yoshua Bengio och den avhoppade Open AI-medarbetaren Ilya Sutskever) som cheferna för de tre ledande AI-labben (Demis Hassabis på Google DeepMind, Sam Altman på OpenAI och Dario Amodei på Anthropic). Det finns gott om belägg i form av exempelvis föredrag och nyhetsartiklar för att de sex här uppräknade personerna (varav två som bekant emottog Nobelpris 2024) har denna syn på AI-risk, men här räcker att nämna att de alla undertecknade det öppna brev om AI-risk som publicerades i maj 2023; se Hinton m.fl. (2023). Och om inte den långa fortsättningen på det brevets undertecknarlista räcker för att övertyga om hur utbredd ståndpunkten är inom AI-forskarsamhället kan man se till omfattande enkätstudier som Grace et al (2024), vilken pekar mot att mer än hälften av den tillfrågade kategorin AI-forskare bedömer sannolikheten att AI ger upphov till existentiell katastrof till minst 10%.

Ett liknande försåtligt avfärdande av AI-risk finner vi i det ställningstagande som följer strax därpå i rapporten:

AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas, men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.

Här preciseras inte vilka dessa ”spekulativa risker” är, och i och med hur vittförgrenad och ojämn AI-debatten som helhet är gör därför denna otydlighet att det inte går att formellt beslå påståendet om ”mycket låg sannolikhet” som felaktigt. Sammanhanget ger dock en kraftig antydan om att det handlar om risken att mänskligheten utplånas av superintelligent AI. Den ytterst kontroversiella bedömningen att sådana scenarier har ”mycket låg sannolikhet” som vi därmed kan läsa mellan raderna i rapporten levereras utan ett uns av motivering, och går på tvärs mot exempelvis Dario Amodeis bedömning om att sannolikheten ligger ”någonstans mellan 10% och 25%” (Daniel, 2023) och mot den ovan citerade mediansiffra bland AI-forskare som Grace et al (2024) rapporterar. Se även exempelvis Aschenbrenner (2024), Leahy et al (2024), Häggström (2025) och Kokotajlo et al (2025) för mer utförliga diskussioner om det extremt allvarsamma läge vi befinner oss i visavi existentiell AI-risk.

Det ointresse för saklig argumentation AI-kommissionen uppvisar är beklämmande att stöta på i en statlig utredning, och den bistra sanningen är dessutom att något solitt vetenskapligt stöd för kommissionens bedömning om AI-risk helt enkelt inte existerar. Givet denna nonchalanta inställning till AI-risk är det knappast förvånande att kommissionen inte säger något alls om det kanske allra viktigaste Sverige har att göra i AI-frågan just nu, nämligen att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning som ett litet antal AI-företag i norra Kalifornien just nu är inbegripna i. Med namn som Hammarskjöld och Palme i bagaget har Sverige en stolt tradition av kraftfullt internationellt agerande för mänskliga rättigheter, och det är av största och akutaste vikt att vi, via organisationer som FN, EU och NATO samt på andra vis, återupplivar denna tradition och påpekar det oacceptabla i att dessa AI-företag spelar rysk roulette med allas våra liv.

Skadan AI-kommissionen härmed gör stannar inte vid en försutten chans att uppmana Sveriges regering att steppa upp det internationella arbetet. Genom att orda sida upp och sida ned om AI utan att ta på allvar eller knappt ens vidgå den rimligtvis allra viktigaste aspekten – vikten av att undvika en global AI-katastrof som utplånar mänskligheten – bidrar de till en bredare och dessvärre tämligen dominant AI-diskurs som genom att göra just så vaggar in både allmänhet och makthavare i en falsk säkerhet som ökar risken att vi sömngångaraktigt fortsätter vår nuvarande färd mot AI-katastrof.

Att kommissionen trots allt föreslår inrättandet av ett svenskt AI-säkerhetsinstitut med en årlig finansiering om 30 miljoner kronor är såklart positivt, men det kan inte ursäkta deras försåtliga retorik i AI-riskfrågor och frånvaron av konstruktiva förslag på hur Sverige kan stå upp internationellt för vår rätt att inte utplånas av urspårad superintelligent AI.

Referenser

Aschenbrenner, L. (2024) Situational Awareness: The Decade Ahead.

Daniel, A. (2023) CEO of AI company warns his tech has a large chance of ending the world, Indy100, 9 oktober.

Grace, K., Stewart, H., Fabienne Sandkühler, J., Thomas, S., Weinstein-Raun, B. och Brauner, J. (2024) Thousands of AI Authors on the Future of AI

Hinton, G. et al (2023) Statement on AI risk, Center for AI Safety.

Häggström, O. (2025) Our AI future and the need to stop the bear.

Kokotajlo, D., Alexander, S., Larsen, T., Lifland, E. och Dean, R. (2025) AI 2027.

Leahy, C., Alfour, G., Scammell, C., Miotti, A. och Shimi, A. (2024) The Compendium.

Ett annat USA, och en bok med en överraskande plot twist

Bortsett från Sverige är det land vars samhälle jag känner mig mest bekant med USA. Till stor del bottnar detta i egna vistelser från 11 års ålder och framåt och i kontakter med vänner och kollegor därifrån, men betydelsefullt i sammanhanget är givetvis också det stora kulturella inflytande som bland annat Hollywood har. Men USA är stort och heterogent, och min bekantskap med landet är knappast representativ utan har en kraftig slagsida mot akademiska miljöer och välbärgad medelklass, samt mot vissa av landets nordligare delstater (plus Kalifornien). Andra delar av USA, som den Djupa Södern och de Appalachiska bergstrakterna, är mig till följd av mina begränsade erfarenheter lika främmande och exotiska som många länder i tredje världen jag aldrig satt min fot i. Vad gäller livet i Appalacherna är mina kunskapskällor begränsade till filmer som The Deer Hunter och enstaka DN- eller SVT-reportage om vad som får så kallade vanliga amerikaner att rösta på Trump.

Fram tills nu, då jag läst Hillbilly Elegy från 2016. Denna självbiografiska berättelse utspelar sig i en fattig småstad i östra Kentuckys bergstrakter och den lite större industristad i södra Ohio dit många bergsbor arbetskraftsinvandrar. Den handlar om starka familjeband och djupa klassklyftor, och om fattigdom, missbruk, våld och avindustrialiseringens sociala effekter, men framför allt är den en coming of age-roman om hur en utsatt och vilsen pojke förvandlas till en vuxen man fast besluten att göra USA till ett bättre land för de stora befolkningsgrupper som hamnat så kraftigt på efterkälken i förhållande till den allt mer avskärmade öst- och västkusteliten. Boken är välskriven, och trots att berättarens återkommande reflektioner kring de besvärliga odds han övervunnit med avgörande stöd från några av sina käraste familjemedlemmar till slut får något repetitivt och självförhärligande över sig, så är det lätt att känna sympati med honom, och det värmer hjärtat att boken slutar så optimistiskt.

Eller gör den det? Om man går lite utanför bokens pärmar möts man av en ohyggligt mörk plot twist. Ett knappt decennium efter att huvudpersonen satt punkt för sitt bokmanus visar det sig nämligen att den framgångsrike och till synes så pro-sociale unge världsförbättrare han trots barndomens svåra omständigheter förvandlats till blott var en övergående fas eller en mask. När masken fallit visar han sig ha så stark avsky mot att hjälpa andra människor än den fattiga vita arbetarklass han själv är sprungen ur att han kallar the Bill and Melinda Gates Foundation "en cancersvulst på det amerikanska samhället". Han är genom sin blinda lojalitet gentemot sin chef Donald Trump den främste facilitatorn av dennes envåldshärskarambitioner, han är en mobbare som inte drar sig för att trakassera den europeiske ledare som inget annat vill än att skydda sitt land mot ett oprovocerat och olagligt ryskt anfallskrig, han är en skamlös demagog som talar sig varm för en handelspolitik som riskerar störta världsekonomin i fördärvet, och han är en bromskloss som gör vad han kan för att sätta sig på tvären mot dem som söker vägar att få mänsklighetens pågående och exitentiellt ödesmättade AI-äventyr att sluta lyckligt. Kort sagt, han har förvandlats till en av världens farligaste och mest destruktiva personer alla kategorier. Så gick det med bokens skenbart lyckliga slut.

Ödesfråga i Lund

Förra veckan talade jag i Lund, på Kungliga Fysiografiska Sällskapets årliga Rausingsymposium, som i år bar rubriken Behövs våra hjärnor? med underrubriken AI - hot och möjligheter. Symposiet som helhet finns anslaget som YouTube-video. Mitt eget bidrag bar rubriken AI är mänsklighetens största ödesfråga och upptar tidsspannet 24:00-58:30 i videon, men där finns också en rad andra föredrag värda att lyssna till, varav jag allra främst vill rekommendera vännen Thore Husfeldt bidrag AI och undervisning (4:25:00-5:00:30) som jag ärligt kan säga är det både förståndigaste och mest välformulerade jag hört i den brännande frågan om hur utbildningssystemet bör förhålla sig till den nya AI-tekniken.

Symposiet kommer även att publiceras i bokform, och jag har idag levererat till arrangörerna min text AI är mänsklighetens största ödesfråga, som visserligen inte är en ordagrann återgivning av föredraget, men som till både innehåll och form följer det relativt nära. Jag vill såklart gärna att ni läser den fyra och en halv sida långa texten i sin helhet, men här, som ett litet smakprov, några stycken hämtade ur den:

Jag har stor respekt för att det finns andra frågor än AI – exempelvis klimatförändringarna – som kan göra anspråk på att vara stora ödesfrågor för mänskligheten, men de senaste åren har jag kommit att landa i att den om hur vi hanterar AI-utvecklingen är den största och mest akuta av dem alla. Jag skall förklara varför, men vill börja i en mer jordnära ände.

[...]

En typ av arbetsuppgift där AI gjort särskilt dramatiska framsteg de senaste åren och som kan komma att få stor betydelse för den fortsatta utvecklingen som helhet är kodning och mjukvaruutveckling. AI-systemens förmåga att skriva korrekt kod och i övrigt lösa uppgifter riktigt är starkt avhängig uppgiftens omfattning. I en rapport från AI-säkerhetsorganisationen METR i mars i år studeras hur denna förmåga utvecklats över tid. Det visar sig att omfattningen – mätt i tidsåtgång för en mänsklig expert – som AI klarar av har ökat från enstaka sekunder 2019 till cirka en timme idag. Ökningen är exponentiell, med en observerad genomsnittlig fördubblingstid på sju månader, och om man extrapolerar den trenden blott ett par-tre år in i framtiden blir resultatet dramatiskt. Sådan kurvanpassning inbegriper givetvis stora osäkerheter, men ser man till hur modellerna förbättrats från 2024 och framåt verkar det snarast som att utvecklingen är på väg att gå ännu fortare.

Det är bland annat den sortens data som ligger till grund för den gedigna rapporten AI 2027, utkommen i april i år och författad av en kvintett forskare med den avhoppade OpenAI-medarbetaren Daniel Kokotajlo i spetsen. Rapporten är det ambitiösaste och bästa som hittills skrivits vad gäller detaljerade förutsägelser av kommande års AI-utveckling. Osäkerheterna är som sagt stora, men successivt och månad för månad arbetar de fram vad de ser som det mest sannolika förloppet. Centralt i detta förlopp är hur AI, till följd av den utveckling som bland annat METR-rapporten påvisat, år 2027 når en punkt där den är en lika skicklig AI-utvecklare som dagens främsta sådana av kött och blod. Tack vare att de ledande AI-företagen då kan sätta hundratusentals eller miljontals sådana AI i arbete leder detta på några få månader till så kallad superintelligens – AI som vida överträffar människan över hela spektret av relevanta förmågor.

[...]

AI alignment-pionjären Eliezer Yudkowsky kan med blott en mild överdrift sägas egenhändigt ha lagt grunden för området under 00-talet. I en inflytelserik artikel från 2008 beskriver han det han bedömer vara default-scenariot ifall vi misslyckas med eller helt enkelt ignorerar AI alignment: ”AI:n hatar dig inte, ej heller älskar den dig, men du består av atomer som den kan ha annan användning för”.

I en sådan situation vill vi givetvis inte hamna, och därför behöver vi lösa AI alignment i tid. Hur lång tid har vi då på oss? Ingen vet säkert, och det enda omdömesgilla är att medge att stor osäkerhet föreligger, men jag menar att vi bör ta på allvar den i AK-ekosystemet i San Francisco och Silicon Valley alltmer utbredda uppfattningen att superintelligent AI kan bli en realitet inom en tidsrymd som mäts i enstaka år snarare än decennier.

[...]

För att ge AI alignment-forskningen en chans att hinna ikapp tror jag att vi behöver dra i nödbromsen för utvecklingen av de allra mest kraftfulla AI-systemen. Detta försvåras dock av den kapplöpningssituation som föreligger, både mellan enskilda AI-företag och mellan länder (främst USA och Kina). Det allmänt hårdnande internationella klimatet sedan Trumps andra presidentämbetestillträde gör inte heller saken lättare. Ett lågvattenmärke för den globala AI-diskursen nåddes vid toppmötet AI Action Summit i Paris i februari i år, där säkerhetsfrågor sopades under mattan samtidigt som toppolitiker bjöd över varandra i vilka mångmiljardbelopp de avsåg satsa på AI-utveckling. Värst av allt var hur den amerikanske vicepresidenten JD Vance i sitt anförande uttryckte oförblommerat förakt för AI-säkerhet, då han slog fast att han ”inte var där för att tala om AI-säkerhet” och att ”vår AI-framtid inte erövras genom att oja sig över säkerhet utan genom att bygga”. Hans förhoppning lite längre fram i samma tal om att ”AI-ekonomin kommer att […] transformera den värld som består av atomer” ger, för den som minns Yudkowskys ovan citerade oneliner om AI och atomer, en isande rysning längs ryggraden.

Detta säger något om vilka krafter vi behöver övervinna om vi skall få ordning på AI-utvecklingen och styra den i för mänskligheten mer gynnsam riktning jämfört med vart vi idag verkar vara på väg. Men framtiden är inte ristad i sten, och jag tror fortfarande att det är möjligt att förhindra en AI-katastrof. Något som skulle förbättra oddsen ytterligare vore om vi lyckas mobilisera den folkopinion mot skapandet av övermänskligt intelligent AI som enligt diverse opinionsundersökningar verkar föreligga. Så hjälp gärna till att sprida budskapet!

Läs hela texten här!

Om kentaurschack

Igår skrev jag i Expressen om AI, arbetsmarknad och det så kallade människan i loopen-idealet. En central fråga är den om huruvida det finns någon vettig plats för människan i en process med AI-system som blivit bättre än vi på vad det nu är som skall göras. Ett populärt exempel att lyfta fram för dem som vill besvara frågan jakande har varit det så kallade kentaurschacket, vilket jag omtalar i artikeln:

Då AI överträffar mänsklig skicklighet kan vi [...] fortfarande hoppas att kombinationen människa plus AI ska visa sig mer kapabel än AI ensam. AI-entusiasternas paradexempel på detta var länge schack. Sedan mänskliga stormästare visat sig vara chanslösa mot de bästa schackprogrammen började man experimentera med spelformen kentaurschack, där mänskliga spelare fick lov att konsultera ett schackprogram innan de utförde sina drag. Så länge teamet människa plus maskin var bättre än maskinen ensam var spelformen intressant, men intresset kollapsade i slutet av 2010-talet då det blev snudd på omöjligt att överträffa en motståndare som valde att slaviskt följa datorns rekommendationer.

1997 förlorade den dåvarande schackvärldsmästaren Garri Kasparov en uppmärksammad match mot IBM:s schackprogram Deep Blue, och det var då kampen mellan människa och maskin på schackets område ansågs avgjord. Redan året efter lanserade Kasparov i en uppvisningsmatch mot stormästarkollegan Veselin Topalov det som senare kom att kallas kentaurschack, där alltså två mänskliga spelare med tillgång till schackprogram som de har rätt att konsultera under spelets gång ställs mot varandra. Spelformen fortsatte i nära två decennier att röna ett visst intresse, men i takt med att datorprogrammen blev allt spelstarkare närmade sig spelformen en kris: hur länge skulle den mänskliga komponenten i beslutsfattandet visa sig ha något att tillföra?

Så länge kombinationen människa plus maskin var starkare än maskinen ensam var spelformen intressant, och AI-propagandister kunde anföra kentaurschacket som ett exempel på hur människan kan förbli relevant även i närvaro av överlägset kapabla AI-system. Men det som tycks ha blivit den sista internationella kentaurschacksturneringen spelades 2017, varpå intresset i tysthet kollapsade. Jag har varit i kontakt med en av de ledande organisatörerna av kentaurschackturneringar, och han bekräftar min bild av att orsaken till det kollapsade intresset är att det inte längre verkade finnas något konstruktivt för den mänskliga parten i ett kentaurteam att bidra med. (Att till slut alla partier oundvikligen verkade sluta i remi bidrog också till att de sista entusiasterna ledsnade.)

Det ligger i sakens natur att ett vikande intresse för vad det nu må vara inte alltid dokumenteras explicit, och detta verkar vara fallet specifikt för det som hände med kentaurschacket 2017-2018. Och just detta bidrog antagligen till att en del av de oförväget optimistiska AI-debattörer som spred budskapet "Framtiden är ljus! Se på kentaurschacket!" inte observerade att tiden sprungit ifrån dem utan fortsatte med sina glada besked som om inget hade hänt. Den i Sverige ledande företrädaren för denna inobservanta falang är otvivelaktigt Mathias Sundin, i kraft av dennes bok Kentaurens fördel från 2023 (här är ett relevant utdrag). Jag hoppas att han i ljuset av det jag här meddelar kommer att korrigera sin kentaurschacksretorik, men med tanke på den inte alltför imponerande nivå av argumentativ stringens och hederlighet han hittills uppvisat (och som jag sett mig föranledd att kommentera här, här och här) håller jag inte andan.

Recommending the AI 2027 report by Kokotajlo and collaborators

Most people, including many AI experts, struggle to grasp (if they're even aware of it) the increasingly dominant view emerging in the epicenter of AI development in San Francisco and Silicon Valley: that extreme developments (on a scale surpassing even the Industrial Revolution) may well occur within the present decade. It is therefore entirely reasonable that there's growing demand for concrete scenarios describing what might happen. For almost exactly ten months, from early June 2024 onward, my go-to reference for such scenarios was Leopold Aschenbrenner’s Situational Awareness.

As of today, however, I recommend instead the brand-new AI 2027, by Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland and Romeo Dean. The report is an ambitious, detailed, remarkably competent and highly readable account of where things may be headed over the next few years. I commend the authors for putting in the considerable amount of work needed to produce the report, and I share their hope that the report will stimulate others in the AI sphere to react to it, for instance by challenging the various assumptions underlying the suggested scenario, or by proposing alternative scenarios.

Anyone with an interest in societal issues and a desire to ground their discussions in a realistic situational assessment is warmly encouraged to read it. In addition to the report itself, there is a highly informative three-hour podcast episode where Dwarkesh Patel interviews the first two authors, plus a short blog post by Scott Alexander introducing the project.

[Edit, April 9: Here are Scott Alexander's personal takeways from the project. Here and here are two relevant blog posts by Zwi Mowshowitz: the first is a detailed reading of the aforementioned podcast discussion, and the second is his summary of various people's initial reactions to the report, on Twitter and elsewhere. All of this is well worth reading, and I am certain a lot more will follow.]