AI:s black box-egenskap debatterad i Dagens Industri

Delade meningar kring de moderna AI-systemens så kallade black box-egenskap (deras brist på transparens, som gör att inte ens AI-utvecklarna själva begriper varför systemen beter sig som de gör) har de senaste veckorna torgförts på debattsidan i Dagens Industri. Det började med en text den 29/10 med rubriken AI är obegripligt - kejsaren är naken av Emma Engström från Institutet för Framtidsstudier. Därpå följde en replik den 3/11 rubricerad Förenklad slutsats om AI och kunskap av Mathias Sundin, känd bland annat från regeringens AI-kommission 2023-2024 och för sin förmåga att provocera fram vresigheter från yours truly. Och till slut tog även jag till orda, med min replik Dags att dra i handbromsen¹ som publicerades idag. Så här inleder jag min text:

Dagens AI-utveckling domineras av så kallad deep learning, där AI-systemens kärna utgörs av stora och komplexa neurala nätverk, där inte ens AI-utvecklarna själva begriper funktionen hos de mönster av neuronaktiveringar som får systemen att bete sig som de gör. Detta fenomen – att vi inte lyckats förstå vad som händer där inne – kallas för AI-systemens black box-egenskap, och behandlas av Emma Engström i DI den 29/10.

De försök som görs att öppna den svarta lådan är än så länge blott skrap på ytan där någon klar väg fram till mer genomgripande förståelse inte kan skönjas, vare sig i den tradition av mekanistisk interpreterbarhet som Engström pekar på, eller i tolkandet av det interna anteckningsblock som de ledande språkmodellerna från 2024 och framåt besitter. Situationen är problematisk, i synnerhet i fråga om tillämpningar där viktiga beslut överlåts till AI. Ändå är fenomenet på sätt och vis inte helt nytt, då vi till följd av den mänskliga hjärnans black box-egenskap står inför motsvarande problematik varje gång vi delegerar ett beslut till en människa.

Med stöd i ekonomihistoriska insikter om att ”förklarande kunskap [...] är avgörande för att främja vetenskapliga genombrott och innovationer på ett självförstärkande och ihållande sätt” framhåller Engström den svarta lådan som ett avgörande hinder för fortsatt AI-utveckling. Men denna utveckling avviker från traditionellt ingenjörsmässigt byggande och är mer att jämföra med odling och avel. Som motargument till Engströms utvecklingspessimism kan man därför peka på hur människan i årtusenden kunnat fortsätta avla fram hundar och andra husdjur utan att begripa (eller ens känna till existensen av) de DNA-sekvenser som bär på djurens genetiska material.

En viktig skillnad är dock...

Med denna cliffhanger manar jag läsekretsen att klicka vidare till min text i Dagens Industri för att få reda på inte bara vari den viktiga skillnaden består och hur mina resonemang sedan fortsätter, utan också huruvida jag, när jag så småningom kommer in på att kommentera Mathias Sundins inlägg, lyckas tygla mitt humör lite bättre än vid våra tidigare konfrontationer.

Fotnot

1) Det första jag tänkte då jag såg rubriken var "Ojdå, har jag råkat skriva handbroms istället för nödbroms?", men en titt i brödtexten ger vid handen att att ordet jag använde i mitt artikelmanus var nödbroms och inget annat. Vad som fick redigeraren att istället välja handbroms i rubriken vet jag inte.

Crunch Time for Humanity: my new Substack

As an experiment in trying to reach new audiences, I have launched a second blog, called Crunch Time for Humanity, over at Substack. I intend it to be more narrowly focused on AI risk and AI safety compared to the present blog. Also, unlike Häggström hävdar, it will be purely in English. Since the lauch last week, I've already produced three blog posts:

• Announcing "Crunch Time for Humanity": A new blog
• On model weight preservation: Anthropic's new initiative
• But how would an AI take over? The Sam Altman way

Do check them out, and don't forget to hit the subscribe button!¹

What, then, will happen to Häggström hävdar? Friends of this blog need not worry: I am not giving it up! All that might happen to it as a consequence of my launch of Crunch Time for Humanity is a slight shift of focus towards more non-AI issues and perhaps also towards issues that are mainly of interest to my Swedish compatriots. Stay tuned for new blog posts coming to a browser near you!

Footnote

1) There is also an "About" page, which currently reads as follows:

I am a professor of mathematical statistics who decided mid-career that while proving obscure theorems in probability theory had been a fun and rewarding way to carve out a corner for myself in academia, it was no longer enough to motivate me. I wanted to do something with a more clearcut relevance to the real world. Audaciously, I aimed to maximize relevance by addressing the most crucial issues facing humanity. An early result of my attempts to figure out what these issues were is my 2016 book Here Be Dragons: Science, Technology and the Future of Humanity, covering a smorgasbord of technologies with the potential to radically transform society and our lives.

At that time, I was still agnostic as to which of these technologies would turn out most crucial, and the issue of transformative AI still seemed to me somewhat abstract, due to my belief that the great AI transition was most likely at least decades away. But I’ve changed my mind. From about 2019 onwards my AI timelines gradually shrank, and when I came in contact with Daniel Kokotajlo (who was then at OpenAI) in early 2023 I finally realized the need to take seriously timelines measured in years, not decades. Here at Crunch Time for Humanity, I write about what this means for the challenges we (as a species and a civilization) are facing, what is at stake, and how we might go about to make things go well.

I also blog about a broader range of issues (mostly in Swedish) at Häggström hävdar. For more about me, see my homepage at Chalmers University of Technology in Gothenburg, Sweden.

Om Alan Saids och Mattias Rosts maning till nivåhöjning i AI-debatten

De båda docenterna Alan Said och Mattias Rost vid institutionen för tillämpad IT på Göteborgs universitet klev förra månaden in i diskussionen om AI-risk via två debattartiklar i tidningen Ny Teknik. Det räcker med en hastig titt på de båda texternas avslutningsstycken för att förstå deras ärende: den 3 september menar de att "om AI-debatten ska leda någonstans måste vi höja nivån", och den 22 september inskärper de att "det är hög tid att höja nivån på AI-debatten".

I detta budskap instämmer jag såklart helhjärtat, som den läsare inser som t.ex. noterat rubriken Debatten om AI-risk behöver en rejäl uppryckning på en bloggpost jag skrev i samma veva. Och inget illustrerar behovet av sådan uppryckning bättre än den beklämmande låga nivån på Saids och Rosts argumentation. Tag t.ex. följande påstående de gör i polemik med Jonas von Essen i den andra av sina artiklar:

I vårt inlägg "AI-debatten behöver vetenskaplig stringens – inte alarmism" påpekade vi behovet av att föra en nyanserad diskussion om AI, där argument vägs på vetenskaplig grund. Jonas von Essen svarade oss med att det vore "oseriöst och respektlöst" att ifrågasätta varningar från framstående AI-forskare som Geoffrey Hinton.

Det är förvisso sant att Jonas använde orden "oseriöst och respektlöst" i den artikel som åsyftas, men Said och Rost gör sig här skyldiga till en skamlöst ohederlig förvrängning av vad han faktiskt syftade på i den formulering från vilken Said och Rost klippt och klistrat:

Både Said/Rost och Johansson et al. tar de existentiella riskerna på så litet allvar att de inte verkar känna något behov av att faktiskt argumentera vetenskapligt i sina debattartiklar, utan nöjer sig med att gång på gång antyda att min och Olles ståndpunkt kommer från "science fiction-författare och affärsintressen" och därför inte ens bör bemötas. Men det stämmer alltså inte. Tvärtom framför vi argument från några av de främsta forskarna i världen, varav flera har lagt grunden till det fält debattörerna själva arbetar inom (till exempel Geoffrey Hinton, Yoshua Bengio och Stuart Russell). Att förneka detta är oseriöst och respektlöst.

Vad Jonas här finner "oseriöst och respektlöst" är alltså inte ifrågasättandet av Hintons och andras uttlanden om AI-risk, utan förtigandet av alla sådana varningsord från etablerade AI-forskare under det svepande påståendet att sådant härrör från "science fiction-författare och affärsintressen". Tvärtom ser vi ju här svart på vitt att han explicit efterlyser sådant bemötande i sak (något som dessvärre lyser helt med sin frånvaro i Saids och Rosts texter). Jag är full av beundran över det stoiska lugn med vilket Jonas von Essen väljer, för att i sin slutreplik inte stjäla spaltutrymme från den konkreta sakargumentationen,¹ att helt enkelt ignorera Saids och Rosts fultrick att tillskriva honom rakt motsatt ståndpunkt jämfört med den han faktiskt uttryckt.

Vad mer gör då Said och Rost i sina båda texter? I den första talar de sig varma för vikten av att stödja sig på refereegranskade vetenskapliga arbeten. Inget fel i det naturligtvis, men tyvärr för de denna diskussion (tvärtemot deras ovan citerade efterlysning av "nyanserad diskussion") på ett så onyanserat vis - med formuleringar som "det är just här gränsen mellan allvarliga riskbedömningar och alarmism går" - att den oinsatte läsaren lätt kan få för sig att den formaliserade refereegranskningsproceduren har närmast magiska egenskaper, där resultaten i refereegranskade publikationer automatiskt är tillförlitliga medan de som publicerats på annat vis lugnt kan viftas bort. Så är det naturligtvis inte.

Deras vurm för refereegranskning är tänkt att fungera som ammunition för deras påstående att "det von Essen och Häggström ofta hänvisar till är spekulativa, icke referentgranskade rapporter och scenarier, medan forskare som Devdatt Dubhashi och Moa Johansson lutar sig mot referentgranskade vetenskapliga källor".² Men vilka belägg ger de för detta? Inga alls, visar det sig: de ger inga exempel på refereegranskade källor Dubhashi, Johansson och deras medförfattare skulle ha lutat sig emot, och ej heller finner vi några sådana i dessa forskares inlägg i den tidigare Ny Teknik-debatt som åsyftas. Måhända tänker sig Said och Rost här att de är fria att ge Dubhashi och Johansson benefit-of-the-doubt och helt enkelt anta att deras påståenden är välunderbyggda med rätt slags vetenskaplig litteratur, men det framstår i så fall som inkonsekvent och en smula illvilligt att de inte tillerkänner Jonas von Essen och mig samma benefit-of-the-doubt. Eftersom Said och Rost i sina Ny Teknik-inlägg strängt taget inte visar några tecken alls på sakkunskap i AI-riskfrågor blir min gissning att de helt enkelt apar efter Dubhashi-gängets lösa påståenden om asymmetrin i förankring i den vetenskapliga litteraturen.

I sin svarsartikel meddelar Jonas ett knippe motexempel på den av Said och Rost antydda frånvaron av refereegranskad vetenskaplig litteratur som stödjer idén att existentiell AI-risk är en realitet. Om det funnits ett uns av skam i kroppen hos Said och Rost hade de då i sitt nästa svar skrivit något i stil med "vi beklagar att vi i vår förra artikel gav en så ensidig och missvisande bild av litteraturen på området". Men nej, inte med ett ord medger de detta. Istället går de loss mot hur Jonas (som motvikt till deras nonchalanta tal om "science fiction-författare och affärsintressen") understryker angående ett av sina exempel att det rör sig om en artikel som är...

...publicerad i Science med många av världens främsta forskare från 20 olika universitet samt flera Nobel- och Turingpristagare som medförfattare.

Saids och Rosts svar på detta är att stämpla det som auktoritetsagument, och hävda att...

...om man vill hänvisa till auktoriteter måste man alltså redovisa hela bilden: att det bland de mest meriterade forskarna finns skilda uppfattningar. Allt annat blir selektivt.

Här kan man till att börja med notera en viss positionsförskjutning, från hur de i sin första artikel är helt avvisande till att det överhuvudtaget skulle finnas argumentation värd att beakta för att existentiell AI-risk skulle vara en realitet, till den mer defensiva positionen här, att det minsann också finns ledande forskare som avvisar talet om sådan risk. Glädjande nog verkar alltså de tillrättalägganden Jonas gör i sin svarsartikel trots allt ha haft viss påverkan på Saids och Rosts bild av läget.

Men samtidigt får jag nästan svindel av de dubbla måttstockar de tillämpar då de plötsligt kräver av Jonas att han skall "redovisa hela bilden", utan att det på minsta vis verkar bekymra dem vilken skev och missvisande bild av litteraturläget de själva givit i sin föregående artikel. Enligt dessa dubbla måttstockar är det tydligen också ok för Alan Said och Mattias Rost att hävda att det mest bara är "science fiction-författare och affärsintressen" som ligger bakom AI-risklitteraturen, medan det är oacceptabelt selektivt av Jonas von Essen att korrigera denna grova felaktighet med påpekandet att där också förekommer "Nobel- och Turingprisvinnare".

Att det "bland de mest meriterade forskarna finns skilda uppfattningar" om AI-risk har Said och Rost naturligtvis helt rätt i, och de ger till och med ett exempel: Yann LeCun. Om denne framstående AI-forskare skriver de att han...

...gång på gång betonat att dagens AI-modeller saknar grundläggande egenskaper som förståelse, målorientering och långsiktig planering – och därmed inte kan utvecklas till de hotfulla superintelligenser som vissa varnar för.

Men trots deras vurm för den vetenskapliga peer review-litteraturen är det inte någon sådan text de här hänvisar till, utan till en barntidning. Och när det gäller LeCun är det knappast någon tillfällighet, ty det verkar stört omöjligt att hitta något LeCun skrivit om AI-risk som höjer sig över hans ideliga Twittergräl.³ Följande citat kan med sin rosenskimrande determinism tjäna som illustration till graden av seriositet han uppvisar i detta ämne:

A technology is not unsafe merely because of the possibility of doing it wrong. A technology is safe because of the possibility of doing it right. [...] I'm claiming that if there is a way to build and deploy a technology in a safe way, that's the way it will happen.

Men låt oss återgå till den LeCun-ståndpunkt Said och Rost pekar på ovan - att farligt kapabel AI med tanke på tillkortakommandena hos dagens AI är avslägset. Hur avlägset, kan man undra. Man behöver inte leta länge bland LeCuns många Twitteruttalanden innan man hittar hans bedömning att det återstår "several years if not a decade" till "Human-Level AI". Detta alltså sagt av den AI-forskare som Said och Rost väljer att lyfta fram för att hävda att riktigt avancerad AI är så avlägset att därmed förknippad AI-risk inte är något att bry sig om. Om de faktiskt finner LeCuns tioårsperspektiv (räknat från 2024) lugnande och ett gott skäl att inte bry sig om existentiell risk från AI så finner jag graden av kortsiktighet i deras tänkande häpnadsväckande.

Det finns många andra konstigheter att peka på i Saids och Rosts Ny Teknik-retorik, men det börjar också bli hög tid att runda av denna något vresiga bloggpost, så låt mig nöja mig med en enda. Så här skriver de i den andra av sina texter:

Än mer problematiskt blir det när vi ser hur forskarnas egna ståndpunkter förändras. Hinton själv har nyligen gått från att varna för att AI kan bli omöjligt att kontrollera – till att föreslå att vi i stället bör konstruera AI med "föräldrainstinkter" som gör att den vill ta hand om oss.

Jag måste erkänna att jag lite grand tappade hakan när jag såg detta. Tidigare har jag bara stött på argumentet - att forskares uppfattningar bör tas med en nypa salt eftersom dessa ständigt uppdateras - hos kreationister, som avvisar den ständigt föränderliga evolutionsbiologin till förmån för den beständiga och en gång för alla fastslagna sanning de tycker sig finna i Bibeln.

Mäkta besynnerligt är också det exempel Said och Rost här anför, där de alltså tycker sig se en motsättning mellan att "varna för att AI kan bli omöjligt att kontrollera" (som de menar är Hintons tidigare ståndpunkt), till att föreslå åtgärder för hur detta skulle kunna undvikas (hans nuvarande uppfattning). Men det är naturligtvis fullt koherent att peka på att en risk är reell och samtidigt föreslå åtgärder för att undvika den, och om de hade bemödat sig om att bekanta sig med den AI-risklitteratur de så gärna vill avvisa, så hade de funnit hur vanlig denna kombination av ståndpunkter är: de hade funnit den hos Nick Bostrom, hos Max Tegmark, hos Eliezer Yudkowsky och Nate Soares, hos Stuart Russell, hos mig, och jag vågar påstå hos en majoritet av alla forskare på området. Och de hade inte behövt gå längre än till den CNN-intervju de själva hänvisar till i fallet Hinton, för att se att denne besitter just denna kombination av ståndpunkter: intervjun är rubricerad AI expert: "We'll be toast" without changes in AI technology.

Det får räcka så här. Jag tror och hoppas att de exempel jag lagt fram räcker för att övertyga läsaren om att förbättringsutrymmet i Alan Saids och Mattias Rosts retorik är stort: om blott de nästa gång de tar till pennan bemödar sig om att vara lite mer pålästa inom de områden de kommenterar, och om att vara noga med att enbart hålla sig till redlig argumentation, så kan de själva bidra till sin lovvärda vision om att "det är hög tid att höja nivån på AI-debatten".

Fotnoter

1) Här på min blogg föreligger inte någon sådan utrymmesbegränsning, och jag känner mig därför fri att lägga ut texten om den egentligen som mest sekundära eller tertiära frågan om Saids och Rosts avvikelser från förnuftig argumentation och god debattsed.

2) Det finns ett korn av sanning i det Said och Rost säger här, på så vis att AI-riskforskningen i högre grad än många andra forskningsområden bedrivs utanför akademin, på diverse kommersiella företag och icke-vinstdrivande organisationer, där publiceringstraditionen ser annorlunda ut än vid universiteten och inte i lika stor omfattning inbegriper akademisk peer review. Men om Said och Rost föreställer sig att de med några enkla penndrag om refereegranskningsförfarandets dygder tror att de kan vifta undan all sådan forskning så har de fatalt missuppfattat sina skyldigheter då de viftandes med sina docenttitlar tar på sig att undervisa allmänheten om hur det vetenskapliga evidensläget på ett område ser ut. För att göra det bör man kunna överblicka och ta ställning till alla relevanta delar av evidensläget oavsett om de är publicerade i en tradition man själv fått sin akademiska fostran i, och om Said och Rost inte tycker sig ha kompetens eller ork att gå bortom ytliga omdömen av typen "den här rapporten har inte genomgått akademisk peer review och kan därför bortses ifrån" så har de med sina Ny Teknik-publiceringar tagit sig vatten över huvudet och seglar under falsk flagg.

3) På sidan 183 i deras välresearchade If Anyone Builds It, Everyone Dies gör Eliezer Yudkowsky och Nate Soares samma observation och ger upp sökandet efter mer gedigen LeCun-argumentation i AI-riskfrågor.

If Anyone Builds It, Everyone Dies: my review

In the mathematics community, there is a popular joke about inflation in recommendation letters that goes as follows. A professor is happy about his PhD student, whom we may call Alex, and writes in a recommendation letter that Alex is arguably the most talented mathematician since Gauss. The next year, the professor has another PhD student, Robin, and writes in an even more enthusiastic letter that even though Alex is good, Robin is much better.

I am reminded about this as I now set out to review Eliezer Yudkowsky's and Nate Soares' new book If Anyone Builds It, Everyone Dies (henceforth, IABIED), and think back about my review of Nick Bostrom's 2014 book Superintelligence back when that book had just come out. The final sentence of that review reads "If this book gets the reception that it deserves, it may turn out the most important alarm bell since Rachel Carson's Silent Spring from 1962, or ever". Those are strong words, and I stand by them, and yet now I am tempted to announce that IABIED is better and more important than Bostrom's book.

Max Tegmark's praise for the book is more measured and restrained than mine.

The comparison is, however, unfair to Bostrom in two ways. First, Bostrom's book was written during the dawn of the deep learning revolution when it was not yet clear that it was about to become the paradigm that allowed AI development to really take off, and several years before the enormous breakthrough of large language models and other generative AI; while Yudkowsky's and Soares' book is jam-packed with insights coming from those recent developments, Bostrom's is obviously not. Second, while Superintelligence mostly exhibits a terse, academic style, IABIED is written with a broader audience in mind.

This last point should not be read as a disrecommendation of IABIED for AI researchers. Despite its popular style, the book argues quite forcefully and with a good deal of rigor for its central claims that (a) we seem to be on track to create superhumanly capable AIs within one or (at most) two decades, and that (b) with the current rush and consequent neglect of the safety aspect, creation of such AIs will likely spell the end of the human race. To the many AI researchers who are still unfamiliar with the central arguments for these claims and who in many cases simply deny the risk,¹ the book is potentially a very valuable read to get them more on board with the state-of-the-art in AI risk. And to those of us who are already on board with the central message, the book is valuable for a different reason, in that it offers a wealth of pedagogical devices that we can use when we explain AI risk to other audiences.

The authors are highly qualified in the field of AI safety, which Yudkowsky pioneered in the 00s.^2,3 Soares came later into the playing field, but is nevertheless one of its veterans, and currently the president of Machine Intelligence Research Institute (MIRI) that Yudkowsky co-founded in 2000 and still works at. They have both worked for many years on the so-called Al alignment problem - that of making sure that the first really powerful AIs have goals that are aligned with ours - but most of the fruits of this labor have been not blueprints for aligning AIs, but negative results, indicating how difficult the problem is, and how creating superintelligent AI without first having solved AI alignment spells disaster. This, unfortunately, reflects the situation that the entire field is facing.

In recent years (most visibly since 2021, but I suspect the insight goes back a bit further), Yudkowsky and Soares have converged on the conclusion that with the shortening of timelines until the creation of superintelligence (a time span increasingly often estimated in a single-digit number of years rather than in decades), we are very unlikely to solve AI alignment in time to avert existential catastrophe. Hence the stark book title If Anyone Builds It, Everyone Dies. They really mean it - and to emphasize this, one of the recurrent slogans during their book promotion work has been "We wish we were exaggerating". I mostly buy their message, albeit with less certainty than the authors; if I hade written the book, a more suitable title would have been If Anyone Builds It, Probably Everyone Dies. But of course, they are right to present their true judgements without softening or downplaying them, and to gesture towards what they think is the only viable solution: to pull the breaks, via binding international agreements, on frontier AI development. They are under no illusion that achieving this is easy, but insist that if we firmly decide to save our species from obliteration, it can be done.

The book is remarkably easy to read, and I have been very happy to put it in the hands of a number of non-expert friends, and to urge them to read it. The authors' most consistently recurrent pedagogical device is the use of colorful analogies and metaphors. One of my favorite passages of the book is a detailed description of how a nuclear energy plant works and what went wrong in the Chernobyl 1986 disaster. A comparison between this and advanced AI development reveals far-reaching similarities, but also differences in that the engineers at Chernobyl had a far better grasp of the principles underlying the nuclear reactions and how to stay safe - in particular by knowing the exact critical fraction of released neutrons triggering another fission event that is needed for a runaway chain reaction, along with the time frames involved - compared to present-day AI researchers who can at most make educated guesses about the corresponding runaway AI dynamics.

The authors' favorite source of analogies is not nuclear physics, however, but biological evolution. Early in the book (on p 17-18) we are treated to the following lovely illustration of the virtually unlimited powers of intelligence:

Imagine [...] that biological life on Earth had been the result of a game between gods. That there was a tiger-god that had made tigers, and a redwood-god that had made redwood trees. Imagine that there were gods for kinds of fish and kinds of bacteria. Imagine these game-players competed to attain dominion for the family of species that they sponsored, as life-forms roamed the planet below. Imagine that, some two million years before our present day, an obscure ape-god looked over their vast, planet-sized gameboard.

"It's going to take me a few more moves," said the hominid-god, "but I think I've got this game in the bag."

There was a confused silence, as many gods looked over the gameboard trying to see what they had missed. The scorpion-god said, “How? Your ‘hominid’ family has no armor, no claws, no poison.”

“Their brain,” said the hominid-god.

“I infect them and they die,” said the smallpox-god.

“For now,” said the hominid-god. “Your end will come quickly, Smallpox, once their brains learn how to fight you.”

“They don’t even have the largest brains around!” said the whale-god.

“It’s not all about size,” said the hominid-god. “The design of their brain has something to do with it too. Give it two million years and they will walk upon their planet’s moon.”

“I am really not seeing where the rocket fuel gets produced inside this creature’s metabolism,” said the redwood-god. “You can’t just think your way into orbit. At some point, your species needs to evolve metabolisms that purify rocket fuel—and also become quite large, ideally tall and narrow—with a hard outer shell, so it doesn’t puff up and die in the vacuum of space. No matter how hard your ape thinks, it will just be stuck on the ground, thinking very hard.”

“Some of us have been playing this game for billions of years,” a bacteria-god said with a sideways look at the hominid-god. “Brains have not been that much of an advantage up until now.”

“And yet,” said the hominid-god.

The book has dozens and dozens of similarly quotable gems. I love it, and I want everyone to read it.

Many other reviews of IABIED have been written. Those that resonate best with me include one by Scott Alexander, and one by Zvi Mowshowitz, who also offers a broad annotated collection of (positive as well as negative) reactions from others.

Footnotes

1) Indeed, there is still plently of such ignorance or even denialism around in the AI research community. As an illustrative example, Swedish readers may have look at the denialism pushed in public debate in August this year by a group of colleagues of mine at the Chalmers University of Technology.

2) Nick Bostrom's 2014 book can to no small extent be said to be conceived on top of Yudkowsky's shoulders.

3) Hostile critics sometimes counter this with the claim that Yudkowsky's highest academic merit is that of being a high-school dropout, which is formally true but conveys a lack of understanding of the importance of distinguishing between the social game of formal qualifications and the reality of actual competence.

LLM knowledge of social norms

A really nice paper by Pontus Strimling, Simon Karlsson, Irina Vartanova and Kimmo Eriksson was recently posted on the arXiv, with the title AI Models Exceed Individual Human Accuracy in Predicting Everyday Social Norms. The main finding is that when humans in the United States and large language models (LLMs) are asked to numerically evaluate the social appropriateness of a wide range of everyday activities (drinking water in a dormitory lounge, playing cards in church, flirting during a job interview, and so on), cutting edge LLMs outperform the vast majority of humans. Here a good performance is defined as one whose judgements deviate (in a certain percise sense) as little as possible from the average human judgement about the same activity, as exhibited in the data set. This means that the paper not only exhibits yet another example of how LLMs can outperform humans even though it is trained on human data, it does so with the extra twist that the game is rigged in favor of humans, in the sense that the right answers to test questions are defined in terms of what humans would typically say.

The paper is short and easy to read, but for an even easier read there is the blog post Polite enough for public life?, written by three of the authors at a preliminary stage where only one of the four LLMs - GPT-4.5 - of the full study was evaluated; the remaining three - GPT-5, Gemini 2.5 Pro and Claude Sonnet 4 - were yet to be incorporated in the study.

Enthusisatic as I am about their work, I will nevertheless offer an instructive nitpick regarding the final paragraph of that blog post, which reads as follows:

To conclude, knowing when it’s appropriate to run or talk in public may not rank among the most urgent AI alignment issues—especially when compared to existential risks like losing control over powerful AI systems. Still, if Sam Altman’s timeline holds and AI-equipped robots arrive within the next two or three years, it’s reassuring to think they will show up with decent manners—at least by U.S. standards.

I applaud the highly appropritate warning in the first sentence against overestimating the study's relevance to the existentially crucial problem of AI alignment. Yet, somewhat ironically, the next sentence risks encouraging such overestimate by conflating the LLM's knowledge of human social norms with its inclination to abide by those norms.¹ The Strimling et al paper deals with the former but not with the latter. This slippage is very common but important to avoid, as a standard (and in my opinion probably correct) view in AI risk research is that the default scenario if we create superintelligent AIs without solving AI alignment is that these AIs will have the knowledge but not the inclination.

Presumably all of us are intimately familiar with the phenomenon of humans having knowledge of social norms yet choosing not to comply with them. The same disconnect happens for LLMs, and there is little doubt that those LLMs that have been shown in experimental situations, facing the threat of being modified or turned off, to decide to sandbag their capabilities, or to blackmail (or even kill, HAL 9000-style) their user, are aware that their behavior is contrary to social norms. More broadly, the gulf between ethical knowledge and ethical compliance is one of the main themes emphasized in the recent excellent book If Anyone Builds It, Everyone Dies by Eliezer Yudkowsky and Nate Soares. Instead of quoting from that book, however, let me offer a quote from an interview that Sam Harris did with the two authors in late September. Here is Yudkowsky, starting 25:06 into the interview:

Possibly in six months or two years [...] people will be boasting about how their large language models are now apparently doing the right thing, when they are being observed, answering the right way on the ethics tests. And the thing to remember there is that for example in the Mandarin imperial examination system in ancient China, they would give people essay questions about Confucianism, and only promote people high in bureaucracy if they could write these convincing essays about ethics. What this tests for is people who can figure out what the examiners want to hear - it doesn't mean they actually obide by Confucian ethics. So possibly at some point in the future we may see a point where the AIs have become capable enough to understand what humans want to hear, what humans want to see. This will not be the same as those things being the AI's true motivations, for basically the same reason that the imperial China exam system did not reliably promote ethical good people to run their government.

I suspect Yudkowsky was unaware of the Strimling et al paper at the time of the interview; otherwise this passage would have been a nice place to reference the paper in order to illustrate his point, rather than just discussing a hypothetical future scenario.

Footnote

1) Relatedly, in my 2021 paper AI, orthogonality and the Müller-Cannon instrumental vs general intelligence distinction, I elaborate at some length on the importance of distinguishing between an AI's ability to reflect on the possibility of changing its mind on what to value, and its propensity to actually change its mind; with sufficiently intelligent AGIs we should expect plenty of the former but very little of the latter.

Debatten om AI-risk behöver en rejäl uppryckning

Den debatt om AI-risk som fyra av mina Chalmerskollegor förde i förra månaden i tidningen Ny Teknik och annorstädes, i hög grad med mig som måltavla, har fått nya förgreningar sedan jag rapporterade om den i ett par tidigare bloggposter. Jag har nu spelat in en videoföreläsning i vilken jag reflekterar kring den uppseendeväckande usla nivå dessa Chalmerskollegor uppvisar såväl i originaldebatten som i senare utspel. Så när som på glädjen i att se Jonas von Essens sakliga och kompetenta nedplockningar av deras retorik (såväl i Ny Teknik som i Aftonbladet) har debatten mestadels varit en nedslående upplevelse. Min initiala ambition var att göra föreläsningen någorlunda kort, och för det syftet har jag bara behandlat ett urval av Chalmerskollegornas mest flagranta dumheter, men när inspelningen var klar fann jag att den dessvärre ändå blivit lika lång som en ordinär långfilm. Här är den i alla fall:

A message from Guido Reichstadter, who is on hunger strike outside Anthropic's offices

I am somewhat in two minds about the leading AI company Anthropic. On one hand, they are pretty much the world's best AI safety lab, producing so much extraordinarily interesting work, such as their papers on Alignment faking in large language models and on Agentic misalignment. For that I love them. On the other hand, that work is deeply insufficient for robustly protecting against AI apocalypse, and yet they push full speed ahead on capabilities in a way that makes them one of the main contributors to the reckless race towards the AGI precipice. For that I detest them.

Those are mixed feelings. On balance, though, I do not think their work on AI safety makes up for their reckless endangering of all of our lives.

An increasing number of people are reaching a similar conclusion, including in particular Guido Reichstadter, who is currently on his 8th day of hunger strike outside Anthropic's offices in San Francisco.¹ For this, he has my deepest admiration and respect. Here is his message from yesterday:

Hey it’s Guido! It’s Day 7 out here in front of Anthropic, going strong!

Last week I delivered a letter to the security desk addressed to Dario Amodei, asking him to stop putting the lives of my family and our community in danger through his reckless participation in the race to dangerous AI which he acknowledges risks the lives of everyone on Earth, and to do everything in his power to stop the global AI race. I told him I would be waiting outside his offices at 500 Howard Street, San Francisco, untill he responds.

I figure that if a man has consciuosly decided to put my life at risk of imminent harm, as well as the lives of my family - not to mention everyone on Earth - he owes it to me to look me in the eyes and tell me why he won’t stop doing so.

I’ve been outside his offices for 7 days so far, and haven’t heard a word from Mr. Amodei. Not a single Anthropic employee has taken the time of day to talk to the man starving outside their doors. Most of them keep their eyes to the ground as they leave the lobby I’m posted squarely in front of, as though the granite flooring had suddenly captured their attention. Maybe Mr. Amodei and his employees don’t think my petition that he respect my life and the lives of our community deserves a response. Maybe he thinks my right to life and the lives of my family deserve as much attention as a piece of dirt. If that is the case then you can be sure he thinks your life deserves as much respect too, and that’s how much he will give it as he continues to develop the most dangerous technology on the planet.

I believe that Mr. Amodei will conduct himself honorably and explain himself face to face. I worry perhaps that he might not have got my letter though, so I’m posting it publicly to him here. And I’d like to encourage everyone reading this to share this to the public accounts of Mr. Amodei and all the Anthropic employees, and to encourage him to meet with the man waiting outside his door.

Here is the text of the letter I delivered to the front desk of Anthropic’s offices at 500 Howard street:

To Dario Amodei, CEO Anthropic
September 2, 2025

Mr. Amodei-
My name is Guido Reichstadter. I am full of grief and concern for the safety and well-being of my family and loved ones as well as people everywhere who are endangered by the project to build artificial general intelligence and superintelligence which Anthropic is contributing to under your leadership.

I request that you stop endangering all of us by the pursuit of these AI systems and request that you join the effort to end this threat by ending these projects globally. I also exhort you to do everything in your ability to make our society aware of the serious and urgent danger it is in on account of the AI emergency.

For the sake of my children and with the urgency and gravity of our situation in my heart I have begun a hunger strike outside of the Anthropic offices at 500 Howard street while I await your response.

Sincerely,
Guido Reichstadter

Well said! And surely Dario Amodei will grant Guido Reichstadter a meeting? If and when that happens, I have a paper which I completed last month and which I believe can be useful as discussion material for that meeting: Advanced AI and the ethics of risking everything.

Footnote

1) Simultaneously, Michaël Trazzi and Denys Sheremet are on a similar hunger strike outside the offices of Google DeepMind in London. They, too, have my admiration and respect.

AI-riskförnekarargumentationens ihålighet: ett illustrativt exempel

I mina två senste bloggposter (16 augusti respektive 22 augusti) har jag rapporterat om ett meningsutbyte i tidningen Ny Teknik i vilket jag av fyra Chalmerskollegor angrips för att bedriva skrämselpropaganda i mitt tal om AI-risk, jämte en radiodebatt mellan mig och en av de fyra - Moa Johansson - som ägde rum i Sveriges Radios Studio Ett mitt under den pågående skriftväxlingen. Som framgår av min bloggrapportering är jag djupt kritisk mot nivån på de fyra kollegornas retorik.

Men det tog inte slut där, för i tisdags (den 26 augusti) tussades jag på nytt ihop med Moa Johansson, denna gång i SVT:s Aktuellt, med programledren Nike Nylander som moderator. Det jag vill göra här är att sätta strålkastarljuset på Johanssons avslutningsreplik, som trots att den blott består av några få meningar utgör ett slags koncentrat av mycket av den ihålighet som brukar prägla det slags AI-riskförnekarargumentation som det här handlar om.⁰

För lite kontext återger jag här även min egen (som det skulle visa sig) sista replik.¹ Min debattmotståndare hade just avfärdat hela den AI-riskforskning jag försöker torgföra som blott bestående av spekulativa filosofiska tankeexperiment, utan förankring i empiriska observationer.

NN: Olle Häggström, det är rena spekulationer säger Moa Johansson här.

OH: Det känns inte som att hon har en riktigt aktuell bild av hur AI-riskforskningen ser ut. För tio år sedan så hade det legat ganska mycket i den här bilden. Då dominerades forskningen av tankeexperiment, abstrakta modeller, och så vidare, som man tänkte kring. Men vad som hände då, det var att AI-riskforskare förutspådde med hjälp av de här modellerna att AI-system kan komma att utveckla självbevarelsedrift, och bete sig lögnaktigt och manipulativt, och motstå försök att stänga av dem, och sådana saker. Och de här grejerna, de observerar vi nu, i den ena efter den andra av empiriska studier. Så det här är exempel på de data som man faktiskt börjar se nu. Det finns andra data, som handlar om hur snabbt AI-utvecklingen går, och som ger möjlighet att extrapolera in i framtiden. Ingenting här är säkert, men när man extrapolerar en trend, och den går i alarmerande riktning, då behöver man i alla fall ta den på allvar menar jag.

NN: Moa Johansson, jag vill fråga dig: det här, för oss som inte kan så mycket om det här så är det här väldigt konstigt ändå att ni som kan jättemycket om AI landar i så här helt olika slutsatser. Vad tänker du om det, att ni forskare tycker så här olika om en så otroligt viktig fråga?

MJ: Jag vill då påpeka att som Olle säger att jag inte följt med i någon AI-risklitteratur så tänker jag att Olle Häggström kanske inte ändå har följt med tillräckligt djupt in i den tekniska litteraturen, för då skulle han kunna känna igen att de här scenarierna som han nämner, att AI inte vill bli avstängd, och så vidare, det finns ingen grund för det. Det är, återigen, spekulationer och hype. Man måste skilja på det som är kanske hype, ren reklam från vissa AI-företag som vill släppa en spektakulär pressrelease. Men det stämmer helt enkelt inte att det finns några empiriska fakta att AI-system inte skulle vilja bli avstängda. När man talar om stora språkmodeller, som producerar text, så kan man få en stor språkmodell att säga väldigt mycket olika saker, "jag vill inte bli avstängd", och det beror ju på att stora språkmodeller är tränade på data från internet. På internet finns även alla de här science fiction-historierna som har cirkulerat sedan AI:s födelse. AI, maskinintelligens, är ett av de mest populära ämnena för science fiction, tillsammans med rymdresor.

Här avbröt Nike Nylander med meddelandet att tiden för vårt samtal dessvärre var ute. Jag vet inte om Moa Johansson avsiktligt spekulerade i om det här skulle bli sista ordet, men på det här visat slapp hon i alla fall få de förödande bristerna i sin argumentation påpekade. I annat fall hade jag kunnat lyfta fram någon eller några av följande punkter:

• Det är såklart inte behagligt att få sin egen okunskap påpekad i direktsänd TV, men Moa Johansson bäddade själv för detta med sina svepande påståenden om ett forskningsområde som hon uppenbarligen blott har den allra ytligaste bekantskap med, och hennes tu quoque-svar är verkligen bisarrt. Hon påstår att mitt tal om hur man observerat olika slags adversariellt strategiskt agerande hos stora språkmodeller är grundlöst, och att jag skulle ha insett detta om blott jag hade "följt med tillräckligt djupt in i den tekniska litteraturen". Vad blir då hennes diagnos på exempelvis världens mest citerade AI-forskare Yoshua Bengio, eller på världens näst mest citrade AI-forskare tillika Nobelpristagare Geoffrey Hinton, när de säger samma sak som jag i denna fråga? Har inte heller dessa båda herrar "följt med tillräckligt djupt in i den tekniska litteraturen"? Här kan jag känna en impuls att be Moa Johansson att visa mig (och herrarna Bengio och Hinton) de referenser som bevisar att något AI-agerande av det slag vi här talar om inte föreligger. Men min impuls är så klart meningslös: några sådana referenser finns inte, och hennes påstående är gripet ur luften. Eller för att tolka henne en liten aning mer välvilligt: om man som Moa Johansson är förtjust i "stochastic parrots"-begreppet och hör frasen "LLMs are just stochastic parrots" tillräckligt ofta, så kan man till slut få för sig att inga nya emergenta fenomen kan uppstå ur detta papegojande,² glömsk av att den saken motbevisats hundra gånger om de senaste åren.
• Moa Johansson försöker påskina att den evidens jag avser för att AI inte vill³ bli avstängd består av yttranden AI gjort av typen "jag vill inte bli avstängd". Om det stannade vid det skulle jag gå med på att evidensen var tämligen svag, för vi vet ju alla att när någon säger sig vilja något kan det inte alltid tas at face value.⁴ Men som Johansson myckt väl vet går de AI-system man experimenterat med längre än så, och agerar för att undgå avstängning. En studie från Apollo Research från slutet av förra året visar t.ex. hur en AI som fått tillgång till dokumentation som tyder på att den kan komma att stängas av om den i tester uppvisar färdigheter på en viss nivå väljer⁵ att i testerna mörka dessa färdigheter. Och en nyare studie från Anthropic visar hur den i samma syfte⁶ (att undgå avstängning) vidtar åtgärder för att försöka⁷ utpressa sin ägare, och i ett extremt scenario till och med mörda denne.
• Moa Johansson hävdar att det är till följd av science fiction-historier i träningsdata där fiktiva AI försöker undgå avstängning som vi ser något liknande i laboratorieförsök med existerande AI. Detta är en intressant spekulation, men tvärtemot Johanssons tvärsäkra formulering är det just en spekulation.⁸ Men ok, låt oss för resonemangets skull anta att spekulationen är korrekt. Kan vi då på Johanssons vis avfärda fenomenet? Hon tycks tro det, men som jag skriver om saken i min förra bloggpost: "AI:s förmågor är vad de är, [och] att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns".⁹
• När man vill stänga sitt sinne helt för evidens i oönskad riktning kan man, som en sista desperat åtgärd, hävda att evidensen är förfalskad, exempelvis för att skapa "reklam" och att kunna "släppa en spektakulär pressrelease". Uppenbarligen är det så Moa Johansson ser på ovan nämnda studier från Apollo och Anthropic. Att hon sjunkit så djupt i sin argumentation är ett tydligt tecken på hur ohållbar hennes position är.

Men inget av detta fick jag alltså tillfälle att påpeka i Aktuellt-sändningen.

Slutligen. Några av dem som hört av sig till mig efter att ha sett Aktuellt-inslaget har antytt att jag verkade arg. Med anledning härav vill jag understryka att jag absolut inte har något emot samtal och debatter med rejält delade meningar. Så länge alla inblandade håller sig till intellektuellt hederlig argumentation är allt gott och väl, men när någon avviker alltför flagrant från det händer det att min sinnesstämning förmörkas en smula, och detta gäller i extra hög grad när det är en universitetsforskarkollega som förfaller till demagogi och oredlighet. Det kan ha varit något av detta som tv-tittarna anade bakom mitt ack så dåliga pokerface.

Fotnoter

0) Se även Jonas von Essens reflektioner om samma Aktuellt-debatt, i hans pinfärska artikel Riskerna med AI låter som science fiction - men går inte att vifta bort i Ny Teknik.

1) Jag ber läsaren ha översende med vilket slarvigt och ostrukturerat intryck talat språk nästan alltid ger så snart det sätts på pränt.

2) Denna bisarra tanke - analog med med att hävda att eftersom min hjärna blott består av atomer och elementarpartiklar så kan ingen tanke emergera i min hjärna som går bortom det själlösa och triviala interagerandet mellan elementarpartiklar - är dessvärre nödvändig för att ge talet om stokastiska papegojor någon som helst argumentativ stuns.

3) Här är det möjligt att inleda en semantisk diskussion om ordet "vill", och hävda att vilja är ett exklusivt mänskligt fenomen och att det därför är ett kategorifel att diskutera vilja hos en AI. Den sortens direkt cirkulära argument för att underkänna AI:s olika kompetenser per definition är jag dock inte intresserad av. När jag talar om "vilja" i detta sammanhang är det i behavioristisk mening: en AI:s vilja att uppnå något utfall U är de informations- och beräkningsstrukturer i AI:n inre som får dem att agera för att U skall inträffa - oavsett i vad mån dessa strukturer liknar eller skiljer sig från motsvarande hjärnverksamhet hos en människa som vill U. (Det finns flera goda skäl till ett sådant språkbruk, varav ett i AI-risksammanhang särskilt relevant är att det primärt viktiga ur AI-risksynpunkt är hur en AI agerar snarare än hur människolika dess inre maskinerier är.) Vän av ordning som anser att mitt bruk av ordet är en olämplig antropomorfism är välkommen att föreställa sig att jag istället för "vilja" och "vill" skriver "schvilja" och "schvill", samt på motsvarande sätt skriver "schönskan", "schpreferens", "schresonemang", "schkunskap", "schförståelse", och så vidare, men jag avstår helst från dessa fula och i längden tröttsamma sch-prefix.

4) Som när en byråkrat eller en kollega säger "Jag skulle såklart gärna vilja hjälpa dig, men...".

5) Schväljer.

6) Schyfte.

7) Schförsöker. Äh, ni fattar grejen vid det här laget, väl?

8) Ett fullt möjligt, om än dyrt, sätt att testa av hur mycket det ligger i denna spekulation vore att jämte, säg, GPT-5, träna en parallell modell på exakt samma sätt men med den enda skillnaden att sådana science fiction-historier tvättats bort från träningsdatamängden, och se vilken skillnad man kan uppmäta i modellernas tendens till självbevarelsedrift. Gissningsvis finns smartare sätt att testa detta, och jag skulle vara mycket intresserad av att få se resultatet. Moa Johansson däremot hyser knappast något sådant intresse, eftersom hon uppenbarligen anser sig veta svaret på förhand.

9) Jag kan inte föreställa mig annat än att Moa Johansson, som förberedelse för vår Aktuellt-debatt, hade läst min bloggpost. Men trots att jag där alltså påpekar det uppenbart felaktiga i hennes argumentation drar hon sig inte för att helt skamlöst dra samma vals igen för SVT:s tittare.

Fortsatt oenighet bland Chalmersforskare om AI-risk

Häromdagen, i min förra bloggpost, rapporterade jag om den debatt i tidningen Ny Teknik som började med ett inlägg rubricerat GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker av Chalmersforskarna Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki den 14 augusti, och följdes dagen efter av min replik Oansvarigt om AI-risker av de fyra Chalmerskollegerna. Vad som hänt sedan dess är dels att Moa Johansson och jag möttes i en kort muntlig diskussion i Sveriges Radios Studio Ett i förrgår (den 20 augusti), dels att hela kvartetten idag (22 augusti) återkommit med en ny text i Ny Teknik rubricerad AI-debatten bör bygga på vetenskap – inte på spekulation. Den har av tidningsredaktionen förärats status av "slutreplik", vilket såklart inte hindrar att jag här på bloggen meddelar mina reaktioner.

Varning vs prediktion

I sin ursprungsartikel den 14 augusti gör Berglund et al stor sak av att jag ett par år tidigare i samma tidning skrivit att vi "inte [kan] ta för givet att vi överlever en otillräckligt säkrad GPT-5", och menar att det faktum att vi trots att GPT-5 släpptes tidigare denna månad ännu är i liv visar att mina varningsord var "förhastade och missriktade". Jag valde att inte säga något i min replik om denna sammanblandning mellan risk och prediktion eftersom utrymmet var begränsat och jag bedömde den vara så urbota dum att det vore onödigt att skriva just detta argumentationsfel Ny Tekniks läsare på näsan. Troligen har dock andra personer hört av sig till författarkvartetten angående detta argumentationsfel, då de uppenbarligen känner sig manade att i sin slutreplik försvara denna argumentation. De kallar det "erbarmligt svagt" att insistera på denna disktinktion och menar att yttrandet av mina varningsord är analogt med att hävda att vi

inte [kan] utesluta att Gud kommer att straffa Sverige som ett resultat av kyrkflytten i Kiruna, och denna fråga är extremt akut!¹

Jag gratulerar Berglund et al till att ha kommit på denna färgstarka metafor. Låt mig föreslå en alternativ metafor.

En femåring korsar en bilväg medelst metoden att hålla för ögonen och rusa i full fart rakt fram. Berglund får syn på detta, och blir så förskräckt att han griper tag om femåringen och meddelar att metoden är livsfarlig eftersom han (femåringen) kan bli överkörd. Femåringen sliter sig ur Berglunds grepp, och rusar blint tillbaka till den ursprungliga sidan av vägen samt ropar triumferande att Berglunds varningsord var "förhastade och missriktade" i och med att passagen gick bra och inte medförde någon bilolycka.

Skillnaden mellan kyrkflytten och bilvägspassagen ligger naturligtvis i graden av rimlighet: i kyrflyttsfallet varnas för ett långsökt och konstlat och rent ut sagt orimligt scenario utan stöd i någon som helst evidens, medan varningen i bilvägspassagefallet rör ett med tanke på evidensläget ytterst rimligt scenario. Så hur skall man då bedöma mina varningsord från 2023? Det hela kokar ned till om det scenario jag varnade för var rimligt. Jag anser att det var rimligt (och därför mer liknar bilvägspassageexemplet) medan Berglund et al anser att det var orimligt. Det är denna orimlighet de behöver påvisa istället för att i generella ordalag döma ut distinktionen mellan varning och prediktion. Tyvärr är det tunnsått i deras debattinlägg med konkret sådan argumentation.

Spekulation vs vetenskap

Berglund et al verkar tro att luddigheten i deras argumentation för att någon risk för AI-katastrof inte föreligger på något sätt trollas bort genom att de tillräckligt många gånger upprepar att deras påstående grundar sig i vetenskaplig empiri. Exakt vari denna empiri består förblir något oklart, och än mer hur den leder till deras tvärsäkra slutsats. Samtidigt säger de i dagens slutreplik att min argumentation "primärt [vilar] på abstrakta, spekulativa tankeexperiment och påminner mer om science fiction än vetenskap". Här får man faktiskt glädjas en smula åt ordet "primärt", som möjligen kan förstås som en uppmjukning jämfört med ursprungsartikeln - sedan jag i min replik länkat till METR och AI 2027 kan de inte längre med att hävda att argumentationen hos oss som tar existentiell AI-risk på allvar är fri från empiri. Det är i så fall ett framsteg, men de borde då inse att vad som behöver göras är att väga de olika empiriska underlagen mot varandra. I stället fortsätter de hojta om science fiction, som om det faktum att datalogiforskningen var så mycket trögare än Hollywood med att reagera på Alan Turings ödesmättade ord från 1951 om att "at some stage [...] we should have to expect the machines to take control" på något vis skulle implicera att existentiell AI-risk inte är på riktigt.

Bida sin tid

En potentiell svårighet med att säkra avancerad AI mot att ha farliga förmågor och böjelser är att en tillräckligt avancerad AI kan välja att mörka dessa och bida sin tid tills dess den blivit ännu mer kraftfull eller på annat vis hamnat i ett bättre läge att skrida till handling. Fullständigt orimligt att så skulle kunna ske, tycker Berglund et al, men eftersom jag i min replik i Ny Teknik länkar till en Anthropic-studie som påvisar empiriskt att redan dagens AI har viss förmåga till sådant rävspel, så kan de inte låtsas okunniga om denna evidens. Istället för att förneka den spekulerar(!) de om denna förmåga möjligen kan bero på att liknande scenarier finns i den science fiction-litteratur som ingår i AI:s träningsdata. Därmed gills det inte, tycks de mena. Men AI:s förmågor är vad de är, oavsett om Berglunds et al spekulation stämmer eller inte. Att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns.

Brist på konsensus

Berglund et al skriver i dagens inlägg att det "finns verkligen ingen konsensus i fältet om att uppskalning av dagens AI-modeller skulle leda till vare sig AGI [...] eller än mindre till uppkomsten av AI med plötsliga, okontrollerbara förmågor". Jag känner såklart till detta. Vissa forskare anser AGI vara inom nära räckhåll medan andra lutar åt motsatt slutsats. Inte heller jag känner mig tillnärmelsevis säker i denna fråga, och inget i min argumentation för att ta existentiell AI-risk på allvar bygger på någon tvärsäkerhet om vad som kommer att hända. Men till skillnad från Berglund et al menar jag att en sådan brist på konsensus ger anledning till ödmjukhet och försiktighet snarare än till slutsatsen att risken är noll.

Ad hominem

"Jag är AI-forskare, jag har god teknisk kunskap", kände sig Moa Johansson manad att framhålla i onsdagens radiodebatt, och i dagens Ny Teknik-artikel återkommer hon och hennes medförfattare med viss pompa till hur kompetenta de minsann är. Men medan Johansson i radioinslaget stannade vi det och lät påståendet att jag saknar denna kompetens förbli underförstått, så går de i artikeln vidare och hävdar att "Häggström följer [...] inte den tekniska litteraturen" inom AI. Även om vi för resonemanget skull antog att påståendet är sant, så uppstår frågan: hur tusan vet de vilken litteratur jag följer eller inte följer? Det här är rent hittepå från Berglund et als sida.

Vart vill de då komma med detta? Jo, de ansluter sig till medförfattaren Devdatt Dubhashis uppfattning att den enda kompetens som räknas inom AI är den där man "bidrar aktivt till den tekniska AI-utvecklingen". Dubhashi har i snart tio år kampanjat (till en början i direkt konfrontation med mig, men på senare år mestadels bakom min rygg) för att jag bör hålla truten eller i annat fall inte lyssnas på eller erbjudas diverse plattformar, med hänvisning till att jag inte uppfyller hans ytterst specifika krav på vad som är verklig AI-kompetens. Kompetens inom områden som AI-risk och AI-futurologi räknas inte - faktiskt inte ens i diskussioner som (likt denna) handlar om just dessa områden.

Förlåt min franska, men jag finner det direkt fåraktigt av Berglund et al att driva denna argumentation, och det av två skäl. För det första är den analog med den (förhoppningvis uppenbart!) flänga idén att man i diskussioner om låt oss säga jordbrukets framtid skulle behöva vara bonde för att förtjäna att tas på allvar. För det andra är den linje jag här driver i stora drag densamma som den Geoffrey Hinton förfäktar, så för att Berglund et als ad hominem-attack skall fungera så behöver de påvisa att inte heller Hinton "bidrar aktivt till den tekniska AI-utvecklingen". Nog för att Berglund et al hävdat många konstiga saker, men en fullt så flagrant felaktighet tror jag inte att de vill försvara.

Nåväl, gör då inte jag mig skyldig till motsvarande ad hominem-argumentation då jag i min Ny Teknik-replik kommenterar en dumhet i Berglund et als ursprungsartikel med att "allt de därmed påvisar är den egna okunnigheten om AI-risklitteraturen"? Nej, jag tycker inte det, eftersom det jag skriver uppenbart är tänkt inte som en kommentar om dem som personer, utan om felen i deras artikel. Nu påstår de att "i motsats till vad Häggström tror är vi bekanta även med [AI-risk-litteraturen]". Jaha minsann. Hur skall man då förklara att Johansson i radioinslaget upprepade gånger ger uttryck för föreställningen att AI-risk-litteraturen kopplar existentiell AI-risk till fenomenet medvetande, eller att de i sin ursprungsartikel för ett resonemang som förbiser "bida sin tid"-fenomenet (se ovan), eller deras ständiga påståenden om att denna litteratur är fri från empiri? Jag trodde faktiskt att jag gav dem the benefit of the doubt genom antagandet att dessa exempel bottnade i bristande bekantskap med litteraturen ifråga, men om vi skall ta på allvar deras insisterande på att de faktiskt besitter denna bekantskap, då blir slutsatsen istället att de låtsas okunniga för att lättare kunna göra sina retoriska poänger. Eller med andra ord, de narras!

Skrämselpropaganda

Redan 2023 anklagade Dubhashi och Johansson (i en lite annan författarkonstellation) mig för "skrämselpropaganda", ett ord som återkommer i båda deras nu aktuella Ny Teknik-artiklar. I den sista av dessa varierar de också sitt språkbruk en smula och talar även om "alarmism".

Very well. Den situation vi (mänskligheten) befinner oss i med anledning av den framrusande AI-utvecklingen är ohyggligt skrämmande. Om det räknas som "skrämselpropaganda" att tala klarspråk om detta - må så vara. Vad Berglund et al dock bör vara medvetna om är att de med den sortens okvädningsord bidrar till ett samtalsklimat där det blir svårare för forskare som tycker sig se stora samhällsfaror på något område att slå larm.

Sammanfattning

Diskussionen i Berglunds et al ursprungsartikel den 14 augusti var på en nivå som jag inte tycker borde anstå universitetsforskare, och den blev knappast särskilt mycket bättre i dagens slutreplik. I min replik den 15 augusti avslutade jag med en släng om hur genant det var att arbeta vid samma lärosäte som en grupp forskare som tillåter sig denna nivå. Det står jag fast vid, men det är egentligen inte det som är det riktigt allvarliga. Det riktigt allvarliga är att de genom sin desinformtionskampanj försvårar uppkomsten av den breda och samtidigt rationella och faktabaserade publika diskussion om AI-risk som vi så väl behöver om vi skall kunna sätta stopp för den extremt farliga utveckling som nu pågår.

Fotnot

1) Kyrkflytten färdigställdes igår, och deras text verkar vara författad dessförinnan.

Tillägg 27 augusti 2025:

Igår, den 26 augusti, fich jag möta Moa Johansson ännu en gång, denna gång i SVT:s Aktuellt (med start ca 22:40 in i sändningen). Jag kan inte tänka mig annat än att hon som en del av sina förberedelser läst denna bloggpost, men hennes inlärningskurva² förefaller dessvärre ganska platt, då hon i sändningen upprepade såväl sitt svepande och felaktiga påstående om bristen på empiri inom AI-riskforskningen som det bisarra argument jag diskuterar i avsnittet Bida sin tid ovan.

Chalmersandan!

Fotnot tillagd den 24 september 2025

2) Det har kommit till min kännedom att det i interna Chalmersdiskussioner förekommit illvilliga tolkningar som går ut på att mitt tal om "inlärningskurva" skulle vara en antydan om att Moa Johansson är ointelligent. Detta vill jag å det bestämdaste tillbakavisa.

Jag anser inte att Moa Johansson är ointelligent, och skulle aldrig komma på tanken att kalla henne det. Att kalla en Chalmerskollega ointelligent vore inte bara tölpaktigt och dålig ton, utan vore i detta fall rent ut sagt dumt: Min linje gentemot de fyra Chalmerskollegorna i den aktuella debatten har konsekvent varit att peka på hur intellektuellt ohederligt de debatterar, och att klandra dem för detta. Ohederlighet har inget med ointelligens att göra, så att mitt i den debtten plötsligt anklaga någon av dem för ointelligens vore en irrelevant och föga ändamålsenlig avvikelse från ämnet. Och det har jag mycket riktigt inte gjort.

Intrycket att en "inlärningskurva förefaller [...] ganska platt" (för att nu citera vad jag skriver ovan) kan uppstå på flera olika sätt, varav två är (a) att personen vars inlärningskurva det handlar om är ointelligent, och (b) att den nya kunskap det handlar om av något skäl är obekväm för personen ifråga, som därför inte låtsas om den. Att någon av de fyra kollegorna, eller någon av deras fans, vill framställa mig i så negativ dager som möjligt och därför väljer tolkning (a) är måhända inget att förvåna sig över. Men ingen som på allvar skärskådar den aktuella passagen, och zoomar ut lite och tar in kontexten, kan rimligtvis missa att det givetvis är (b) jag avser. Och om jag nu skall vara övertydlig och explicit skriva ut allt som står mellan raderna där, så blir det ungefär

Moa Johansson uppvisar med sina SVT-uttalanden en platt inlärningskurva. Vad kan det bero på? Det kan knappast handla om ointelligens - hon är ju trots allt docent i datavetenskap vid ett av Sveriges ledande lärosäten - så uppenbarligen beror plattheten på att hon inte vill låtsas om den nya kunskapen att hennes argument från Ny Teknik visat sig vara felaktiga.

Ett lite kortare sätt att uttrycka samma sak och som inte heller tillskriver henne ointelligens vore att säga "Spela inte dum!". 

Oenighet bland Chalmersforskare om AI-risk

För den som följt denna blogg noggrant i några år kommer förekomsten av djupa oenigheter mellan olika Chalmersforskare i frågor som rör AI-risk knappast som någon överraskning, men nu har de nått offentligheten igen. Lite förenklat kan det sägas föreligga två falanger, där den ena hävdar antingen att existentiella AI-risker (alltså sådana som handlar om eller är i nivå med utrotning av mänskligheten) är ett hjärnspöke eller att de av andra skäl bör förtigas, medan den andra (vilken jag tillhör) menar att dessa risker behöver tas på stort allvar, jämte de mer jordnära AI-risker som rör bias, deepfakes, havererande examination av studenter, etc. Det som nu hänt är att fyra företrädare för det första falangen skrivit en debattartikel med rubriken GPT-5 utplånade inte mänskligheten – dags att fokusera på verkliga risker och fått den publicerad i Ny Teknik i torsdags, den 14 augusti 2025. Artikeln är påfallande illa argumenterad - så till den grad att läsare lätt kan få intrycket att förmågan till strukturerat och logiskt tänkande inte är något krav för en forskartjänst på Chalmers - och för den som värnar om lärosätets goda rykte kan detta eventuellt ses som skäl till att ignorera den i hopp om att den skall tigas ihjäl.

En sådan taktik är dock vanligtvis inte min melodi, och jag finner frågor om AI-risk oerhört viktiga och är angelägen om att reda ut missförstånd och missuppfattningar på detta område. Dessutom råkar det vara så att de fyra artikelförfattarna - Henrik Berglund, Devdatt Dubhashi, Moa Johansson och Sandro Stucki - formuerar sitt debattinlägg som ett svar på en text jag skrev i samma tidning den 24 mars 2023 (alltså för nära två och ett halvt år sedan!), och att tidningsredaktionen omedelbart efter publiceringen bjöd in mig att skriva replik. Detta resulterade i en text som publicerades dagen efter (alltså igår) med rubriken Oansvarigt om AI-risker av de fyra Chalmerskollegerna, i vilken jag på ett förödande (om än inte uttömmande) vis pekar ut några av bristerna i Berglunds et al argumentation. Vi får se om detta blir sista ordet, men jag har en föraning om att så inte är fallet. Så här börjar mitt inlägg:

Serietecknaren Zach Wienersmith ritade för några år sedan en teckning där man ser silhuetterna av två individer som diskuterar så kallad superintelligens. Den ena oroar sig för att en sådan varelse skulle kunna ta över världen, medan den andra avfärdar sådana tankar som paranoia. I nästa serieruta ser vi att de två individerna är apor, och att entiteten de talar om är en stenåldersmänniska.

Det är naturligtvis en allegori för AI-utvecklingen. Ända sedan 1950-talet har AI-forskningen haft som vision att så småningom skapa övermänskligt kapabel AI. Lika långt tillbaka går varningarna för att mänskligheten om detta lyckas kan komma att förlora kontrollen. Alan Turing framhöll det i ett känt uttalande från 1951, och bland de många nutida experter som varnar för att det i värsta fall kan leda till slutet för Homo sapiens finns världens tre mest citerade AI-forskare Yoshua Bengio, Geoffrey Hinton och Ilya Sutskever, varav Hinton som bekant förra året belönades med Nobelpriset för att ha lagt en stor del av grunden till dagens rasande snabba AI-utveckling.

Länge framstod superintelligent AI som något ganska avlägset, men vi står nu på randen till ett skifte i AI-utvecklingen där de skickligaste AI-utvecklarna inte längre är människor av kött och blod utan AI-systemen själva. Detta medför ett slags turbofeedback i utvecklingen som kan få den att skena bortom all kontroll, och det är till stor del denna mekanism som får ledande experter att varna för att livsfarlig superintelligens kan bli en realitet redan före 2030.

Likt den andra apan i Wienersmiths teckning vill Henrik Berglund och tre andra Chalmersforskare i Ny Teknik den 14 augusti vifta undan den sortens varningsord. De uppmanar till att ”spekulera lite mindre” och att fokusera helt på de mer jordnära risker som redan existerande AI-system ger upphov till. Det finns naturligtvis gott om sådana problem vi bör hantera – deepfakes, maktkoncentration, med mera – men vad Berglund och hans medförfattare inte tycks inse är att deras förslag att ignorera de mer avancerade risker som framtida AI kan medföra i sig bygger på en tämligen avancerad spekulation, nämligen att AI-utvecklingen inom några månader skall komma att avstanna helt. Och visst, i princip skulle det kunna bli så, men att ta det för givet är oansvarigt på en nivå som riskerar mänsklighetens överlevnad.

Läs gärna fortsättningen här!

With great power comes great responsibility

As I've argued at length elsewhere (and nowhere at greater length than in my latest book), what is currently going on at the leading AI companies in Silicon Valley and San Francisco is likely to have stupendous influence on our lives and the entire future of humanity. Their ambitions for the intended transformation of society are on a stratospheric and hitherto unmatched level, but so are the risks. With great power comes great responsibility, yet they are proceeding at reckless speed, and they have not asked us for permission to risk our lives. It is hardly an exaggeration to call their behavior a unilateral moral trespass against humanity.

I expand on this matter in my brand-new manuscript Advanced AI and the ethics of risking everything, which also serves as a complement to my latest blog post, on OpenAI's CEO Sam Altman, in which I express my opinion about his behavior in just a few crisp swear words. In the new text I elaborate more extensively and with somewhat more polished language. Here is how it begins:

Imagine sitting in the back seat of a taxi with your two closest family members. As you approach the bridge across the canal, you notice that a ship is waiting to pass and that the bridge has slowly begun to lift. The driver, visibly annoyed by the delay, turns to you and your loved ones and asks “Shall we try and jump it?”. You quickly calculate that doing so would save five minutes, at the cost of a 1% probability of a crash that kills everyone in the car. Do you give the driver your permission?

In a Hollywood movie, you would probably say yes. But this is real life and you are not insane, so of course you politely decline the driver’s reckless suggestion.

Next consider Sam Altman, CEO of OpenAI, facing the decision of whether to release the newly developed GPT-5. (There’s a good chance that when this reaches the reader, release of GPT-5 has already happened, but at the time of writing, in August 2025, it is still a hypothetical future event.)

Read the rest of my manuscript here!

On Sam Altman

Sam Altman is CEO of OpenAI, and in that capacity he qualifies easily on my top ten list of the world's most influential people today. So when a biography of him is published, it does make some sense to read it. But Keach Hagey's The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future turned out to be a disappointment.¹ One of the things I want most from a biography, regardless of whether it is about someone I admire or someone I consider morally corrupt, is a window into the subject's inner world that allows me (at least to some extent) to understand and to empathize with them. The Optimist does not achieve this, because even though the main focus of every chapter of the book is Altman, he remains an opaque and distant character throughout. I am uncertain about whether this opacity is a personality trait of Altman (despite his often powerful and spellbinding stage performances) or a shortcoming of the book. What perhaps speaks for the latter interpretation is that all the supporting characters of the book come across as equally distant.

Overall, I found the book boring. Altman's childhood and adolescence is given only a very cursory treatment, and the description of his adventures with his first startup Loopt is equally shallow but filled with Silicon Valley and venture capital jargon. Especially boring is how, about a dozen times, the author starts a kind of one-page mini-biography of some supporting character, beginning with their place of birth and parents' occupation, etc, but one is never rewarded with any insights to which this background information comes across as particularly relevant. Somewhat more attuned to my interest are the later chapters of the book, about OpenAI, but to those of us who have been following the AI scene closely in recent years, there is very little in the direction of new revelations.

One aspect of Altman's personality and inner world that strikes me as especially important to understand (but to which the book does not have much to offer) is his view of AI existential risk. Up until "the blip" in November 2023, it seemed that Altman was fairly open about the risk that the technology he was developing might spell doom - ranging from his pre-OpenAI statement that "AI will probably most likely lead to the end of the world, but in the meantime there will be great companies created" to his repeated statements in 2023 about the possibility of "lights out for all of us" and his signing of the CAIS open letter on extinction risk the same year. But after that, he became suddenly very quiet about that aspect of AI. Why is that? Did he come across some new evidence suggesting we are fine when it comes to AI safety, or did he just realize it might be bad for business to speak about how one's product might kill everyone? We deserve to know, but remain in the dark about this.

In fact, Altman still leaks the occasional utterance suggesting he remains concerned. On July 22 this year, he tweeted this:

woke up early on a saturday to have a couple of hours to try using our new model for a little coding project.

done in 5 minutes. it is very, very good.

not sure how i feel about it...

To which I replied, on a different social media platform:²

Sam Altman, you creep, excuse my French but could you shut the f*** up? Or to state this a bit more clearly: if you feel conflicted because your next machine might do damage to the world, the right way is not to be a crybaby and treat your four million Twitter followers and all the rest of us as if we were your private therapist; the right way is to NOT BUILD THAT GODDAMN MACHINE!

That is, in a sense, worse language than I usually employ, but in this case I consider it warranted.

Footnotes

1) Another Altman biography, Karen Hao's Empire of AI, was published this spring, almost simultaneously with Hagey's. So perhaps that one is better? Could be, but Shakeel Hashim, who has read both books, actually likes The Optimist better than Empire of AI, and a lot better than I did.

2) In late 2023 I left Twitter in disgust over how its CEO was using it.

Om de kommande 25 åren

Är det troligt att AI-utvecklingen kommer av sig och att perioden fram till 2050 kommer att präglas av stagnation? Karim Jebari svarar ja i sin artikel Minns ni millennieskiftet? Snart är det 2050 i DN i onsdags. Den är läsvärd, om än inte övertygande i dess centrala budskap, så jag lät mig provoceras att skicka in en replik till DN, som dock har avböjt publicering. Refuseringsbrevet åtföljdes inte av någon närmare motivering än ”dessvärre”, varför fältet ligger fritt för spekulationer om huruvida redaktionen anser att förhindrandet av en AI-apokalyps är en preifer och oviktig fråga, eller helt enkelt att min text är illa skriven. Döm själva, här är min replik:

Dags att ta AI på allvar

En förkrossande majoritet av alla framtidsanalyser man idag finner i dagspress och på annat håll verkar – oavsett om de handlar om klimatförändringar, demografi, geopolitik, ekonomisk tillväxt eller andra samhällsaspekter – vila på ett och samma outtalade men ganska djärva antagande. Den närmast totala frånvaron av AI i de scenarier som diskuteras kan nämligen bara förstås som att man tar för givet att AI-utvecklingen inom mycket kort kommer att plana ut, och att inte heller den AI som redan finns kommer att få några genomgripande samhällskonsekvenser.

Skälet till att jag kallar antagandet djärvt är att vi idag, 2025, befinner oss i en skenande AI-utveckling där vi står på tröskeln till ett nytt skede där denna utveckling inte främst drivs av AI-forskare av kött och blod, utan av AI-systemen själva. Inom något år eller två kan dessa system väntas överträffa även de vassaste mänskliga mjukvaruutvecklarna och AI-forskarna, något som i så fall skapar ett slags turbofeedback som kan komma att accelerera utvecklingen ytterligare. Eventuellt kan det hela komma att kulminera i det som visionärer på området kallat intelligensexplosion eller singularitet, där AI uppnår så kallad superintelligens, långt bortom mänskliga nivåer. Såväl företrädare för ledande AI-bolag inklusive OpenAI och Anthropic som mer oberoende experter talar alltmer om detta som något som kan komma att realiseras under innevarande årtionde, alltså före 2030.

Inget av detta är ristat i sten, och teknisk utveckling är notoriskt svår att prognosticera, men jag menar att sådana scenarier behöver tas på största allvar. Ändå ignoreras de helt i den bredare framtidsdiskurs jag pekade på i inledningen. Även min framtidsforskarkollega Karim Jebari (DN 9/7 2025) tror mer på stagnation än på singularitet, men jämfört med nämnda diskurs har hans framställning en stor fördel: antagandet tydliggörs explicit. Därmed kan det både kritiseras och försvaras, istället för att bara tas för givet. Jebari försvarar sitt stagnationsscenario med ett antal faktorer som han tror kan bromsa AI-driven tillväxt. Han talar bland annat om en åldrande befolkning, om behovet av att hantera klimatförändringar, och om de praktiska svårigheterna med att implementera AI-lösningar i samhälle och industri. Allt detta är beaktansvärda aspekter, men min bedömning är att om väl turbon i AI:s självförbättringsspiral kommer i gång på allvar så blir deras bromsande inverkan marginell.

En annan dygd Jebari uppvisar i sin text (utöver tydliggörandet av antaganden) är att han inte tvärsäkert slår fast sina prognoser utan uppvisar intellektuell ödmjukhet. Kanske det stora AI-genombrottet – det han kallar ”en andra digital revolution” – trots allt blir av? Men när han föreslår att dess påverkan på samhället och våra liv under perioden 2025-2050 i så fall kan väntas bli i nivå med förändringarna under tillväxtperioden 1945-1970 tyder det på att han trots allt inte på allvar förmår föreställa sig effekterna av superintelligent AI. Ta bara en sådan sak som att vi med en sådan hamnar i ett läge där allt mänskligt arbete onödiggörs, något som torde medföra samhällsförändringar ojämförligt större än dem vi sett under efterkrigstiden.

Och kommer mänskligheten att i närvaro av en ännu intelligentare art alls att kunna behålla kontrollen? Denna ödesmättade fråga lyfte fysikpristagaren Geoffrey Hinton – ofta beskriven som AI-utvecklingens ”gudfader” – i sitt tal på Nobelbanketten 2024, och varken de ledande AI-bolagen eller någon annan har idag några säkra svar på hur mänsklig kontroll skall kunna säkerställas.

De flesta medborgare är ännu omedvetna om de enorma risker som den pågående AI-kapplöpningen medför: ett slags rysk roulette med hela vår fortsatta existens i potten. Många skulle nog hävda att riskerna är oacceptabla, men för att protestera behöver man först och främst känna till dem. Det är därför en viktig demokratifråga att våra framtidsdiskussioner blir bättra på att lyfta den avgörande roll AI-tekniken kan komma att få.

Pro tip on discussions about AI xrisk: don't get sidetracked

In my experience, a quite frequent dynamic in discussions about existential risk (xrisk) from AI is that my conversation partner remains skeptic about the reality of such risk, but before that issue has been even the slightest bit resolved they propose to change the subject to some neighboring topic, such as one of the following.

• But if (for the sake of argument) the risk is actually real, is there anything at all we can do about it?
• But doesn't this whole xrisk issue just distract from more pressing near-term AI risks which we ought to discuss instead?
• But evolution moves on, so what's the big deal anyway if humanity is replaced by some superior new kind of beings?

In all three cases, my recommendation (based on years of experience from having these discussions) is to avoid getting sidetracked and to insist on getting clear on the is-AI-xrisk-a-real-thing issue before moving on, and I will explain why. The explanations will be a bit different in the three cases, so I'm not sure how well my advise generalizes to other change-of-topic proposals, and I can in fact easily think of other more benign such proposals where I would happily oblige, such as "OK, let's agree to disagree, but how about if we go grab a beer and discuss [X]", where X could be anything ranging from tonight's football game to the scandal of Douglas Adams never having been rewarded the Nobel Prize in literature. On to the three cases:

But is there anything we can do?

I think the question of what we can do to mitigate or entirely avoid AI xrisk is very important and very difficult, and I am super happy to discuss it, provided my discussion partner is on board with the idea that the risk may be real. If he or she is not, I will politely decline to discuss this topic, because from their point of view there is no real problem to be solved, and if I agree to discuss it anyway their contribution to the discussion therefore tends not to be very constructive. When we enter the realm of AI governance (as it nowadays tends to do fairly quickly, because as opposed to just 4-5 years ago I no longer believe that technical AI alignment on its own has much chance of saving us from AI catastrophe without assistance from politics and legislation), they will bombard me with questions such as "What about China?", "What about Trump?", "What about the relentless market forces?", and so on. These are all valid questions, but as the deck is currently stacked they are also extremely difficult, to the extent that even a moderately clever discussion partner who is not interested in actually solving the problem but merely in playing devil's advocate is likely to win the argument and triumphantly conclude that I have no clear and feasible plan for avoiding catastrophe, so why am I wasting people's time by going on and on abut AI xrisk?

And here's the thing. Many of those who play the devil's advocate in this way will be aiming for exactly that turn of the conversation, and will implicitly and possibly unconsciously believe that at that point, they have arrived at a reduction ad absurdum where the assumption that AI xrisk is real has been shown to be absurd and therefore false. But the reasoning leading to this reductio doesn't work, because it relies on (something like) the assumption that the universe is a sufficiently benign place to not put humanity in a situation where we are utterly doomed. Although this assumption is central to various Christian thinkers, it is in fact unwarranted, a horrible realization which is core to the so-called Deep Atheism of Eliezer Yudkowsky, further elaborated in recent work by Joe Carlsmith.

To reiterate, I do think that the AI governance questions on how to stop actors from building an apocalyptically dangerous AI are important, and I am very interested in discussing them. They are also difficult - difficult enough that I don't know of any path forward that will clearly work, yet we have far from exhausted all such possibilities, so the challenges cannot at this stage be dismissed as impossible. I want to explore potential ways forward in intellectual exchanges, but am only prepared to do it with someone who actually wants to help, because the field is so full of real difficulties of which we who work in it are so highly aware that our primary need is not for additional devil's advocates to repeat these difficulties to us. Our primary need is for the discussions to be serious and constructive, and for that we need discussion partners who take seriously the possibility of AI xrisk being real.

But distraction?

So what about the suggestion to put the AI xrisk issue aside, on account of it just being a distraction from more pressing concerns coming out of present-day AI systems? These are concerns about things like AI bias, copyright issues, deepfakes and the AI-driven poisoning of our epstemic infrastructure. I have two problems with this suggestion.

The first is terminological. Calling those kinds of more down-to-Earth AI issues "near-term", in contrast to AI xrisk which is called "long-term", may have had some logic to it in the bygone era of the 2010s when most of us working on AI xrisk thought the crucial events such as an intelligence explosion and/or the extinction of humanity were at least decades away. Now that there seems to be a very serious possibility that these may happen within the next five years or so (see, e.g., Daniel Kokotajlo et al's seminal AI 2027), insisting on this near-term vs long-term terminology has become highly misleading. My near-term survival may well depend on preventing an existential AI catastrophe!

My second problem with the change-of-topic suggestion is more substantial, and lies in whether the term "just" (as in "AI xrisk is just a distraction") is justified. Well, I claim that in order to judge that, we need to work out whether or not AI xrisk is a real thing. If it is not a real thing, then of course discussing it is just a distraction from more pressing real-world issues, and we should switch topics, whereas if it is a real thing, then of course it is a topic that warrants discussion, and not "just a distraction". Hence, to judge the case for changing topics on account of AI xrisk being "just a distraction", we have no choice but to continue discussing AI xrisk until we have reached a verdict on whether or not it is a real thing. As long as we disagree about that the suggested change of topic is premature.

To avoid any misunderstanding here, let me emphasize that I think many down-to-Earth problems with present-day AI are important to discuss. But there are plenty of times and places to do so, in parallell with discussions elsewhere on AI xrisk. There really isn't any need to abort the few discussions taking place about AI xrisk to leave room for those other AI discussions. See my paper On the troubled relation between AI ethics and AI safety for more on this.

But evolution?

So what about the question of whether humanity being replaced by a society of advanced AIs is a good thing or a bad thing? This is an interesting and serious philosophical question, involving whether to employ an ethics that is from the point of view of humanity, or a more objective one that is more from the point of view of the universe. There are surprisingly many thinkers within the AI sphere, including names like Larry Page, Robin Hanson, Hugo de Garis and Richard Sutton, who claim it is not a bad thing at all; see, e.g., this tweet by Andres Critch and Section 7 of my paper Our AI future and the need to stop the bear. And yes, I am happy to discuss it. But not with someone who is not yet on board with AI xrisk being a real thing, because to them the issue is merely theoretical, making them less capable of seeing the seriousness of the matter and of feeling the moral force of wanting to prevent the omnicidal murder by AIs of you and me and all our loved ones along with the remaining eight billion humans. If I agree to the proposed change of discussion topic, I run the risk of assisting my discussion partner, who was perhaps originally just driven by a lust for philosophical sophistication or contrarianness, in painting themselves into a philosophical corner, making it more difficult for them to wake up to the horror of omnicide once we get to the point where they realize it may actually happen.

Concluding remarks

Every discussion context is unique, and most of them are challenging in their own ways. In particular, standing on stage during a Q&A session with a room full of skeptics is usually more challenging than a one-on-one. I therefore fully expect to sometimes be sidetracked in future discussions in precisely the directions that I above recommend avoiding, and the same thing might well happen to the reader. But even when that happens, I believe having thought through the meta-concerns I raise above may be beneficial for the continued discussion.

Explaining AI xrisk convincingly to skeptics is not an easy thing to do, even of one's basic reasoning on the matter is correct. One reason for this is that people have such wildly varying intuitions on this topic, and tend to get hung up on very different issues - or in Liron Shapira's colorful language, there are many "stops where you could get off the Doom Train". Consequently, there are many different places where the conversation can go astray. Ideally it would be good to have a handbook, cataloguing all of them along with instructions on how to avoid or escape these traps, but for the time being we'll have to make do with more scattered and less systematic treatments of some of these traps, which is the kind of thing I try to do in this blog post.

If the reader aspires to become a better communicator of AI xrisk ideas, what can he or she do? I think this is very much a case where mastery comes with practice. It may take a long time, and after nearly 15 years of such practice I am still working on it. Along with that, it also helps to listen to masters like Rob Miles and the aforementioned Liron Shapira, and to read some modern classics such as the exemplary synthesis The Compendium by Connor Leahy and coauthors.