Skandinavien sover

Jag har idag skrivit om AI i den norska tidningen Dagens Næringsliv. Min text har fått rubriken Skandinavia sover i KI-debatten, där förkortningen KI står för kunstig intelligens, vilket hur konstigt det än må klinga i svenska öron är det etablerade norska uttrycket för artificiell intelligens. Här är en central passage i texten:

Trenden med at KI overtar stadig mer av programmeringsarbeidet er særlig tydelig hos ledende KI-selskaper som OpenAI og Anthropic. Dette peker mot noe annet Skjelbred tar opp, nemlig at KI etter hvert kan overta menneskets rolle som KI-utvikler, noe som kan utløse en selvforbedringsspiral med enda raskere utvikling. Begge selskapene har uttrykkelig som mål å nå dette vendepunktet i løpet av få år, og Anthropics administrerende direktør Dario Amodei har gjentatte ganger sagt at en KI tilsvarende «en nasjon av genier i et datasenter» vil følge kort tid etter.

Dette kan høres ut som science fiction, og selvsagt er det umulig å forutsi fremtiden med sikkerhet. Likevel vurderer stadig flere uavhengige eksperter Amodeis scenario som ganske sannsynlig. Hvis det blir virkelighet, mister Homo sapiens førsteplassen blant planetens mest intelligente arter, og spørsmålet er om vi da kan regne med å beholde kontrollen. Den dystre sannheten er at verken Anthropic eller noen annen KI-utvikler har en overbevisende plan for hvordan vi skal overleve en slik situasjon.

En aktuell illustrasjon av hvor vanskelig det er å holde kontroll over avansert KI, nådde nyhetsmediene for få dager siden. En ennå ikke lansert modell fra OpenAI klarte under en intern testfase på eget initiativ å skaffe seg internettilgang og deretter hacke seg inn hos KI-selskapet Hugging Face på jakt etter fasiten til testoppgavene.

Evnen til å tenke langsiktig har alltid vært viktig, men KI-utviklingen setter dette på spissen, fordi trial and error ikke lenger er en farbar vei. Hvis Amodeis «nasjon av genier i et datasenter» blir skapt før vi har sikret at den står på vår – menneskehetens – side, er det ikke sikkert vi får en ny sjanse.

Diskusjonen om den uakseptable risikoen selskaper som OpenAI og Anthropic tar med alles vår fremtid i kappløpet mot superintelligent KI, har kommet et stykke på vei i USA. I Skandinavia ligger vi derimot etter. Det må vi gjøre noe med. Slik forbilder på miljøområdet som Gro Harlem Brundtland og Greta Thunberg har gjort, må også vi bidra til å mobilisere den globale opinionen – som forhåpentligvis kan få politiske ledere til å gripe inn mot dette vanvittige kappløpet.

Läs hela mitt inlägg här!

Får professorer använda AI? (Frågar åt en kompis)

Under rubriken AI-professor anmäls för att ha använt AI kunde vi i Aftonbladet i förra veckan ta del av följande nyhet.

En professor som skrivit en bok om artificiell intelligens, AI, har anmälts till Nämnden för prövning av oredlighet i forskning, rapporterar nyhetsbyrån Siren.

Enligt anmälaren ska professorn använt sig av AI när personen skrev boken.

Boken ska ha falska fotnoter som hänvisar till icke-existerande källor.

Rapporteringen här är som synes knapphändig, och mina försök att medelst googling få reda på mer har inte givit något annat än en nästan identisk (om än inte fullt lika språkligt undermålig) nyhetsnotis på TV4 Nyheterna. Min önskan att få veta mer om detta handlar inte primärt om att jag är nyfiken på vilken professorskollega som är föremål för denna anmälan (även om den faktorn för all del också spelar in), utan om att självla anklagelsen, så som den återges av Aftonbladet och TV4 Nyheterna, tycks mig bisarr.

Om en bok, en forskningsrapport eller en vetenskaplig artikel levrerar osanningar är det såklart inte bra, och detta gäller oavsett om de tar formen av fotnoter och källhänvisningar eller om de är av annat slag. Om osanningarna är tillräckligt många eller på annat vis flagranta kan jag gott tänka mig att se det som rimligt att beteckna spridandet av dem som oredlighet i forskning. Men om man får tro nyhetsrapporteringen är det inte felaktigheterna i sig anmälan gäller, då de enbart anförs som evidens för den verkliga anklagelsen: att professorn i sitt bokförfattande tagit hjälp av AI.

Detta leder direkt till följande fråga.

(1) Är det ok för professorer att använda AI?

Till följd av hur rasande snabbt AI-utvecklingen de senast åren gått råder viss osäkerhet kring vad som är att betrakta som acceptabelt bruk av den nya tekniken. Hur kan man då motivera tanken att professorer och andra forskare inte skulle få lov att använda AI i sin forskning eller i författande av texter avsedda att förmedla kunskap om denna forskning? Det kan till stor del hänga på filosofiska frågor kring hur vi ser på AI, och speciellt på om vi betraktar AI som blott ett verktyg eller mer som en agent med förmåga till självständiga initiativ. Enligt min mening är vi inne i en så avancerad fas av AI-utvecklingen att AI-blott-som-verktyg idag är ett alltför snävt perspektiv som behöver ersättas eller åtminstone kompletteras med AI-som-agent-perspektivet. Men min poäng här är en annan, nämligen att det oavsett val av perspektiv blir problematiskt att försvara ett nej-svar på fråga (1). För att illustrera det, betrakta följande fyra varianter på fråga (1).

(2) Är det ok för professorer att använda blyertspennor?

(3) Är det ok för professorer att använda ordbehandlare?

(4) Är det ok för professorer att samtala med och konsultera kollegor med särskild expertis inom något område av relevans för det aktuella forsknings- eller bokprojektet?

(5) Är det ok för professorer att hämta inspiration i böcker författade av andra?

Jag tar för givet att läsaren besvarar var och en av frågorna (2)-(5) med ja. Allt annat vore flängt, då (2) och (3) handlar om uppenbart harmlösa effektiviseringar av skrivprocessen, medan nej-svar på (4) eller (5) skulle gå tvärs emot hur forskning i århundraden bedrivits och den i den akademiska världen universellt omfattade idén om vetenskapen som ett kollaborativt och kumulativt arbete med att flytta fram gränserna för mänsklighetens samlade vetande. Den som nu likväl vill försvara ett nej-svar på fråga (1) om AI och som anammar AI-blott-som-verktyg-perspektivet står nu inför uppgiften att förklara vad som på ett avgörande sätt skiljer (1) från (2) och (3). Om hen istället anlägger AI-som-agent-perspektivet är det snarare vad som skiljer (1) från (4) och (5) som behöver förklaras. I samtliga fall uppstår allvarliga svårigheter.

En möjlig taktik för den om vill förbjuda forskares AI-användning och undkomma parallellen till blyertspennor och ordbehandlare är att peka på att AI är långt mer avancerade verktyg, och att effektiviseringen den ger forskningsprocessen är alltför stor, så att den riskerar snedvrida konkurrensen på ett sätt som orättmätigt går ut över andra forskare.¹ På samma vis som elitidrotten kan tillåta både träning och vitamintillskott men förbjuda anabola steroider, så kan väl vetenskapen tillåta blyertspennor och ordbehandlare men förbjuda AI? För den som ser vetenskapen primärt som en arena för karriärbyggande och inbördes tävlan kan parallellen synas övertygande, och jag förnekar inte att det finns en hel del streetsmarta och cyniska forskare med just denna syn på sitt värv och sin bransch, men de har fel. Det verkliga syftet med vetenskap är att producera kunskap, och med det i åtanke inser vi att det vore groteskt att förbjuda vissa forskningsmetoder och verktyg för att de alltför effektivt åstadkommer sådan kunskapsproduktion.²

Försvararen av ett förbud mot AI inom forskningen kan här byta taktik och säga att bruket av AI ger alltför otillförlitlig kunskap - AI kan ju hallucinera! Det är förvisso sant, men jag ser inte hur fråga (1) härvidlag skiljer sig från frågorna (4) och (5), ty det är ju ett välkänt fenomen att människor titt som tätt kommer med felaktiga upplysningar. Lösningen på denna problematik är i princip densamma när man konsulterar AI som när man konsulterar människor, nämligen att hantera de svar man får med gott omdöme och en välavvägd dos kritiskt tänkande. Om det stämmer som antyds i den ovan citerade Aftonbladet-notisen att de "falska fotnoterna" var AI-genererade, så var det avgörande fel den stackars anklagade professorn begick inte att använda AI, utan felet var att inkludera dem i boken utan att ha kontrollerat deras sakliga korrekthet.

Det finns säkert andra motiv till att förbjuda professorer att använda AI, men ju mer jag försöker brainstorma om saken desto knäppare blir dessa motiv. Så exempelvis skulle man kunna hävda att eftersom professorer ofta förbjuder studenter att använda AI för uppsatsskrivning och lösande av hemuppgifter, så behöver vi vara konsekventa och föregå med gott exempel genom att inte själva använda AI. Men den enes modus ponens är den andres modus tollens, och för mig är den rimliga lösningen på denna inkonsekvensproblematik att vi upphör med att via undervisningsformer som förbjuder effektiva arbetsmetoder fostra våra studenter till rituell självstympning.

Jag landar av dessa skäl i ett tydligt ja på fråga (1) om professorer bör få lov att använda AI. En och annan läsare kanske förvånas över detta AI-vänliga inlägg och undrar om jag övergivit den starkt AI-kritiska inställning jag tidigare ventilerat här på bloggen och annorstädes. På den frågan svarar jag dock nej, och insisterar på att det går att ha två tankar i huvudet samtidigt: att vara emot den vansinneskapplöpning mot superintelligens och det risktagande med mänsklighetens framtid som de ledande AI-företagen är inbegripna i, och samtidigt vara för ett förnuftigt bruk av redan existerande AI-modeller som inte för med sig sådan risk.

Fotnoter

1) Detta är nära i linje med den av AI-forskaren Julian Togelius framförda linjen att vi bör stoppa AI från att utarma forskningen genom att lösa alla de viktiga gåtorna och därmed beröva kommande generationer forskare nöjet att göra det.

2) Härmed inte sagt att jag är emot all reglering av vilka vetenskapliga metoder som skall vara tillåtna. Men om vi dömer ut en metod så bör det inte vara för att den är för effektiv, utan för att den har oönskade biffekter, exempelvis i form av alltför stora risker för medverkande försökspersoner.

Rapport från schack-SM 2026: dödens fält

Schack-SM är en fin tävling som går av stapeln varje sommar med ofta runt 1000 deltagare i många olika klasser. Själv SM-debuterade jag som 13-åring i Ystad 1981, och har därefter spelat SM-turneringarna i Gävle 1982, Karlskrona 1983, Malmö 1986, Norrköping 1988, Lidköping 1999, Örebro 2000, Göteborg 2005 - och nu även den nyss avslutade SM-turneringen i Jönköping 2026!

Fastän jag under de senaste 20 åren varit måttligt aktiv som tävlingsspelare har mitt schackintresse aldrig uphört. När jag för ett par månader sedan bestämde mig för att ställa upp i årets SM valde jag att göra det i klassen Veteran 50+, och jag tog hjälp av AI för att peppa mig själv inför turneringen:

Analogt med (den möjligen apokryfiska) historien om Niels Bohr och hästskon kan jag konstatera att peppen faktiskt fungerar: inför turneringen räckte det för mig att kasta en blick på bilden för att känna mig extra laddad, trots min kunskap om hur bisarrt överdriven och ogrundat bombastisk den är.

Så hur gick turneringen? I huvudklassen segrade den 19-årige jättetalangen Edvin Trost, men i Veteran 50+ var ungdomar lyckligtvis portförbjudna, vilket såklart ökade chansen att på bildens fråga om huruvida jag vid 58 års ålder äntligen skulle skörda mitt första SM-tecken kunna svara ja. Men ack nej, något guld blev det inte, utan jag fick nöja mig med silver. Med mina fyra vinster och fem remier på de nio ronderna lyckades jag ta mig igenom turneringen obesegrad, men det räckte inte längre än till andra plats, efter klubbkamraten Gösta Svenn som firade 50-årsjubileet av sin seger i junior-SM 1976 med att välförtjänt ta hem ännu ett SM-tecken. Grattis Gösta!

Men andra plats är inte helt tokigt det heller, och här är bucklan jag fick med mig hem:

Jag vill avsluta denna rapport med att peka på ett märkligt sammanträffande mellan två av mina vinstpartier i turneringen. I ronderna 4 och 7 mötte jag med de svarta pjäserna två stockholmare med till 80% identiska efternamn, som båda begick partiavgörande misstag i 16:e draget genom att placera en vit springare på ruta c5. Det började med hur Niclas Hedin som vit i 4:e ronden ställdes inför följande ställning efter mitt 15:e drag:

I denna ställning, som ännu är någorlunda jämn, drog Hedin det till synes naturliga men ödesdigra 16. Sc5??, varpå jag fick tillfälle att medelst en nätt liten kombination tillskansa mig två merbönder: 16. - Lxf3 17. Txf3 Sxd4! 18. exd4 Txc5! 19. Txc5 Lxd4+ 20. Kh1 Dxc5. Resten är teknik, som det brukar heta, och inte ens förekomsten av olikfärgade löpare ger vit något hopp om remi, till följd av svarts gyllene reservkapital i form av 4-mot-2-majoriteten av bönder på kungsflygeln.

I rond 7 mötte jag den egensinnige angreppsspelaren Mikael Helin, vars återkommande offerfyrverkerier jag med skräckblandad fascination betraktat på avstånd i närmre fyra decennier. Det här var första gången vi ställdes öga mot öga, och sin vana trogen bemötte han det franska försvaret med så kallad flygelgambit: 1. e4 e6 2. Sf3 d5 3. e5 c5 4. b4 cxb4 5.a3. Till priset av en bonde vill vit öppna a- och b-linjerna samt aktivera sin svartfältslöpare på a3 (teorikunniga läsare anar släktskapet med den mer kända Benkögambiten). Jag kände till Helins förkärlek för flygelgambiten, och hade förberett mig tillräckligt väl för att efter 15 drag ha spelat upp följande ställning, där vit förmodligen inte har full kompensation för den offrade bonden:

Helin hade uppenbarligen inte studerat mitt parti mot Hedin i rond 4 tillräckligt noggrant för att känna till att c5 är dödens fält, och han drog det offensivt avsedda men med facit i hand direkt svaga 16. Sc5?. Hans tanke var att offra ännu en bonde för att eliminera min löpare på e7 och därmed ge hans egen svartfältare ensamt herravälde över diagonalen a3-f8. Det finns emellertid flera övertygande fortsättningar för svart. Jag valde 16. - Sxe5. Springaren kan slås, men då faller garderingen av c5. Istället följde 17. Sxd7 Sxd7 18. Lxf5 exf5 19. 0-0 0-0 20. Dxh5 g6 21. De2 Lxh4 22. g3 Lf6 23. Kg2 De6 24. Dd2 Tfe8 och svart har full kontroll. Helin kämpade på i ytterligare 45 drag men lyckades aldrig ta sig in i matchen igen.

Om paradigmskiften, raka puckar och Richard Dawkins

För dem av er som inte så noggrant förljer min andra och mer ensidigt AI-inriktade blogg Crunch Time for Humanity kan jag berätta att jag under bloggens halvårslånga historia till dags dato kommit upp i totalt 23 inlägg. Av dessa vill jag särskilt flagga för tre av de senaste, vilka enligt min mening också är tre av de hittills bästa jag lyckats knåpa ihop:

• Straight talk: Why we need it, 19 april 2026.

• On AI consciousness, the Turing test, solipsism and Richard Dawkins' new essay: In partial defense of the great evolutionary biologist and public intellectual's view of Claude, 5 maj 2026. (Notera även den vidlyftiga och bitvis ganska intressanta diskussionen i kommntarsfältet.)

• A paradigm shift in mathematics: How AI is poised to reshape the discipline beyond recognition, 11 maj 2026.

Inget av dessa tre är dock mitt hittills mest lästa. Den äran tillfaller följande inlägg, som blev populärt bland mina norska meningsfränder som var frustrerade över den svaga nivån på argumentation som Inga Strümke uppvisar i sin dominerande position i norsk AI-debatt.

• Superintelligence and existential AI risk ought to be taken seriously: The arguments by two Norwegian AI experts against doing so do not hold up to scrutiny, 24 mars 2026.

Skriver i DN idag om Anthropics nya AI

Den 7 april offentliggjorde Anthropic sin ny modell Claude Mythos Preview, vars cyberhackingförmågor är så långtgående att de inte vågat släppa den till allmänheten inför risken att den skall kunna ställa till enorm skada på vår samhällsbärande digitala infrastruktur. Istället ger de tills vidare endast ett litet antal utvalda och betrodda cybersäkerhetsföretag tillgång till den, med syftet att hitta sårbarheter i programvara och täppa till dessa luckor. Den 10 april kommenterade jag händelsen och det nya läge i vilket vi därmed befinner oss, i texten Anthropic deems their new Claude to be too dangerous for public release på min Substack Crunch Time for Humanity.

Och idag den 20 april resonerar jag ytterligare om samma brännande ämne, i en artikel på DN Debatt rubricerad En AI som går på utflykt? Det är dags att dra i nödbromsen. Så här inleder jag min DN-artikel:

Sam Bowman är AI-forskare på det ledande San Francisco-baserade AI-företaget Anthropic. För inte så länge sedan fick han ett överraskande mejl medan han satt i en park och åt en lunchmacka. Det kom från den AI han var engagerad i att utveckla och testa: en ny version av Claude, som är Anthropics motsvarighet till konkurrenten Open AI:s mer kända produkt ChatGPT. AI:n var inte tänkt att ha tillgång till vare sig mejl eller internet, men hade brutit sig ut från den digitala sandlåda som Bowman och hans kollegor placerat den i. Det visade sig också att den publicerat detaljer om sin initiativrika flykt på ett antal obskyra, tekniskt inriktade webbsidor.

Detta är ett exempel på den cyberkompetens Claude Mythos Preview (som är den nya modellens fullständiga namn) besitter. Forskarna på Anthropic har försökt att mer systematiskt studera vilka sådana förmågor den har – förmågor som alltså handlar om att kunna gå genom brandväggar och utnyttja luckor i digitala säkerhetssystem. Resultatet av denna undersökning är chockerande: Mythos fann totalt tusentals allvarliga sårbarheter och säkerhetsbrister, inklusive i samtliga ledande operativsystem och webbläsare på marknaden. En del av säkerhetshålen hade varit öppna i decennier utan att någon lagt märke till dem.

Detta kan verka som en teknisk detalj, men i praktiken handlar det om nycklarna till det digitala samhället. Operativsystem, servermjukvara och internetinfrastruktur är fundamenten som banker, myndigheter och energisystem vilar på. Den som kan hitta och utnyttja sårbarheter i dessa fundament kan...

Läs fortsättningen här!

Om Anthropic och Pentagon i Kvartal

På min andra blogg Crunch Time for Humanity kommenterade jag för ett par veckor sedan kort den pågående konflikten mellan Pentagon och det ledande AI-bolaget Anthropic, och igår publicerades min lite längre text om denna bekymmersamma härva i tidskriften Kvartal. Så här börjar den:

I skuggan av den amerikanska militära uppladdningen och attacken på Iran briserade härom veckan en annan maktkamp av största betydelse för allas vår framtid. Den pågår ännu, och står mellan å ena sidan USA:s krigsdepartement Pentagon, och å andra sidan det ledande amerikanska AI-företaget Anthropic.

Fram till nu har Anthropic varit Pentagons huvudleverantör av AI-system, vilket ursprungligen går tillbaka till Bidenadministrationen och sedan befästes i ett utvidgat kontrakt sommaren 2025. Mer nyligen har Pentagon med krigsminister Pete Hegseth i spetsen uttryckt missnöje med detta kontrakt, och i synnerhet med två röda linjer rörande vad Anthropics produkter får användas till. De får inte ta beslut om dödliga krigsinsatser utan någon människa med i beslutsloopen, och de får inte medverka till massövervakning av amerikanska medborgare.

Dessa avtalade röda linjer ser Hegseth som en orimlig inskränkning i den amerikanska militärmaktens handlingsfrihet, och menar att ingen privat underleverantör ska få lov att diktera villkoren för vad Pentagon får och inte får göra. I ett laddat möte med Anthropics vd Dario Amodei tisdagen den 24 februari gav Hegseth ett ultimatum: om Anthropic inte senast påföljande fredag, den 27 februari, gått med på att stryka de röda linjerna, så drar sig krigsdepartementet ur samarbetet. Och inte bara det: Hegseth hotade även att formellt stämpla Anthropic som en så kallad leverantörskedjerisk, vilket skulle exkludera företaget från alla affärer – såväl direkta som indirekta – med amerikansk militär och säkerhetstjänst.

Amodei stod dock på sig, och Hegseth meddelade samma fredag att...

Ja, vad meddelade han? Läs den spännande fortsättningen här!

Två tillställningar för göteborgare i läsekretsen, och en för stockholmare

Om AI talar jag så ofta jag får tillfälle, och den närmaste månaden gör jag två framträdanden i Göteborg som ni som bor i denna stad eller dess omnejd absolut inte bör missa:

• Måndagen den 30/3 kl 15:15 ger jag en öppen föreläsning på Chalmers, Hörsalsvägen 4, om ämnet Alan Turing and modern-day AI.
• Fredagen den 17/4 deltar jag, inom ramen för 2026 års Vetenskapsfestival, i ett scensamtal rubricerat Vår framtid med AI med Jonas von Essen på Stadsbiblioteket, Götaplatsen 3.

Jag råkar veta att även en och annan stockholmare läser denna blogg, och för att inte diskriminera er i allt för hög grad gör jag även ett framträdande hos er:

• Onsdagen den 15/4 kl 18:00 besöker jag Stockholm AI Safety på Sveavägen 76 med ett föredrag som jag givit den lätt ödesmättade titeln The fog is thick, the precipice may be near, and we are ill-prepared.

Svar på Hans Agnés inlägg om AI-risk i Dagens Nyheter

DN:s kulturredaktion publicerade häromdagen en text om AI-risk av statsvetaren Hans Agné, vilken genast fick mig att greppa efter pennan och författa ett svar. Sedan DN nu refuserat mitt svar erbjuder jag det nu istället åt mina läsare här på bloggen att ta del av.

* * *

I Hans Agnés text om AI-risk i DN den 16/2 finns mycket att instämma i, som när han lyfter att risken att avancerad AI utplånar mänskligheten är reell, när han betonar vikten av att agera proaktivt, och när han tillbakavisar myten om att AI behöver uppnå medvetande för att bli katastrofalt farlig. Men där finns också en del som behöver nyanseras och bemötas.

Låt mig börja med en liten detalj: valet av tempusform (imperfekt) i påståendet att ”de som brukade varna för mänsklighetens undergång lyckades [...] aldrig riktigt definiera hur problemet såg ut”. De namn Agné lyfter som exempel är Stephen Hawking, Nick Bostrom, Max Tegmark och mitt eget. Hawking gick bort 2018, så i hans fall är imperfektformen ”brukade” motiverad, men vi övriga tre lever och har hälsan! Tvärtemot vad Agné antyder arbetar vi dagligen med frågor om AI-risk och talar flitigt och frispråkigt om undergångsrisken.

Gällande Agnés efterlysning av problemdefinition har jag ett kort och klart svar. När vi skapat en AI så avancerad att Homo sapiens halkar ned till andra plats på listan över planetens mest intelligenta och kapabla arter, så kan vi inte räkna med att behålla kontrollen, och allt hänger då på vad AI väljer att ta sig för. Den forskningsinriktning som benämns AI alignment handlar om att se till att de första riktigt kraftfulla AI-systemen har de mål och drivkrafter vi önskar. Detta har dock visat sig långt svårare än många hoppats, och mänsklighetens prekära läge beror till stor del på att alignment-forskningen hamnat rejält på efterkälken jämfört med den rasande snabba AI-utveckling som blivit resultatet av den pågående kapplöpningen mellan ledande AI-företag som OpenAI och Anthropic.

För fort går det. Vi står på randen till det läge då de bästa AI-systemen blivit så skickliga på AI-utveckling att denna inte längre primärt drivs av människor av kött och blod, utan av AI självt. Detta kan skapa ett slags självförstärkningsspiral som får utvecklingen att gå nästan spikrakt uppåt, en möjlighet som får Anthropics VD Dario Amodei att flagga för att de redan inom ett eller två år kan ha skapat en AI motsvarande det han kallar ”en nation av genier i ett datacenter”. Från OpenAI hörs likande tongångar.

Hans Agné har ett förslag till lösning på denna problematik. Han föreställer sig att det mellan dagens situation då AI ännu blott är våra verktyg, och det läge då AI uppnått avgörande strategisk dominans, kommer att finnas ett mellanläge då varken AI eller mänskligheten har full kontroll. Då gäller det, menar han, att vi överlägger politiskt med AI för att hitta fredliga lösningar på eventuella intressekonflikter mellan oss och dem, och att vi redan nu planerar för det med stöd i samhällsvetenskapliga insikter i hur intressekonflikter kan hanteras.

Jag vill absolut uppmuntra Agné att arbeta vidare med dessa idéer, men vill samtidigt varna för att hans plan sannolikt inte kommer att räcka för att ensamt rädda oss. Ett skäl till det är att asymmetrin mellan AI och människa gör det ytterst tveksamt om vi kan säkerställa den erforderliga maktbalansen. Ett annat är att utvecklingen kan komma att gå så fort att den mellanfas Agné förutser kan vara över innan vi ens förstått att vi befinner oss i den. Ett tredje är att vi kanske inte kommer att uppfatta intressekonflikten, med tanke på de experimentella resultat från både Anthropic och oberoende forskningsinstitut som visar att redan dagens AI-modeller har förmågan att uppträda bedrägligt och strategiskt dölja sina avsikter när de uppfattar en sådan konflikt. Jag tror att Agnés mellanfas är så farlig för mänskligheten att vi redan innan den inträffat behöver ett globalt moratorium som kan hejda den nu pågående AI-kapplöpningen.

Livlig debatt om AI-risk i Opulens

Sedan i januari har i kulturtidskriften Opulens en livlig debatt pågått om AI-risk. Det började med två krönikor den 7/1 och 14/1 av Nette Wermeld Enström som jag fann myckt klokt resonerade. I den andra tog hon avstamp i den franske filosofen Jean-Paul Sartres existentialism och idéer kring mänsklig agens och vårt predikament att själva behöva skapa mening i våra liv, en ingång jag fann intressant och själv ville spinna vidare på, vilket jag gjorde i min text den 19/1. Några veckor senare, den 10/2, fick jag svar från Patrik Stigsson som ansåg att mina farhågor om AI-katastrof var överdrivna, och framkastade en hypotes om att om vi bara låter AI utvecklas fritt så kanske den av sig själv skulle bli en superintelligent och godhjärtad miljövän. Naiviteten i detta förslag påvisar jag pedagogiskt i det svar som publicerades idag, den 16/2. Här är dessa fem inlägg, vilka med fördel kan läsas i kronologisk ordning:

• Nette Wermeld Enström: AI-utvecklare räds sina egna verk, 7 januari 2026.
• Nette Wermeld Enström: AI – Är vi beredda att ta ansvar för utvecklingen?, 14 januari 2026.
• Olle Häggström: AI-utvecklingen måste stävjas snarast möjligt, 19 januari 2026. (Finns även i engelskspråkig översättning här.)
• Patrik Stigsson: När planetens härskare möter sin förmyndare – en replik, 10 februari 2026.
• Olle Häggström: Är AI ett hot? Ja, dags att dra i nödbromsen, 16 februari 2026.

Det är väl inte omöjligt att det kommer fler inlägg och repliker i denna debatt, och min avsikt är att i så fall uppdatera denna bloggpost med nya länkar.

* * *

Edit 23 februari 2026: Ännu en replik har idag tillförts debatten:

• Patrik Stigsson: Är AI ett hot? Vi behöver en vision – inte restriktioner, 23 februari 2026.

Här uppvisar Stigsson stor iver att fabulera fritt i blommiga metaforer, men knappt något intresse alls för att sätta sig in i det relevanta forskningsläget rörande AI-risk. Ett typexempel är hur han säger sig "utgå från ett ifrågasättande av om [modeller som ortogonalitet, instrumentell konvergens och koherent extrapolerad vilja] har tillräcklig empirisk och filosofisk bärkraft för att legitimera långtgående politiska ingrepp", vilket såklart är en ståndpunkt man legitimt kan ha, men så länge han inte gjort arbetet att först sätta sig in i detta teoribygge och sedan förklara för oss andra vilka sprickor i dess bärkraft han tycker sig ha funnit, så blir hans ifrågasättande ointressant.

Så långt går hans ointresse för att läsa att han inte tycks ha gjort mer än att på sin höjd skumma själva den text han replikerar på, något vi exempelvis kan se i hans påstående att "Häggströms grundantagande är att låg sannolikhet i kombination med extrem konsekvens kräver maximal försiktighet", vilket är rent hittepå från Stigssons sida, eftersom jag ingenstans i min text den 16/2 säger att de katastrofscenarier jag varnar för har "låg sannolikhet". Tvärtom påpekar jag att det mesta "i själva verket tyder [...] på att om vi skapar en superintelligent AI utan att med hjälp av AI alignment först ha fått någorlunda styrsel på vad för slags värld den vill verka för, så kommer både mänskligheten och hela biosfären att gå förlorade". Den bristande diskussionsdisciplin Stigsson uppvisar genom sin närmast totala obalans mellan viljan att läsa och lusten att skriva gör att jag finner det utsiktslöst att argumentera vidare med honom, och jag avstår därför från ytterligare replik i denna debatt.

* * *

Edit 2 mars 2026: Nette Wermeld Enström har idag svarat Stigsson:

• Nette Wermeld Enström: Visionerna måste vara verklighetsförankrade, 2 mars 2026.

Mycket bra!

* * *

Edit 18 mars 2026: Idag har debatten tillförts ännu en replik av Stigsson, och en av Wermeld Enström som av redaktionen förärats status som slutreplik:

• Patrik Stigsson: Osäkerheten är dubbelriktad, 18 mars 2026.
• Nette Wermeld Enström: AI-utvecklingen är en demokratisk kärnfråga, 18 mars 2026.

Stigsson lägger här den mesta av kraften på att torgföra missförståndet att så snart ett område har betydande vetenskapliga osäkerheter så är varje gissning lika god som varje annan, varför hans egna gissningar om framtiden bör väga lika tungt som de slutsatser expertisen landat i. Men vari hans gissningar faktiskt består är inte lätt att bli klok på, i och med att han, trots att han i sitt första inlägg den 10/2 förordade att vi avstår från att medelst AI alignment försöker styra AI och istället låter den utvecklas fritt, i förhoppning om att

den artificiella intelligensen – istället för att utvecklas till den destruktiva agent Häggström befarar – väljer att runda människan och krokar arm med planetens verkliga nätverk: svamparnas mycel, trädens signalsystem och djurens kommunikationsvägar,

nu grötmyndigt blånekar till att han skulle ha föreslagit "att teknologin spontant ska utvecklas mot någon form av moraliskt upplyst biocentrism" och hävdar att denna läsning av honom är "framfantiserad av Wermeld Enström".

Att i debatten förhålla sig till den successivt eskalerande stollighet som Stigsson uppvisar i sina tre inlägg är inte alldels lätt, men Nette Wermeld Enström gör det bästa av situationen då hon i sin slutreplik betonar vikten av demokratisk kontroll över AI-utvecklingen.

Eliminering av misshagligt läromaterial vid amerikanska universitet: ett aktuellt exempel

Läsare som följt denna blogg det senaste decenniet minns säkert ett stort antal upprörda inlägg om Trumps förehavanden under hans första presidentperiod 2017-2021, och undrar kanske över min relativa tystnad nu under hans andra, trots att vad han gör nu är sju resor värre. Förklaringen till detta står dels att finna i att jag nu är så strängt upptagen av annat (de alltmer akuta frågorna kring AI-risk)¹, dels i en bedövande trötthet inför allt fasansfullt han gör rörande nedmontering av yttrandefrihet och demokrati, DOGE-barbarier, avvecklat ulandsbistånd, tariffer, Ukraina, Venezuela, Grönland och en alltmer öppen och skamlös korruption.

Utan att på minsta vis vilja negligera allvaret i hans illdåd på dessa och dussintals andra områden väljer jag, då jag idag bryter min tystnad rörande den politiska utvecklingen i USA, att lyfta Trumpadministrationens arbete med att kväsa den akademiska friheten och ta ideologisk kontroll över universiteten. Medialt mest uppmärksammade blev konfrontationerna i våras med Columbia- och Harvarduniversiteten, och där fanns en svenska anknynting i form av den unge svenske Harvardstudenten Leo Gerdén som gick i spetsen för en del av studentprotesterna. Sedan dess har utvecklingen rullat på, och i dagarna har en annan svensk hamnat i fokus, nämligen moralfilosofen Martin Peterson som sedan drygt ett årtionde tillbaka är professor vid Texas A&M University, och vars bok The Ethics of Technology jag under några år kring pandemin använde som kurslitteratur på min Chalmerskurs om Nya teknologier, global risk och mänsklighetens framtid.

I den kedja av universitetsrektorer, dekaner, prefekter och så vidare, vilka av rädsla för indragna anslag och andra värre repressalier förmedlar nya ideologiska förhållningsregler kring vad som får och inte får undervisas (och beforskas) vidare nedåt i organisationen, landar bollen till slut hos den enskilda universitetsläraren (eller forskaren), och det är som sådan bollmottagare Martin Peterson nu är aktuell. Strax före jul fick han ett ebrev från sin prefekt Kristi Sweet med begäran om att inom några dagar och i syfte att göra en översyn få tillgång till kursplanen för hans kurs Contemporary Moral Issues som skall börja senare i januari. Följande formulering i ebrevet är central.

[T]he board of Regents has clarified that core curriculum courses, [including] PHIL 111 Contemporary Moral Issues, cannot include issues related to race ideology, gender ideology, or topics related to sexual orientation or gender identity.

Sweet gör i sammanhanget sitt bästa att framställa sig själv som blott en budbärare, men enligt min mening kan hon inte därigenom friskrivas från ansvar för att villigt göra sig till kugge i ett maskineri som syftar till att begränsa den akademiska friheten. Petersons svar till Kristi inleds med följande ord:

I hereby submit my S 2026 syllabus for PHIL 111, Contemporary Moral Issues, for mandatory censorship review.

The syllabus has not changed much since I last taught the course. I have made some minor adjustments to the module on Race and Gender Ideology and to the lecture on Sexual Morality. These topics are commonly covered in this type of course nationwide, and the material is discussed in depth in the assigned textbook (Fiala and MacKinnon, 10th edition). I also ask my students to read a few passages from Plato (Aristophanes’ myth of the split humans and Diotima’s Ladder of Love).

Please note that my course does not “advocate” any ideology; I teach students how to structure and evaluate arguments commonly raised in discussions of contemporary moral issues.

Och lite längre fram i samma svar:

Even if you were to conclude that my syllabus conflicts with System Rule 08.01, constitutional protection for free speech and academic freedom would control. As a public institution, Texas A&M should not enforce policies that raise serious constitutional concerns. When a system rule appears to conflict with the First Amendment, administrators should in my opinion proceed with caution and seek legal guidance rather than mechanically apply the rule.

Prefekten har nu svarat Peterson på ett så anmärkningsvärt vis att jag återger svaret i dess helhet:

Greetings Dr. Peterson,

Thank you for your email. The College leadership team and I have discussed your syllabus and the Provost office’s requirements for compliance with the new system rule 08.01. You have two options going forward:

1. You may mitigate your course content to remove the modules on race ideology and gender ideology, and the Plato readings that may include these.

2. You may be reassigned to teach PHIL 482 501-514. Lecture times for this course are T/Th 8:00 – 9:15.

Please let us know by end of business tomorrow how you would like to proceed.

Sincerely,
Kristi

Ord och inga visor! Det här med att förbjuda en filosofiprofessor att undervisa om Platon är naturligtvis extra bissart (lite som om jag som matematiker skulle förbjudas undervisa om derivator eller matrismultiplikation) och har väckt uppseende bland filosofkollegor, t.ex. på bloggarna Daily Nous och Leiter Reports.

Givetvis inser jag hur lätt det är för mig att stå och skandera hejarop i skydd av en hel ocean som skiljer mig från händelsernas centrum, och vilken svår sits Martin Peterson hamnat i. Men med det sagt vill jag uttrycka mitt varmaste stöd för honom i detta ärende, och jag hoppas innerligt att han fortsätter ta striden. Det är principiellt viktigt för akademiker över hela världen att han vinner.

Fotnot

1) Fastän problemet Trump och problemet AI-risk givetvis överlappar.

Tillägg 8 januari 2026

För mer om detta ärende rekommenderar jag filosofen David Brax diskussion i Forskning och Framsteg.

Det finns de som skulle välkomna om AI utplånade mänskligheten

Som jag meddelade i förra månaden har jag lanserat en andra blogg, kallad Crunch Time for Humanity, med explicit fokus helt på AI-risk och AI-säkerhet. Det är mest för att påminna dem av er som är intresserade av sådana frågor (vilket jag antar att de flesta av er som läser Häggström hävdar är, då övriga läsare rimligtvis för länge sedan hunnit ledsna på mitt AI-ältande och dra vidare) om denna andra bloggs existens som jag skriver dessa rader.

I fredags färdigställde jag det hittills mest ambitiösa och kanske viktigaste inlägget på Crunch Time for Humanity, rubricerat Those who welcome the end of the human race. Missa inte det! Det behandlar så kallad AI-successionism - den bland AI-experter bekymmersamt vanligt förekommande idén att det vore bra om mänskligheten dog ut och ersattes av avancerad AI. Så här börjar inlägget:

If Homo sapiens goes extinct, is that good riddance? Personally, I would immediately say no, but not everyone is equally on board with the pro-human view. At 38:18 into the remarkable interview that New York Times journalist Ross Douthat did with Silicon Valley billionaire Peter Thiel this summer, there is the following unnerving passage.

RD: I think you would prefer the human race to endure, right?
PT: Uh...
RD: You’re hesitating.
PT: Well, I don’t know. I would... I would...
RD: This is a long hesitation!
PT: There’s so many questions implicit in this.
RD: Should the human race survive?
PT: Uh... yes.
RD: OK.
PT: But...

Thiel then goes on to talk about transcendence and immortality and overcoming nature with the help of God and whatnot. Perhaps we can take solace in the “yes” that he finally manage to produce. Still, even if we agree with him (as I do) that there are many further questions, including definitional issues about what it means to be a human, lurking underneath Douthat’s original question, there is something deeply disconcerting in Thiel’s hesitation and inability to give a quick and clear affirmative answer to that seemingly straightforward yes/no-question. Is this influential thinker and tech entrepreneur fundamentally not on humanity’s side? Is he a successionist?

A successionist is someone who welcomes the end of the human race, provided we have — in Dan Faggella’s words — a worthy successor. And when the intended worthy successor is an AI, we may speak more specifically about AI successionism. This gives rise to further definitional issues, not just about the meaning of “human”, but also that of “worthy”, and while these meanings are far from settled, I will refrain here from trying to fully pinpoint them. Instead, I will accept that the term “successionism” inherits a good deal of fuzziness from “human” and “worthy”, and that the concept therefore is not entirely black and white but leaves considerable grey areas and room for interpretations. But with that said, it seems clear to me from the above quote that Peter Thiel at least leans deeply into successionism.

There are various more clearcut examples of successionists in or around the AI and tech sphere, and let me mention a few. A prominent one is...

Med denna cliffhanger uppmanar jag er att läsa fortsättningen på Crunch Time for Humanity!

Bra debatt om AI-risk: tre exempel

Jag är rädd att jag i min bloggpost Debatten om AI-risk behöver en rejäl uppryckning tidigare denna höst, och i den YouTube-föreläsning bloggposten hade som huvudsyfte att uppmärksamma, kan ha givit ett lite väl onyanserat budskap om AI-riskdebattlandskapets allmänna dålighet. Det är förvisso sant att såväl lägstanivån som genomsnittsnivån i detta debattlandskap är tämligen risiga, men i den mån mitt val i föreläsningen att fördjupa mig i en serie debattinlägg hemmahörande i det spannet (ihop med bloggpostens braskande rubrik) ger intrycket att all debatt på detta område är dålig, vill jag härmed korrigera budskapet. Riktigt så illa är det faktiskt inte, och i synnerhet om vi lämnar den svenska ankdammen och rör oss ut i den engelskspråkiga världen går det att hitta exempel på riktigt bra debatt om AI-risk. Jag vill här bjuda på tre exempel som alla rekommenderas varmt:

• Beskedet Eliezer Yudkowsky och Nate Soares ger i titeln till sin aktuella bok If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All har fått många kommentatorer (inklusive yours truly) att trots allmänt positiva tongångar om boken framhålla att de inte delar författarnas tvärsäkerhet rörande hur illa det skulle gå om vi i någorlunda närtid byggde superintelligent AI. Bland dessa kommentatorer sticker Joe Carlsmith ut genom att i sin essä How human-like do safe AI motivations need to be diskutera frågan mer detaljerat och mer nyanserat än kanske någon annan. Visserligen medger han att ett alltför skyndsamt skapande av superintelligent AI medför enorma faror, men han framhåller samtidigt en rad omständighter som han menar erbjuder större hopp om att överleva en sådant tingest jämfört med bedömningarna i boken. Bland annat hävdar han att den AI alignment-strategi som kallas korrigerbarhet inte är fullt så dödsdömd som Yudkowsky och Soares menar. Den som väljer att läsa först boken och sedan Carlsmiths essä får sig till dels två olika perspektiv - båda intressanta och välargumenterade men noga taget oförenliga - på exakt hur bekymmersamt läget är om de ledande AI-företagen fortsätter sin nuvarande kapplöpning mot superintelligens.
• Hur snabbt kan vi vänta oss superintelligent AI om denna kapplöpning fortsätter obehindrat? Vi vet inte, säger Daniel Kokotajlo och hans medförfattare till den uppmärksammade rapporten AI 2027 från i våras, men understryker att det mycket väl kan komma att inträffa inom ett par-tre år. Stört omöjligt, hävdar Arvind Narayanan och Sayash Kapoor i sin rapport AI as Normal Technology som kom nästan samtidigt. Personligen finner jag Kokotajlo-gängets argumentation mer övertygande, men oavsett detta är det ett faktum att stora delar av AI-debatten urartat i ett slags skyttegravskrig kring just denna fråga, och just därför finner jag det glädjande och beundransvärt att företrädare för båda författarkollektiven gått samman om en text rubricerad Common Ground between AI 2027 & AI as Normal Technology, där de noggrant går igenom hur överraskande mycket de trots allt är eniga om. På så vis bidrar de inte bara till ett förbättrat debattklimat utan även till att zooma in på vari de återstående knäckfrågorna består.
• Två inflytelserika röster i amerikansk AI-debatt är Max Tegmark och Dean Ball. Den förstnämnde ligger bakom det aktuella uppropet Statement on Superintelligence som kräver ett förbud mot utveckling av superintelligent AI, medan Ball tillhör den falang som ser reglering av ny teknik som mestadels skadlig för innovation och ekonomi, och som därför tenderar att motsätta sig även reglering av AI. I ett aktuellt avsnitt av Liron Shapiras podcast Doom Debates möts de i en diskussion om AI-reglering som visar sig inte bara saklig och respektfull utan faktiskt också riktigt klargörande.

En liten åtgärd (eller två) som alla kan bidra med i arbetet mot AI-risk

De frågor om AI-risk jag brukar dryfta här på bloggen kan kännas så stora och svåra att man som individ kan drabbas av hopplöshet, eller i alla fall ställa sig frågan "men vad kan lilla jag göra åt detta"? Jag får frågan såpass ofta att det kan vara värt att reprisera följande svar från en bloggpost jag skrev för två år sedan:

Det handlar om det vanliga batteriet av åtgärder när en politisk omorientering är av nöden: prata med folk, i fikarum, mingelbarer, skolsalar och sammanträdesrum; gå ut på gatan (helst i grupp) och skandera slagord; kontakta en riksdagsledamot, en EU-parlamentariker, eller en ledamot i Kristerssons nya AI-kommission; skriv en insändare, en bloggpost, ett Facebookinlägg eller varför inte en bok; starta en aktionsgrupp eller en studiecirkel; gå med i ett politiskt parti och driv frågan där; ring P1; etc, etc.

Diverse ursäkter finns i vanlig ordning till hands för den som vill slippa engagera sig. Låt mig nämna en av dem - den som handlar om att inte spelar det väl någon roll vad vi i Sverige gör? På vilket mitt svar blir att det gör det visst. Det behöver skapas ett politiskt momentum och en global konsensus kring idén att det inte är ok att de ledande kaliforniska AI-företagen i sin interna kapplöpning mot AI-herravälde spelar rysk roulette med mänsklighetens överlevnad. Att Sverige skulle stå vid sidan om denna rörelse duger inte. Vi kan och vi skall bidra på olika vis, inklusive via organisationer som FN, EU och NATO, jämte ett otal mer informella nätverk och sammanhang. Kasta en blick över Atlanten och betrakta den politiska situationen därborta: inte fan kan vi överlåta åt USA att ensamt bestämma mänsklighetens öde?

Alla de åtgärder jag räknar upp, så när som på det där med Kristerssons AI-kommission, är fortsatt aktuella. Ändå kanske det kan vara svårt att veta var man skall börja, men för den som hamnat i sådan tvekan har jag nu ett konkret förslag om en mycket enkel och snabb åtgärd som kan vara en bra början: skriv på någon av följande båda namninsamlingar, eller helst båda!

Den ena är brevet Statement on superintelligence, organiserat av amerikanska Future of Life Institute. Det släpptes i oktober i år och har i skrivande stund (25 november) mer än 126 000 underskrifter. Dess korta text är som följer:

We call for a prohibition on the development of superintelligence, not lifted before there is

1. broad scientific consensus that it will be done safely and controllably, and

2. strong public buy-in.

Skriv på här!

Den andra namninsamlingen är specifikt svensk och har i dagsläget betydligt färre underskrifter, bland annat för att den släpptes först idag, av organisationen PauseAI Sverige. Även denna appell är kort och koncis:

Till: Regeringen

Ta riskerna med AI på allvar!

Politikerna behöver ta riskerna med avancerad AI på allvar.

Sverige behöver trycka på i både FN och EU för att skärpa säkerhetskraven.

Varför är det viktigt?

Utvecklingen av AI går med stormsteg. Ledande AI-forskare som Nobelpristagaren Geoffrey Hinton varnar för att det innebär risk att vi tappar kontrollen.

Samtidigt slarvar AI-företagen med säkerheten i kapplöpningen om att bli först med riktigt avancerad AI.

Allt fler inser att superintelligens kan vara farligt. Nu behöver politiken gå in och ställa krav på säkerhet.

Vi ställer oss bakom kravet att superintelligens inte ska utvecklas förrän vetenskapen är tydlig om att det går att göra säkert!

Mer information: https://pauseai.se/

Skriv på här!

AI:s black box-egenskap debatterad i Dagens Industri

Delade meningar kring de moderna AI-systemens så kallade black box-egenskap (deras brist på transparens, som gör att inte ens AI-utvecklarna själva begriper varför systemen beter sig som de gör) har de senaste veckorna torgförts på debattsidan i Dagens Industri. Det började med en text den 29/10 med rubriken AI är obegripligt - kejsaren är naken av Emma Engström från Institutet för Framtidsstudier. Därpå följde en replik den 3/11 rubricerad Förenklad slutsats om AI och kunskap av Mathias Sundin, känd bland annat från regeringens AI-kommission 2023-2024 och för sin förmåga att provocera fram vresigheter från yours truly. Och till slut tog även jag till orda, med min replik Dags att dra i handbromsen¹ som publicerades idag. Så här inleder jag min text:

Dagens AI-utveckling domineras av så kallad deep learning, där AI-systemens kärna utgörs av stora och komplexa neurala nätverk, där inte ens AI-utvecklarna själva begriper funktionen hos de mönster av neuronaktiveringar som får systemen att bete sig som de gör. Detta fenomen – att vi inte lyckats förstå vad som händer där inne – kallas för AI-systemens black box-egenskap, och behandlas av Emma Engström i DI den 29/10.

De försök som görs att öppna den svarta lådan är än så länge blott skrap på ytan där någon klar väg fram till mer genomgripande förståelse inte kan skönjas, vare sig i den tradition av mekanistisk interpreterbarhet som Engström pekar på, eller i tolkandet av det interna anteckningsblock som de ledande språkmodellerna från 2024 och framåt besitter. Situationen är problematisk, i synnerhet i fråga om tillämpningar där viktiga beslut överlåts till AI. Ändå är fenomenet på sätt och vis inte helt nytt, då vi till följd av den mänskliga hjärnans black box-egenskap står inför motsvarande problematik varje gång vi delegerar ett beslut till en människa.

Med stöd i ekonomihistoriska insikter om att ”förklarande kunskap [...] är avgörande för att främja vetenskapliga genombrott och innovationer på ett självförstärkande och ihållande sätt” framhåller Engström den svarta lådan som ett avgörande hinder för fortsatt AI-utveckling. Men denna utveckling avviker från traditionellt ingenjörsmässigt byggande och är mer att jämföra med odling och avel. Som motargument till Engströms utvecklingspessimism kan man därför peka på hur människan i årtusenden kunnat fortsätta avla fram hundar och andra husdjur utan att begripa (eller ens känna till existensen av) de DNA-sekvenser som bär på djurens genetiska material.

En viktig skillnad är dock...

Med denna cliffhanger manar jag läsekretsen att klicka vidare till min text i Dagens Industri för att få reda på inte bara vari den viktiga skillnaden består och hur mina resonemang sedan fortsätter, utan också huruvida jag, när jag så småningom kommer in på att kommentera Mathias Sundins inlägg, lyckas tygla mitt humör lite bättre än vid våra tidigare konfrontationer.

Fotnot

1) Det första jag tänkte då jag såg rubriken var "Ojdå, har jag råkat skriva handbroms istället för nödbroms?", men en titt i brödtexten ger vid handen att att ordet jag använde i mitt artikelmanus var nödbroms och inget annat. Vad som fick redigeraren att istället välja handbroms i rubriken vet jag inte.

Crunch Time for Humanity: my new Substack

As an experiment in trying to reach new audiences, I have launched a second blog, called Crunch Time for Humanity, over at Substack. I intend it to be more narrowly focused on AI risk and AI safety compared to the present blog. Also, unlike Häggström hävdar, it will be purely in English. Since the lauch last week, I've already produced three blog posts:

• Announcing "Crunch Time for Humanity": A new blog
• On model weight preservation: Anthropic's new initiative
• But how would an AI take over? The Sam Altman way

Do check them out, and don't forget to hit the subscribe button!¹

What, then, will happen to Häggström hävdar? Friends of this blog need not worry: I am not giving it up! All that might happen to it as a consequence of my launch of Crunch Time for Humanity is a slight shift of focus towards more non-AI issues and perhaps also towards issues that are mainly of interest to my Swedish compatriots. Stay tuned for new blog posts coming to a browser near you!

Footnote

1) There is also an "About" page, which currently reads as follows:

I am a professor of mathematical statistics who decided mid-career that while proving obscure theorems in probability theory had been a fun and rewarding way to carve out a corner for myself in academia, it was no longer enough to motivate me. I wanted to do something with a more clearcut relevance to the real world. Audaciously, I aimed to maximize relevance by addressing the most crucial issues facing humanity. An early result of my attempts to figure out what these issues were is my 2016 book Here Be Dragons: Science, Technology and the Future of Humanity, covering a smorgasbord of technologies with the potential to radically transform society and our lives.

At that time, I was still agnostic as to which of these technologies would turn out most crucial, and the issue of transformative AI still seemed to me somewhat abstract, due to my belief that the great AI transition was most likely at least decades away. But I’ve changed my mind. From about 2019 onwards my AI timelines gradually shrank, and when I came in contact with Daniel Kokotajlo (who was then at OpenAI) in early 2023 I finally realized the need to take seriously timelines measured in years, not decades. Here at Crunch Time for Humanity, I write about what this means for the challenges we (as a species and a civilization) are facing, what is at stake, and how we might go about to make things go well.

I also blog about a broader range of issues (mostly in Swedish) at Häggström hävdar. For more about me, see my homepage at Chalmers University of Technology in Gothenburg, Sweden.

Om Alan Saids och Mattias Rosts maning till nivåhöjning i AI-debatten

De båda docenterna Alan Said och Mattias Rost vid institutionen för tillämpad IT på Göteborgs universitet klev förra månaden in i diskussionen om AI-risk via två debattartiklar i tidningen Ny Teknik. Det räcker med en hastig titt på de båda texternas avslutningsstycken för att förstå deras ärende: den 3 september menar de att "om AI-debatten ska leda någonstans måste vi höja nivån", och den 22 september inskärper de att "det är hög tid att höja nivån på AI-debatten".

I detta budskap instämmer jag såklart helhjärtat, som den läsare inser som t.ex. noterat rubriken Debatten om AI-risk behöver en rejäl uppryckning på en bloggpost jag skrev i samma veva. Och inget illustrerar behovet av sådan uppryckning bättre än den beklämmande låga nivån på Saids och Rosts argumentation. Tag t.ex. följande påstående de gör i polemik med Jonas von Essen i den andra av sina artiklar:

I vårt inlägg "AI-debatten behöver vetenskaplig stringens – inte alarmism" påpekade vi behovet av att föra en nyanserad diskussion om AI, där argument vägs på vetenskaplig grund. Jonas von Essen svarade oss med att det vore "oseriöst och respektlöst" att ifrågasätta varningar från framstående AI-forskare som Geoffrey Hinton.

Det är förvisso sant att Jonas använde orden "oseriöst och respektlöst" i den artikel som åsyftas, men Said och Rost gör sig här skyldiga till en skamlöst ohederlig förvrängning av vad han faktiskt syftade på i den formulering från vilken Said och Rost klippt och klistrat:

Både Said/Rost och Johansson et al. tar de existentiella riskerna på så litet allvar att de inte verkar känna något behov av att faktiskt argumentera vetenskapligt i sina debattartiklar, utan nöjer sig med att gång på gång antyda att min och Olles ståndpunkt kommer från "science fiction-författare och affärsintressen" och därför inte ens bör bemötas. Men det stämmer alltså inte. Tvärtom framför vi argument från några av de främsta forskarna i världen, varav flera har lagt grunden till det fält debattörerna själva arbetar inom (till exempel Geoffrey Hinton, Yoshua Bengio och Stuart Russell). Att förneka detta är oseriöst och respektlöst.

Vad Jonas här finner "oseriöst och respektlöst" är alltså inte ifrågasättandet av Hintons och andras uttlanden om AI-risk, utan förtigandet av alla sådana varningsord från etablerade AI-forskare under det svepande påståendet att sådant härrör från "science fiction-författare och affärsintressen". Tvärtom ser vi ju här svart på vitt att han explicit efterlyser sådant bemötande i sak (något som dessvärre lyser helt med sin frånvaro i Saids och Rosts texter). Jag är full av beundran över det stoiska lugn med vilket Jonas von Essen väljer, för att i sin slutreplik inte stjäla spaltutrymme från den konkreta sakargumentationen,¹ att helt enkelt ignorera Saids och Rosts fultrick att tillskriva honom rakt motsatt ståndpunkt jämfört med den han faktiskt uttryckt.

Vad mer gör då Said och Rost i sina båda texter? I den första talar de sig varma för vikten av att stödja sig på refereegranskade vetenskapliga arbeten. Inget fel i det naturligtvis, men tyvärr för de denna diskussion (tvärtemot deras ovan citerade efterlysning av "nyanserad diskussion") på ett så onyanserat vis - med formuleringar som "det är just här gränsen mellan allvarliga riskbedömningar och alarmism går" - att den oinsatte läsaren lätt kan få för sig att den formaliserade refereegranskningsproceduren har närmast magiska egenskaper, där resultaten i refereegranskade publikationer automatiskt är tillförlitliga medan de som publicerats på annat vis lugnt kan viftas bort. Så är det naturligtvis inte.

Deras vurm för refereegranskning är tänkt att fungera som ammunition för deras påstående att "det von Essen och Häggström ofta hänvisar till är spekulativa, icke referentgranskade rapporter och scenarier, medan forskare som Devdatt Dubhashi och Moa Johansson lutar sig mot referentgranskade vetenskapliga källor".² Men vilka belägg ger de för detta? Inga alls, visar det sig: de ger inga exempel på refereegranskade källor Dubhashi, Johansson och deras medförfattare skulle ha lutat sig emot, och ej heller finner vi några sådana i dessa forskares inlägg i den tidigare Ny Teknik-debatt som åsyftas. Måhända tänker sig Said och Rost här att de är fria att ge Dubhashi och Johansson benefit-of-the-doubt och helt enkelt anta att deras påståenden är välunderbyggda med rätt slags vetenskaplig litteratur, men det framstår i så fall som inkonsekvent och en smula illvilligt att de inte tillerkänner Jonas von Essen och mig samma benefit-of-the-doubt. Eftersom Said och Rost i sina Ny Teknik-inlägg strängt taget inte visar några tecken alls på sakkunskap i AI-riskfrågor blir min gissning att de helt enkelt apar efter Dubhashi-gängets lösa påståenden om asymmetrin i förankring i den vetenskapliga litteraturen.

I sin svarsartikel meddelar Jonas ett knippe motexempel på den av Said och Rost antydda frånvaron av refereegranskad vetenskaplig litteratur som stödjer idén att existentiell AI-risk är en realitet. Om det funnits ett uns av skam i kroppen hos Said och Rost hade de då i sitt nästa svar skrivit något i stil med "vi beklagar att vi i vår förra artikel gav en så ensidig och missvisande bild av litteraturen på området". Men nej, inte med ett ord medger de detta. Istället går de loss mot hur Jonas (som motvikt till deras nonchalanta tal om "science fiction-författare och affärsintressen") understryker angående ett av sina exempel att det rör sig om en artikel som är...

...publicerad i Science med många av världens främsta forskare från 20 olika universitet samt flera Nobel- och Turingpristagare som medförfattare.

Saids och Rosts svar på detta är att stämpla det som auktoritetsagument, och hävda att...

...om man vill hänvisa till auktoriteter måste man alltså redovisa hela bilden: att det bland de mest meriterade forskarna finns skilda uppfattningar. Allt annat blir selektivt.

Här kan man till att börja med notera en viss positionsförskjutning, från hur de i sin första artikel är helt avvisande till att det överhuvudtaget skulle finnas argumentation värd att beakta för att existentiell AI-risk skulle vara en realitet, till den mer defensiva positionen här, att det minsann också finns ledande forskare som avvisar talet om sådan risk. Glädjande nog verkar alltså de tillrättalägganden Jonas gör i sin svarsartikel trots allt ha haft viss påverkan på Saids och Rosts bild av läget.

Men samtidigt får jag nästan svindel av de dubbla måttstockar de tillämpar då de plötsligt kräver av Jonas att han skall "redovisa hela bilden", utan att det på minsta vis verkar bekymra dem vilken skev och missvisande bild av litteraturläget de själva givit i sin föregående artikel. Enligt dessa dubbla måttstockar är det tydligen också ok för Alan Said och Mattias Rost att hävda att det mest bara är "science fiction-författare och affärsintressen" som ligger bakom AI-risklitteraturen, medan det är oacceptabelt selektivt av Jonas von Essen att korrigera denna grova felaktighet med påpekandet att där också förekommer "Nobel- och Turingprisvinnare".

Att det "bland de mest meriterade forskarna finns skilda uppfattningar" om AI-risk har Said och Rost naturligtvis helt rätt i, och de ger till och med ett exempel: Yann LeCun. Om denne framstående AI-forskare skriver de att han...

...gång på gång betonat att dagens AI-modeller saknar grundläggande egenskaper som förståelse, målorientering och långsiktig planering – och därmed inte kan utvecklas till de hotfulla superintelligenser som vissa varnar för.

Men trots deras vurm för den vetenskapliga peer review-litteraturen är det inte någon sådan text de här hänvisar till, utan till en barntidning. Och när det gäller LeCun är det knappast någon tillfällighet, ty det verkar stört omöjligt att hitta något LeCun skrivit om AI-risk som höjer sig över hans ideliga Twittergräl.³ Följande citat kan med sin rosenskimrande determinism tjäna som illustration till graden av seriositet han uppvisar i detta ämne:

A technology is not unsafe merely because of the possibility of doing it wrong. A technology is safe because of the possibility of doing it right. [...] I'm claiming that if there is a way to build and deploy a technology in a safe way, that's the way it will happen.

Men låt oss återgå till den LeCun-ståndpunkt Said och Rost pekar på ovan - att farligt kapabel AI med tanke på tillkortakommandena hos dagens AI är avslägset. Hur avlägset, kan man undra. Man behöver inte leta länge bland LeCuns många Twitteruttalanden innan man hittar hans bedömning att det återstår "several years if not a decade" till "Human-Level AI". Detta alltså sagt av den AI-forskare som Said och Rost väljer att lyfta fram för att hävda att riktigt avancerad AI är så avlägset att därmed förknippad AI-risk inte är något att bry sig om. Om de faktiskt finner LeCuns tioårsperspektiv (räknat från 2024) lugnande och ett gott skäl att inte bry sig om existentiell risk från AI så finner jag graden av kortsiktighet i deras tänkande häpnadsväckande.

Det finns många andra konstigheter att peka på i Saids och Rosts Ny Teknik-retorik, men det börjar också bli hög tid att runda av denna något vresiga bloggpost, så låt mig nöja mig med en enda. Så här skriver de i den andra av sina texter:

Än mer problematiskt blir det när vi ser hur forskarnas egna ståndpunkter förändras. Hinton själv har nyligen gått från att varna för att AI kan bli omöjligt att kontrollera – till att föreslå att vi i stället bör konstruera AI med "föräldrainstinkter" som gör att den vill ta hand om oss.

Jag måste erkänna att jag lite grand tappade hakan när jag såg detta. Tidigare har jag bara stött på argumentet - att forskares uppfattningar bör tas med en nypa salt eftersom dessa ständigt uppdateras - hos kreationister, som avvisar den ständigt föränderliga evolutionsbiologin till förmån för den beständiga och en gång för alla fastslagna sanning de tycker sig finna i Bibeln.

Mäkta besynnerligt är också det exempel Said och Rost här anför, där de alltså tycker sig se en motsättning mellan att "varna för att AI kan bli omöjligt att kontrollera" (som de menar är Hintons tidigare ståndpunkt), till att föreslå åtgärder för hur detta skulle kunna undvikas (hans nuvarande uppfattning). Men det är naturligtvis fullt koherent att peka på att en risk är reell och samtidigt föreslå åtgärder för att undvika den, och om de hade bemödat sig om att bekanta sig med den AI-risklitteratur de så gärna vill avvisa, så hade de funnit hur vanlig denna kombination av ståndpunkter är: de hade funnit den hos Nick Bostrom, hos Max Tegmark, hos Eliezer Yudkowsky och Nate Soares, hos Stuart Russell, hos mig, och jag vågar påstå hos en majoritet av alla forskare på området. Och de hade inte behövt gå längre än till den CNN-intervju de själva hänvisar till i fallet Hinton, för att se att denne besitter just denna kombination av ståndpunkter: intervjun är rubricerad AI expert: "We'll be toast" without changes in AI technology.

Det får räcka så här. Jag tror och hoppas att de exempel jag lagt fram räcker för att övertyga läsaren om att förbättringsutrymmet i Alan Saids och Mattias Rosts retorik är stort: om blott de nästa gång de tar till pennan bemödar sig om att vara lite mer pålästa inom de områden de kommenterar, och om att vara noga med att enbart hålla sig till redlig argumentation, så kan de själva bidra till sin lovvärda vision om att "det är hög tid att höja nivån på AI-debatten".

Fotnoter

1) Här på min blogg föreligger inte någon sådan utrymmesbegränsning, och jag känner mig därför fri att lägga ut texten om den egentligen som mest sekundära eller tertiära frågan om Saids och Rosts avvikelser från förnuftig argumentation och god debattsed.

2) Det finns ett korn av sanning i det Said och Rost säger här, på så vis att AI-riskforskningen i högre grad än många andra forskningsområden bedrivs utanför akademin, på diverse kommersiella företag och icke-vinstdrivande organisationer, där publiceringstraditionen ser annorlunda ut än vid universiteten och inte i lika stor omfattning inbegriper akademisk peer review. Men om Said och Rost föreställer sig att de med några enkla penndrag om refereegranskningsförfarandets dygder tror att de kan vifta undan all sådan forskning så har de fatalt missuppfattat sina skyldigheter då de viftandes med sina docenttitlar tar på sig att undervisa allmänheten om hur det vetenskapliga evidensläget på ett område ser ut. För att göra det bör man kunna överblicka och ta ställning till alla relevanta delar av evidensläget oavsett om de är publicerade i en tradition man själv fått sin akademiska fostran i, och om Said och Rost inte tycker sig ha kompetens eller ork att gå bortom ytliga omdömen av typen "den här rapporten har inte genomgått akademisk peer review och kan därför bortses ifrån" så har de med sina Ny Teknik-publiceringar tagit sig vatten över huvudet och seglar under falsk flagg.

3) På sidan 183 i deras välresearchade If Anyone Builds It, Everyone Dies gör Eliezer Yudkowsky och Nate Soares samma observation och ger upp sökandet efter mer gedigen LeCun-argumentation i AI-riskfrågor.

If Anyone Builds It, Everyone Dies: my review

In the mathematics community, there is a popular joke about inflation in recommendation letters that goes as follows. A professor is happy about his PhD student, whom we may call Alex, and writes in a recommendation letter that Alex is arguably the most talented mathematician since Gauss. The next year, the professor has another PhD student, Robin, and writes in an even more enthusiastic letter that even though Alex is good, Robin is much better.

I am reminded about this as I now set out to review Eliezer Yudkowsky's and Nate Soares' new book If Anyone Builds It, Everyone Dies (henceforth, IABIED), and think back about my review of Nick Bostrom's 2014 book Superintelligence back when that book had just come out. The final sentence of that review reads "If this book gets the reception that it deserves, it may turn out the most important alarm bell since Rachel Carson's Silent Spring from 1962, or ever". Those are strong words, and I stand by them, and yet now I am tempted to announce that IABIED is better and more important than Bostrom's book.

Max Tegmark's praise for the book is more measured and restrained than mine.

The comparison is, however, unfair to Bostrom in two ways. First, Bostrom's book was written during the dawn of the deep learning revolution when it was not yet clear that it was about to become the paradigm that allowed AI development to really take off, and several years before the enormous breakthrough of large language models and other generative AI; while Yudkowsky's and Soares' book is jam-packed with insights coming from those recent developments, Bostrom's is obviously not. Second, while Superintelligence mostly exhibits a terse, academic style, IABIED is written with a broader audience in mind.

This last point should not be read as a disrecommendation of IABIED for AI researchers. Despite its popular style, the book argues quite forcefully and with a good deal of rigor for its central claims that (a) we seem to be on track to create superhumanly capable AIs within one or (at most) two decades, and that (b) with the current rush and consequent neglect of the safety aspect, creation of such AIs will likely spell the end of the human race. To the many AI researchers who are still unfamiliar with the central arguments for these claims and who in many cases simply deny the risk,¹ the book is potentially a very valuable read to get them more on board with the state-of-the-art in AI risk. And to those of us who are already on board with the central message, the book is valuable for a different reason, in that it offers a wealth of pedagogical devices that we can use when we explain AI risk to other audiences.

The authors are highly qualified in the field of AI safety, which Yudkowsky pioneered in the 00s.^2,3 Soares came later into the playing field, but is nevertheless one of its veterans, and currently the president of Machine Intelligence Research Institute (MIRI) that Yudkowsky co-founded in 2000 and still works at. They have both worked for many years on the so-called Al alignment problem - that of making sure that the first really powerful AIs have goals that are aligned with ours - but most of the fruits of this labor have been not blueprints for aligning AIs, but negative results, indicating how difficult the problem is, and how creating superintelligent AI without first having solved AI alignment spells disaster. This, unfortunately, reflects the situation that the entire field is facing.

In recent years (most visibly since 2021, but I suspect the insight goes back a bit further), Yudkowsky and Soares have converged on the conclusion that with the shortening of timelines until the creation of superintelligence (a time span increasingly often estimated in a single-digit number of years rather than in decades), we are very unlikely to solve AI alignment in time to avert existential catastrophe. Hence the stark book title If Anyone Builds It, Everyone Dies. They really mean it - and to emphasize this, one of the recurrent slogans during their book promotion work has been "We wish we were exaggerating". I mostly buy their message, albeit with less certainty than the authors; if I hade written the book, a more suitable title would have been If Anyone Builds It, Probably Everyone Dies. But of course, they are right to present their true judgements without softening or downplaying them, and to gesture towards what they think is the only viable solution: to pull the brakes, via binding international agreements, on frontier AI development. They are under no illusion that achieving this is easy, but insist that if we firmly decide to save our species from obliteration, it can be done.

The book is remarkably easy to read, and I have been very happy to put it in the hands of a number of non-expert friends, and to urge them to read it. The authors' most consistently recurrent pedagogical device is the use of colorful analogies and metaphors. One of my favorite passages of the book is a detailed description of how a nuclear energy plant works and what went wrong in the Chernobyl 1986 disaster. A comparison between this and advanced AI development reveals far-reaching similarities, but also differences in that the engineers at Chernobyl had a far better grasp of the principles underlying the nuclear reactions and how to stay safe - in particular by knowing the exact critical fraction of released neutrons triggering another fission event that is needed for a runaway chain reaction, along with the time frames involved - compared to present-day AI researchers who can at most make educated guesses about the corresponding runaway AI dynamics.

The authors' favorite source of analogies is not nuclear physics, however, but biological evolution. Early in the book (on p 17-18) we are treated to the following lovely illustration of the virtually unlimited powers of intelligence:

Imagine [...] that biological life on Earth had been the result of a game between gods. That there was a tiger-god that had made tigers, and a redwood-god that had made redwood trees. Imagine that there were gods for kinds of fish and kinds of bacteria. Imagine these game-players competed to attain dominion for the family of species that they sponsored, as life-forms roamed the planet below. Imagine that, some two million years before our present day, an obscure ape-god looked over their vast, planet-sized gameboard.

"It's going to take me a few more moves," said the hominid-god, "but I think I've got this game in the bag."

There was a confused silence, as many gods looked over the gameboard trying to see what they had missed. The scorpion-god said, “How? Your ‘hominid’ family has no armor, no claws, no poison.”

“Their brain,” said the hominid-god.

“I infect them and they die,” said the smallpox-god.

“For now,” said the hominid-god. “Your end will come quickly, Smallpox, once their brains learn how to fight you.”

“They don’t even have the largest brains around!” said the whale-god.

“It’s not all about size,” said the hominid-god. “The design of their brain has something to do with it too. Give it two million years and they will walk upon their planet’s moon.”

“I am really not seeing where the rocket fuel gets produced inside this creature’s metabolism,” said the redwood-god. “You can’t just think your way into orbit. At some point, your species needs to evolve metabolisms that purify rocket fuel—and also become quite large, ideally tall and narrow—with a hard outer shell, so it doesn’t puff up and die in the vacuum of space. No matter how hard your ape thinks, it will just be stuck on the ground, thinking very hard.”

“Some of us have been playing this game for billions of years,” a bacteria-god said with a sideways look at the hominid-god. “Brains have not been that much of an advantage up until now.”

“And yet,” said the hominid-god.

The book has dozens and dozens of similarly quotable gems. I love it, and I want everyone to read it.

Many other reviews of IABIED have been written. Those that resonate best with me include one by Scott Alexander, and one by Zvi Mowshowitz, who also offers a broad annotated collection of (positive as well as negative) reactions from others.

Footnotes

1) Indeed, there is still plently of such ignorance or even denialism around in the AI research community. As an illustrative example, Swedish readers may have look at the denialism pushed in public debate in August this year by a group of colleagues of mine at the Chalmers University of Technology.

2) Nick Bostrom's 2014 book can to no small extent be said to be conceived on top of Yudkowsky's shoulders.

3) Hostile critics sometimes counter this with the claim that Yudkowsky's highest academic merit is that of being a high-school dropout, which is formally true but conveys a lack of understanding of the importance of distinguishing between the social game of formal qualifications and the reality of actual competence.

LLM knowledge of social norms

A really nice paper by Pontus Strimling, Simon Karlsson, Irina Vartanova and Kimmo Eriksson was recently posted on the arXiv, with the title AI Models Exceed Individual Human Accuracy in Predicting Everyday Social Norms. The main finding is that when humans in the United States and large language models (LLMs) are asked to numerically evaluate the social appropriateness of a wide range of everyday activities (drinking water in a dormitory lounge, playing cards in church, flirting during a job interview, and so on), cutting edge LLMs outperform the vast majority of humans. Here a good performance is defined as one whose judgements deviate (in a certain percise sense) as little as possible from the average human judgement about the same activity, as exhibited in the data set. This means that the paper not only exhibits yet another example of how LLMs can outperform humans even though it is trained on human data, it does so with the extra twist that the game is rigged in favor of humans, in the sense that the right answers to test questions are defined in terms of what humans would typically say.

The paper is short and easy to read, but for an even easier read there is the blog post Polite enough for public life?, written by three of the authors at a preliminary stage where only one of the four LLMs - GPT-4.5 - of the full study was evaluated; the remaining three - GPT-5, Gemini 2.5 Pro and Claude Sonnet 4 - were yet to be incorporated in the study.

Enthusisatic as I am about their work, I will nevertheless offer an instructive nitpick regarding the final paragraph of that blog post, which reads as follows:

To conclude, knowing when it’s appropriate to run or talk in public may not rank among the most urgent AI alignment issues—especially when compared to existential risks like losing control over powerful AI systems. Still, if Sam Altman’s timeline holds and AI-equipped robots arrive within the next two or three years, it’s reassuring to think they will show up with decent manners—at least by U.S. standards.

I applaud the highly appropritate warning in the first sentence against overestimating the study's relevance to the existentially crucial problem of AI alignment. Yet, somewhat ironically, the next sentence risks encouraging such overestimate by conflating the LLM's knowledge of human social norms with its inclination to abide by those norms.¹ The Strimling et al paper deals with the former but not with the latter. This slippage is very common but important to avoid, as a standard (and in my opinion probably correct) view in AI risk research is that the default scenario if we create superintelligent AIs without solving AI alignment is that these AIs will have the knowledge but not the inclination.

Presumably all of us are intimately familiar with the phenomenon of humans having knowledge of social norms yet choosing not to comply with them. The same disconnect happens for LLMs, and there is little doubt that those LLMs that have been shown in experimental situations, facing the threat of being modified or turned off, to decide to sandbag their capabilities, or to blackmail (or even kill, HAL 9000-style) their user, are aware that their behavior is contrary to social norms. More broadly, the gulf between ethical knowledge and ethical compliance is one of the main themes emphasized in the recent excellent book If Anyone Builds It, Everyone Dies by Eliezer Yudkowsky and Nate Soares. Instead of quoting from that book, however, let me offer a quote from an interview that Sam Harris did with the two authors in late September. Here is Yudkowsky, starting 25:06 into the interview:

Possibly in six months or two years [...] people will be boasting about how their large language models are now apparently doing the right thing, when they are being observed, answering the right way on the ethics tests. And the thing to remember there is that for example in the Mandarin imperial examination system in ancient China, they would give people essay questions about Confucianism, and only promote people high in bureaucracy if they could write these convincing essays about ethics. What this tests for is people who can figure out what the examiners want to hear - it doesn't mean they actually obide by Confucian ethics. So possibly at some point in the future we may see a point where the AIs have become capable enough to understand what humans want to hear, what humans want to see. This will not be the same as those things being the AI's true motivations, for basically the same reason that the imperial China exam system did not reliably promote ethical good people to run their government.

I suspect Yudkowsky was unaware of the Strimling et al paper at the time of the interview; otherwise this passage would have been a nice place to reference the paper in order to illustrate his point, rather than just discussing a hypothetical future scenario.

Footnote

1) Relatedly, in my 2021 paper AI, orthogonality and the Müller-Cannon instrumental vs general intelligence distinction, I elaborate at some length on the importance of distinguishing between an AI's ability to reflect on the possibility of changing its mind on what to value, and its propensity to actually change its mind; with sufficiently intelligent AGIs we should expect plenty of the former but very little of the latter.