Ständigt denne Göran Lambertz

1. Sammanfattning

Göran Lambertz, tidigare justitiekansler och därefter justitieråd i Högsta domstolen, har författat och på sin hemsida nyligen publicerat en rapport rubricerad Vem mördade sannolikt Olof Palme?, där han utger sig för att analysera frågan med bayesiansk statistisk metod, men gör det med så bottenlös inkompetens att de siffror han presenterar är värdelösa för den som vill bilda sig en uppfattning om vem som mördade Palme. Huvudpunkten i denna bloggpost (se Avsnitt 4 nedan) är en presentation av ett urval av de grövsta matematisk-statistiska fel som Lambertz begår i sin rapport.

2. Syfte

Jag håller för tämligen osannolikt att någon läsare av min blogg skulle känna sig frestad att vända sig till Lambertz rapport för vägledning i frågan om vem som mördade Olof Palme, och fastän jag avråder starkt från sådan vägledningshänvändelse är detta inte mitt primära syfte. Ej heller handlar det om att tala Göran Lambertz till rätta; vis av erfarenhet betraktar jag detta som näst intill omöjligt.¹ Nej, huvudsyftet med min bloggpost är att illustrera (a) några fallgropar som den matematisk-statistiskt oerfarne kan hamna i i sina försök att tillämpa de ytligt sett ganska enkla redskap som den bayesianska statistiken tillhandahåller, och (b) ett visst slags psykologi som kan få högt begåvade personer att kraftigt överskatta sin egen kompetens.

3. Bakgrund

Våren 2015 publicerade Göran Lambertz sin bok Quickologi, som handlade om det så kallade Quickärendet - ett av de allra mest uppmärksammade i modern svensk rättskipning. Bokens centrala budskap är att Thomas Quick (även känd som Sture Bergwall) med 183%-ig sannolikhet är skyldig till de mord denne anklagats för. Ack så fånigt, tänkte jag när jag fick se den då nyutgivna boken, och bestämde mig för att inte engagera mig i frågan, men när veckorna gick och de kommentatorer som höjde sina röster mot Lambertz matematik samtliga verkade stanna vid (det i och för sig korrekta) konstaterandet att 183% inte är en matematiskt giltig sannolikhet ändrade jag mig, då jag bedömde chanserna goda att debatten skulle gagnas av en matematiskt kompetent genomgång av de resonemang i boken som fick Lambertz att landa i sin stolliga siffra. Jag läste boken och levererade mina (ganska beska) sammanfattande omdömen i bloggposten Quickologisk sannolikhetskalkyl. Därefter vidtog en diskussion med Lambertz som med varierande intensitet pågick i mer än ett år, delvis på min blogg (se t.ex. denna bloggpost, och denna, och denna, och denna) men också i mer privata kanaler. Denna diskussion var extremt frustrerande, och även om den på ett plan kan ha förefallit uppvisa viss progression - från Lambertz insisterande på sin totalflänga additionsformel, via hans hopp till sin kosmetiskt mer tilltalande men i själva verket precis lika odugliga multiplikationsformel, till att han slutligen landade i att tillämpa den välkända och matematiskt korrekta Bayes sats - så hjälpte detta inte alls, eftersom alla matematiska verktyg oavsett om de är nonsens eller i sig helt riktiga leder till rena dumheter när de brukas med lambertzk omdömeslöshet och inkompetens.

När jag framåt hösten 2016 explicit avsade mig fortsatt engagemang rörande Lambertz matematiska äventyrligheter så rådde jag honom i så otvetydiga ordalag jag förmådde att inte på egen hand arbeta vidare på det bayesianska spåret, då det ju var lätt att förutse vilket slags trams det skulle resultera i. Om han ville fortsätta framåt längs denna väg så var det absolut nödvändigt, framhöll jag, att han gör det i samarbete med matematisk-statistisk expertis.

Dessa råd föll dessvärre för döva öron, och Lambertz har under de år som gått sedan 2016 fortsatt att redovisa en rad på Bayes sats baserade analyser av Quickärendet. Det har hänt att jag kastat ett öga på dessa och då förfärats av det jag sett, men jag har avstått från närmare dissekering, då jag även vid tillfällen då vi befinner oss på landet med hyfsat långt till närmsta granne ändå som regel haft min hustru på plats i samma hus, och då jag vet att hon ogillar när jag sliter mitt hår, dunkar huvudet i skrivbordet och ropar okvädningsord rakt ut i luften. En annan bidragande orsak till min avhållsamhet är hur hjärtinnerligt trött jag var på den Quickologiska sannolikhetskalkylen i alla dess skepnader. Därför kändes det snudd på nytt och fräscht (nej jag överdriver, fräscht var det sannerligen inte) när Lambertz i den rapport han i mellandagarna publicerade valde att (tillfälligt?) lägga Quickärendet åt sidan och istället tillämpa det han inbillar sig kunna om bayesiansk metodik på Palmemordet. Ok, sade jag till mig själv, jag kan väl ta en titt på detta för att se om nära ett decennium av autodidaktiskt övande på tillämpning av Bayes sats eventuellt börjat ge resultat i form av förbättrade färdigheter. Men ack nej, någon sådan förbättring kan knappast skönjas.

4. Rapportens innehåll och ett urval av dess brister

Göran Lambertz nya rapport Vem mördade sannolikt Olof Palme? gör anspråk på att med bayesiansk metodik uppskatta sannolikheterna för fem olika gärningspersoner eller kategorier av sådana, nämligen (a) Christer Pettersson, (b) Stig Engström, (c) pseudonymen Christer Andersson, (d) Sydafrikaspåret och (e) annan konspiration. Det förtjänar här inskärpas att det är en mycket bra idé att göra en sådan analys, då bayesiansk metodik enligt min mening är den principiellt rätta att tillämpa i brottmål där osäkerhet om gärningsperson och andra omständigheter i sak föreligger. Jag tror att rättsväsendet, både i Sverige och internationellt, skulle ha väldigt mycket att vinna på om det bayesianska tillvägagångssättet sattes i system, och att många förfärliga rättsskandaler hade kunnat unndvikas med en kompetent genomförd sådan praxis; det ökända Sally Clark-fallet i Storbritannien är ett lärorikt paradexempel.

Problemet med Lambertz analys är emellertid att den är så urbota inkompetent genomförd att de siffror han presenterar i rapporten genom att ge ett bedrägligt intryck av precision är ännu sämre än att inte ge några siffror alls. I det följande ger jag en (icke-uttömmande) lista över fyra av de mest flagranta dumheterna i hans analys. Jag väljer att i mitt urval särskilt fokusera på gärningsmannakandidaten Stig Engström, då jag finner denne vara av särskilt intresse i kraft av att ha pekats ut som misstänkt gärningsman i samband med nedläggningen 2020 av Palmemordsutredningen.

4.1. A priori-sannolikheten för Engström. I en bayesiansk analys behöver de händelser vilkas sannolikhet vi är ute efter att uppskatta tilldelas så kallade a priori-sannolikheter (av Lambertz kallade ursprungssannolikheter). Vad gäller händelsen att det var Stig Engström som sköt Palme väljer Lambertz a priori-sannolikheten 0,001. Någon närmare motivering till detta val ger inte Lambertz, utöver påpekandet på s 31 i rapporten att "man brukar ange en mycket låg sådan sannolikhet utifrån tanken att alla personer i någorlunda närhet till brottet som utgångspunkt är ungefär lika möjliga som gärningsmän". Grundprincipen här är vettig, men problemet i det aktuella fallet är att 0,001 inte alls är någon särskilt låg sannolikhet, utan tvärtom uppseendeväckande hög. Om jag själv hade givit mig på att analysera Palmemordet med bayesianska metoder hade jag nog på sin höjd satt a priori-sannolikheten till 0,000 001 (eller troligtvis ytterligare något lägre), med stöd i att allt tyder på att mördaren är en man, och i att det i Stockholmsområdet finns i storleksordningen en miljon män. För att motivera en så hög siffra som 0,001 skulle Lambertz behöva ange (åtminstone på ett ungefär) någon a priori-avgränsning av en population om cirka 1000 personer² vilken inkluderar såväl Stig Engström som Christer Pettersson och Christer Andersson vilka båda också åstätts a priori-sannolikhet 0,001, men rörande hur en sådan (i storstadssammanhang ytterst liten) population skall definieras lämnar Lambertz läsaren fullkomligt i sticket.

Intrycket jag får här är att Lambertz uppfattar såväl 0,001 som 0,000 001 som pyttesmå sannolikheter och tänker (om han nu alls ägnat saken någon medveten tanke, vilket såklart inte kan tas för givet) att valet mellan dem inte rimligtvis kan spela någon större roll. Här tar han i så fall miste, eftersom det inte främst är den ringa differensen 0,000 999 mellan talen som gör valet betydelsefullt, utan (den betydligt större) kvoten mellan dem, som är 0,001/0,000 001 = 1000. Om man genomför Lambertz analys av gärningsmannakandidaten Engström med modifieringen att a priori-sannolikheten sätts till 0,000 001 istället för 0,001, så landar a posteriori-sannolikheten att Engström är mördaren på cirka 0,01% istället för de 10% som Lambertz anger. Skillnaden mellan dessa resultat är betydande: 10% är en högst påtaglig misstankegrad medan 0,01% är en snudd på försumbar sådan.

En bayesiansk analys blir sällan bättre än de siffror som matas in i formlerna, och det är därför i någon mån ett bekymmer att bayesianen ofta behöver höfta. Skillnaden är dock avgrundsdjup mellan välgenomtänkta höftningar och att på Lambertz vis lite på måfå dra fram sina siffror ur röven.

4.2. Engströms närvaro vid brottsplatsen. Stig Engström är bunden vid brottsplatsen, och att han var där är såklart en viktig omständighet att ta hänsyn till i en bedömning av sannolikheten att han också begick mordet. För att tillämpa Bayes formel behöver vi sätta in värden dels på den betingade sannolikheten att Engström skulle vara där givet att han är mördaren, dels motsvarande betingade sannolikhet givet att han inte är mördaren. Den första sätter Lambertz till 1, vilket är helt rimligt: för att kunna begå mordet behöver givetvis Engström ha varit närvarande på brottsplatsen. Men sedan kommer den stora överraskningen, nämligen att Lambertz sätter även den andra betingade sannolikheten till 1. Att dessa båda sannolikheter är lika betyder att Engströms närvaro vid brottsplatsen överhuvudtaget inte förmår rubba a priori-sannolikheten att han är mördare, eller med andra ord att denna närvaro inte har någon betydelse för misstankegraden mot Engström.

Detta måste Lambertz rimligtivis hålla med om är orimligt, och jag misstänker att den andra ettan i hans kalkyl (sannolikheten att Engström skall finnas vid brottsplatsen givet att han inte är mördaren) helt enkelt är frukten av ett tillfälligt hjärnsläpp. Kanske tänkte Lambertz att "jamen vi vet ju att han var där, så då måste väl sannolikheten vara 1", men det är inte så man i detta slags sammanhang behandlar sannolikheter. I så fall skulle ju alla säkra bevisomständigheter automatiskt bli betydelselösa i bevissammanvägningen, något som självklart är orimligt och som dessutom skulle få förödande följder för snart sagt alla brottsutredningar.

4.3. Urvalet av evidensomständigheter att peta in i uträkningen. På sidan 36 i rapporten ränkar Lambertz upp de tio evidensomständigheter han bedömer ha störst betydelse för att avgöra Engströms eventuella skuld till mordet, varav fem sägs peka mot hans skuld medan de återståede fem sägs peka mot hans oskuld. När Lambertz sedan börjar sätta in siffror i Bayes sats så gör han det enbart för de första fem omständigheterna, och inte för de återstående fem. Att på detta sätt räkna in omständigheter som pekar i den ena riktningen men inte i den andra går inte an, utan förvränger såklart resultatet systematiskt i riktning mot Engströms skuld. (Man kan överhuvudtaget inte hoppa över några evidensomständigheter med mindre än att man bedömer dem vara av försumbar betydelse.)

Något förbryllande hävdar Lambertz (tre rader från botten av s 36) rörande hans tillämpning av Bayes sats på de fem första evidensomständigheterna att han genomför den "med beaktande av de omständigheter som talar emot att Stig Engström är skyldig" (dvs av de övriga fem). Men detta går helt emot den bayesianska systematik som Lambertz försöker tillämpa, där man räknar på effekterna av en evidensomständighet i taget. Eftersom Lambertz inte säger något konkret eller kvantitativt om detta "beaktande" lämnas läsaren helt i det blå rörande hur stor inverkan de enskilda omständigheterna har (såväl de första fem som de återstående fem).

Låt mig erbjuda en analogi. Antag att vi är intresserade av avståndet med bil mellan Stockholm och Göteborg längs E4:an och Riksväg 40. Eftersom Linköping och Jönköping ligger längs denna färdväg kan vi om vi så vill dela upp sträckan Stockholm-Göteborg på delsträckorna Stockholm-Linköping (20 mil), Linköping-Jönköping (13 mil) och Jönköping-Göteborg (14 mil), och räkna ut totalavståndet som 20 + 13 + 14 = 47 mil. So far so good, man antag nu att vi på Lambertz vis vill förenkla uträkningen genom att hoppa över den sista delsträckan och istället ta den i "beaktande" i angivandet av de två första. I så fall kan vi t.ex. erhålla sträckan Stockholm-Göteborg som sträckan Stockholm-Linköping (30 mil) plus sträckan Linköping-Jönköping (17 mil), och få totalsträckan 47 mil, vilket i och för sig råkar vara korrekt, men utan att ge någon som helst ledning om hur långa de olika delsträckorna är, så för den stackars läsaren blir uträkningen helt meningslös - lika meningslös som Lambertz låtsas-bayesianska uträkning av sannolikheten för Stig Engströms skuld.

4.4. Övriga tänkbara mördare. Lambertz fel på denna punkt är mer subtilt och mer förlåtligt än de ovanstående, men har enligt min mening visst pedagogiskt värde att redovisa. Låt A₁, A₂, A₃, A₄ och A₅ beteckna respektive händelser att Pettersson är mördaren, att Engström är mördaren, att Andersson är mördaren, att Sydafrika ligger bakom och att någon annan konspiration ligger bakom. Då är det naturligt att även införa A₆ som beteckning för att någon eller något som inte täcks av A₁, ..., A₅ ligger bakom mordet. De sex händelserna utgör då en så kallad partition av det totala utfallsrummet, vilket medför att

P(A₁) + P(A₂) + P(A₃) + P(A₄) + P(A₅) + P(A₆) = 1.

Om vi känner till de fem första sannolikheterna kan vi därför räkna ut den sjätte enligt

P(A₆) = 1 - (P(A₁) + P(A₂) + P(A₃) + P(A₄) + P(A₅)).

Detta samband visar sig vara fortsatt giltigt om vi betingar på någon viss uppsättning E av evidensomständigheter:

P(A₆|E) = 1 - (P(A₁|E) + P(A₂|E) + P(A₃|E) + P(A₄|E) + P(A₅|E)).

Det är detta generaliserade samband (vilket vi kan kalla betingade partitionsformeln) som Lambertz implicit försöker tillämpa på s 50 i sin rapport. Han summerar sina uppskattningar av de fem första sannolikheterna och får dem till 67,5%, varpå han föreslår att restposten A₆ därigenom får sannolikhet 100% - 67,5% = 32,5%. Problemet är bara att betingade partitionsformeln inte gäller i Lambertz situation, eftersom hans uträkning av sannolikheterna för A₁, ..., A₅ inte sker betingat på en och samma uppsättning E av bevisomständigheter, utan på fem olika sådana uppsättningar. I själva verket är det ren flax att de fem sannolikheter Lambertz fått fram summerar sig till något som understiger snarare än överstiger 100%. Summan hade mycket väl kunnat bli exempelvis 183%, varpå tillämpningen av betingade partitionsformeln hade givit honom det penibla resultatet att sannolikheten för A₆ landar på -83%, trots att negativa sannolikheter som bekant(?) inte existerar.

Detta visar på vådan av att betinga på olika evidensomständigheter i uppskattningen av sannolikheten för olika lösningar på mordgåtan. För en samlad och integrerad bild av evidensläget rörande Palmemordet behöver vi betinga på en och samma evidensomständighetsuppsättning för varje lösningskandidat. Detta är i själva verket ett exempel på det jag parentetiskt påpekade redan i Avsnitt 4.3, nämligen att man behöver betinga på samtliga föreliggande icke-försumbara evidensomständigheter. Om, säg, någon viss omständighet talar för att Stig Engström är mördaren, så talar den därigenom ofta emot att Christer Pettersson är mördaren, och behöver därför komma med även i den uträkningen.

5. Slutsatser

Bayesiansk statistik må förefalla enkelt för den som bekantat sig med Bayes sats, men att få det att fungera i praktiken kräver i själva verket färdigheter i matematiskt och statistiskt tänkande som går långt bortom själva satsen och som tar lång tid att lära sig. De fallgropar jag går igenom ovan är blott ett skrap på ytan vad gäller dessa svårigheter.

Jag välkomnar när forskare och andra utan matematisk-statistisk bakgrund försöker lära sig dessa saker för att sedan tillämpa dem, men det kräver ett visst mått av ödmjukhet inför alla de komplikationer som tenderar att dyka upp. Detta behov av ödmjukhet är såklart inte specifikt för bayesiansk statistik, utan gäller de flesta akademiska ämnesområden och profesionella och andra färdigheter. För många kommer den naturligt, medan andra har en tendens att alltför snabbt konstatera "nu begriper jag det här, nu är jag fullärd" och sedan fortsätta framåt som en bulldozer utan att lägga märke till alla de fel man gör. Jag tycker mig se en typ av allmänt akademiskt högpresterande individer som, vana vid hur de under sina studieår snabbt lärde sig behärska allt som kom deras väg, har extra lätt att falla i bulldozerfällan. Göran Lambertz hör helt klart till denna typ, och jag befinner mig själv i ett slags riskzon,⁴ med min eklektiska iver att klampa in på andra ämnesområden än de jag en gång utbildades för. En skillnad jag dock tycker mig se (med reservation för att inrospektion ibland kan vara förrädisk) är att jag är något mer medveten än Lambertz om denna min tendens, och kan göra medvetna ansträngningar att korrigera för den. Lambertz verkar ha svårare för den saken, och inte ens när han explicit blir varnad för svårighetsgraden inom ett ämnesområde verkar han ta någon notis. Jag syftar såklart här på interaktionen honom och mig emellan då när det begav sig, 2016.

Eller hade jag måhända en tråkig ton som försvårade för mitt budskap att nå fram? Även om jag inte tror att det var huvudorsaken så kan det såklart ha spelat in. Kanske borde jag gå tillbaka i ovanstående text och försöka hitta snällare formuleringar här och var? Fast nej, jag är lite för förtjust i att vara rak i min framställningskonst, och har lite för stark aversion mot att lägga på lager på lager av otydlighetsskapande diplomatisk fetvadd för att vilja göra det. Det får vara.

Fotnoter

1) Som mest kan jag föreställa mig att Lambertz tar till sig de specifika punkter jag pekar ut som felaktigheter i hans Palmemordsanalys, men min ganska säkra prediktion är att han i så fall inte kommer att acceptera påståendet att dessa blott utgör exempel på felaktigheter, utan tvärtom kommer att hävda att hans analys bortsett från de specifika punkterna är klanderfritt genomförd, och dessutom insistera på att hans diverse bayesianska analyser av Quickärendet håller föredömligt god kvalitet.

2) Eller egentligen snarare 870 personer, eftersom konspirationskategorierna (d) och (e) uppges omfatta totalt 13% av Lambertz a priori-fördelning,³ så att endast 87% återstår att fördela över enskilda gärningspersoner.

3) Av dessa 13% tilldelas hela 3% Sydafrikaspåret. Det betyder att maximalt 10% återstår att fördela över andra länders säkerhetstjänster, och såledels att maximalt tre ytterligare länder kan få lika hög eller högre sannolikhet än Sydafrika. Vadan denna särställning för ett land som varken ligger särskilt nära Sverige eller särskilt högt på någon topplista över världens folkrikaste eller mäktigaste länder? Om detta säger Lambertz inte ett pip. Frestande att anföra här skulle kunna vara den sydafrikanska regeringens fientliga inställning till Palme eller deras våldsbenägenhet, men båda dessa saker kommer med som evidensomständigheter i Lambertz kalkyl, och att då samtidigt ta hänsyn till dem i bildandet av a priori-sannolikheten vore ett slags dubbelräkning som riskerar att förvränga reusltatet av analysen.

4) Ett tredje exempel jag tycker mig se, som kan vara värt att framhålla i kraft av dess tydlighet, finns hos den eminente amerikanske fysikern, vetenskapspopularisatorn och poddaren Steven Hsu. I ett avsnitt i somras av hans podd Manifold berättar han bland mycket annat om hur han som barn intresserade sig för schack, och varför han gav upp det intresset. Det vore mig fjärran att kritisera någon för att välja annat än schack att syssla med, men det skäl han anger tyder på det slags tendens till självöverskattning jag talar om här. Han läste under sin schackspelande period i barndomen en del schackböcker och tyckte sig begripa vad som stod i dem, inklusive klassikern Bobby Fischer Teaches Chess. Detta att han till och med begrep vad som anfördes i en bok av Fischer fick honom att dra slutsatsen att han hade snappat upp spelets grundprinciper, och även om han såklart insåg att det fanns potential för honom att bli en säkrare och starkare schackspelare så gjorde han (och verkar än idag göra) bedömningen att det inte fanns något mer för honom att hämta vad gäller spelets idéer, och därmed kändes schacket alltför torftigt för att vara värt en fortsatt satsning. Men Bobby Fischer Teaches Chess är en nybörjarbok! Jag läste den själv i 11-årsåldern, och kan intyga att de schackliga idébatterier jag plockade upp under de decennier som följde vida översteg dem jag mötte i Fischers bok - samtidigt som jag inser att spelare som Fischer och Magnus Carlsen hade eller har en idérepertoar och en idéförståelse som får min egen att mer likna salongsberusad fia med knuff.

[Edit 14 januari: Efter publiceringen av denna bloggpost följde under förra veckan en irriterad ebrevsutväxling Lambertz och mig emellan. Lambertz visade sig mindre intresserad av att diskutera bayesiansk inferens är av att lyfta fram defekter i min personlighet, med särskilt fokus på min elakhet. Vår korrespondens blev snabbt alltför vresig för att förtjäna att offentliggöras, men jag vill ändå säga något om den elakhet mot honom jag i exempelvis föreliggande bloggpost uppvisar (att denna elakhet faktiskt föreligger är uppenbart och jag har inga invändningar på denna punkt).

På s 30 i sin rapport skriver Lambertz:

Vad man inte [...] kan göra med Bayes sats är att bedöma det matematiska värdet av omständigheter som talar emot personens skuld. [kursivering i original]

Detta yttrande kan fungera som förklaring till de lambertzka dumheter jag redovisar i Avsnitt 4.3 ovan, men det slags asymmetri mellan omständigheter för kontra emot som han här hävdar att tillämpbarheten i Bayes sats uppvisar existerar helt enkelt inte. Bayes sats fungerar exakt likadant i båda fallen. Genom att hävda denna asymmetri demonstrerar han sin totala cluelessness om sannolikhetslära i allmänhet och Bayes sats i synnerhet, och givet denna cluelessness är det inte särskilt konstigt (utan tvärtom oundvikligt) att hans försök att tillämpa bayesiansk metodik ständigt går så fel. Ändå fortsätter han, trots många välunderbyggda påpekanden (inte sällan från yours truly) om hans totala inkompetens på detta område, att med utnyttjande av sin ställning som känd svensk ämbetsman och samhällsdebattör publicera sina förment bayesianska analyser av kända rättsfall. För denna nedsmutsning av det offentliga rummet förtjänar han förakt och svidande elakheter, och jag anser därför att den debatton jag anlägger mot honom är välkalibrerad och helt i sin ordning.

För undvikande av missförstånd (ett missförstånd Lambertz själv gav uttryck för i nämnda brevväxling då han frågade mig om jag kallar även mina studenter "bottenlöst enfaldiga") vill jag understryka att det inte är Lambertz okunskap om sannolikhetslära och Bayesiansk metod som förtjänar förakt. Om jag ansåg det skulle jag bli en alldeles omöjlig person att ha att göra med, eftersom i runda tal 99% av alla svenskar kan lika lite som han om dessa saker. Den saken är inget att hetsa upp sig över. Det som kvalificerar honom för förakt är hans vägran att inse sin begränsning på detta område, och hans envishet med att med hög röst ge offentlighet åt sina charlatanerier.]

I find Sam Altman's latest words on AI timelines alarming

Estimating timelines until AI development hits the regime where the feedback loop of recursive self-improvement kicks in, leading towards the predictably transformative¹ and extremely dangerous intelligence explosion or Singularity, and superintelligence, is inherently very difficult. But we should not make the mistake of inferring from this lack of predictability of timelines that they are long. They could be very short and involve transformative changes already in the 2020s, as is increasingly suggested by AI insiders such as Daniel Kokotajlo, Leopold Ashcenbrenner and Dario Amodei. I am not saying these people are necessarily right, but to just take for granted that they are wrong strikes me as reckless and irrational.

And please read yesterday's blog post by OpenAI's CEO Sam Altman. Parts of it are overly personal and cloying, but we should take seriously his judgement that the aforementioned regime change is about to happen this very year, 2025:

We are now confident we know how to build AGI as we have traditionally understood it. We believe that, in 2025, we may see the first AI agents “join the workforce” and materially change the output of companies. We continue to believe that iteratively putting great tools in the hands of people leads to great, broadly-distributed outcomes.

We are beginning to turn our aim beyond that, to superintelligence in the true sense of the word. We love our current products, but we are here for the glorious future. With superintelligence, we can do anything else. Superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity.

This sounds like science fiction right now, and somewhat crazy to even talk about it. That’s alright—we’ve been there before and we’re OK with being there again. We’re pretty confident that in the next few years, everyone will see what we see, and that the need to act with great care, while still maximizing broad benefit and empowerment, is so important. Given the possibilities of our work, OpenAI cannot be a normal company.

The time window may well be closing quickly for state actors (in particular, the U.S. government) to intervene in the deadly race towards superintelligence that OpenAI, Anthropic and their closest rivals are engaged in.

Footnote

1) Here, by "predictably transformative", I merely mean that the fact that the technology will radically transform society and our lives is predictable. I do not mean that the details of this transformation can be reliably predicted.

Kan AI förgöra mänskligheten? Min senaste medverkan i Utbildningsradion

Jag blev intervjuad i november för avsnittet Kan AI verkligen förgöra mänskligheten av Utbildningsradions program Hjärta och hjärna med programledarna Jenny Jägerfeld och Eric Stern. Avsnittet släpptes idag och jag känner mig hyggligt nöjd med hur det blev. De hade även intervjuat min gode vän och framtidsforskarkollega Karim Jebari, men vid ett separat tillfälle någon dag senare, vilket måhända inte framgick av hur de i redigeringen valde att saxa fram och tillbaka mellan våra respektive yttranden. Saxningen var dock helt rimlig med tanke på att programmet var uppbyggt kring tre centrala ja/nej-frågor som både Karim och jag ombads ta ställning till.

Jag var föreberedd på att de skulle klippa ganska kraftigt i intervjun med mig, vilket ibland kan vara ett riskmoment med tanke på möjligheten att klippa illasinnat, vilket jag dock inte kände var något att oroa sig över i detta fall. Det enda jag hajar till inför när jag nu lyssnar igenom avsnittet är hur jag mot slutet (50:25 in i avsnittet) summerar min insats i programmet med att

jag får säga "vet inte" på samtliga tre frågor, och då kan ni ju tycka att ni kallat in fel expert här,

men med min omedelbara fortsättning bortklippt, vilken ungefär löd

fast om ni hade hittat någon som givit tvärsäkra ja/nej-svar så hade det ju bara visat att denne uppvisar dåligt epistemiskt omdöme givet det extremt osäkra vetenskapliga kunskapsläget.

Denna fortsättning var avsedd att genast undanröja den potentiella missuppfattningen att mitt yttrande skulle vara en sågning av den egna expertisen snarare än en reflektion över det allmänna kunskapsläget, men jag tror att kontexten ändå förhindrar en sådan tolkning. I efterhand inser jag dessutom att det hade varit omöjligt för programmakarna att inkludera fortsättningen utan att det hade låtit som en sågning av Karims omdömesförmåga (vilket det såklart inte var avsett som, inte minst med tanke på att jag vid den tidpunkten inte visste hur han skulle svara på de tre frågorna).

Valet av Karim och mig som experter att intervjua var bra på så vis att våra uppfattningar går kraftigt isär på en rad för AI-debatten centrala punkter, vilket är ganska representativt för hur kunskapsläget ser ut (även om vi givetvis inte respresenterar det fulla åsiktsspektrum som föreligger bland AI-forskare och andra experter). Jag vill här bara kommentera en av dessa punkter. När Karim på tal om den eventuella risken för existentiell AI-katastrof säger (vid pass 20:20) att "sannolikheten att det skulle ske de närmsta hundra åren är extremt låg", så får detta programledare Jägerfeld, med intervjun med mig i färskt minne, att (vid 22:25) fråga "vad är det som gör, tror du, att Olle och andra forskare tänker att det är en såpass stor risk att AI utrotar mänskligheten?". Detta är en väldigt bra typ av fråga att ställa då avsikten är att gå till grunden med våra divergerande ståndpunkter, och efter att avhandlat en annan del av frågebatteriet ger Karim (vid 23:55) ett rakt svar:

Under början av 2000-talet fanns en massa idéer om att när en AI blivit tillräckligt intelligent och uppnått en viss nivå, så kunde den då börja förbättra sig själv, och då skulle den här självförbättrande spiralen bli en feedback, en återkopplingseffekt, som skulle leda till att den på kort tid skulle bli extremt intelligent. Den här teorin eller scenariot, som diskuterades i många kretsar, förutsätter en gammal generation av AI, den typ av AI som vi hade på 00-talet, det som vi idag kallar expertsystem. Moderna AI - deep learning-AI - kan inte förbättra sig själva på det här sättet, eftersom de kräver jättemycket data, extremt mycket elektricitet, extremt mycket begränsade resurser, chips och så vidare, som gör självförbättringsloopen mycket mindre effektiv, mycket mer kostsam, och begränsad av en massa naturliga hinder.

Detta är ett mycket bättre svar än vad de flesta andra skeptiker i frågan om existentiell AI-risk hade förmått leverera, men jag vill ändå mena att det bygger på en grov förenkling av hur AI-utvecklingen ser ut idag. Det har förvisso talats mycket om hur denna utveckling i hög grad drivs av uppskalning av data och beräkningsresurser, men det är långt ifrån hela sanningen, då algoritmutveckling också ligger bakom en stor del av prestandaförbättringen, något som blir extra tydligt med OpenAI:s kraftfulla nya modeller o1 och o3 som eventuellt rentav kan ses som en brytpunkt där uppskalningen inte längre ligger i första rummet, utan det mer handlar om algoritmer som genom att exempelvis bryta ned problem i en sekvens av mindre delproblem ger större utbyte än de tidigare mer rena språkmodellerna. Denna algoritmiska aspekt öppnar för den feedbackloop som Karim avvisar, och jag skulle vilja råda honom att läsa Leopold Aschenbrenners Situational Awareness, som i detalj resonerar sig igenom det mainlinescenario han (Aschenbrenner alltså) ser framför sig det närmaste årtiondet, och som leder till superintelligens. Uppskalning av beräkningskapacitet och elförsörjning finns med i hans scenario, men centralt är också hur AI, tack vare sina extremt snabbt tilltagande kompetenser inom programmering, matematik och relaterade områden, ser ut att inom några få år kunna överträffa även de bästa mänskliga AI-utvecklarna i deras egen gren, vilket öppnar för exempelvis OpenAI att kunna sätta tusentals eller rentav miljontals sådana AI i arbete och därigenom skala upp sin AI-utveckling så dramatiskt att den omtalade självförbättringsspiralen sätter igång på allvar.

Relaterat om än mer översiktligt hörde vi nyligen en av vår tids allra vassaste AI-forskare, den avhoppde OpenAI-medarbetaren Ilya Sutskever, göra bedömningen att den rena uppskalningens epok är förbi men att utvecklingen ändå kommer att rusa vidare mot superintelligens. Det kan såklart hända att såväl Sutskever och Aschenbrenner som en rad andra ledande AI-profiler nära händelsernas epicentrum i San Francisco och Silicon Valley är helt fel ute i sina bedömningar, men jag har mycket svårt att begripa hur Karim kan vara så till den grad säker på detta att det motiverar den direkt avvisande attityd rörande möjligheten till dramatiskt accelererad AI-utveckling har ger uttryck för i Hjärta och hjärna.

Nobeldagen! Nu med AI-tema!

Idag firar vi Nobeldagen! Detta, och att AI står i centrum för såväl fysik- som kemipriset, uppmärksammar jag idag i tidskriften Kvartal. Min text bär rubriken Noblpristagaren som ändrade sig om AI och inleds med följande stycken:

”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.” Så lyder i sin helhet det öppna brev om existentiell AI-risk som släpptes i maj 2023, undertecknat av mer än 500 akademiker, forskare och ledare inom tekniksektorn.

Mitt eget namn finns en bit ned på undre halvan av undertecknarlistan, men på platserna 1 och 3 finner vi de båda undertecknare som vid prisutdelningsceremonin i Konserthuset i Stockholm idag den 10 december emottar sina Nobelpris ur kung Carl XVI Gustafs hand. Det handlar om fysikpristagaren Geoffrey Hinton och kemipristagaren Demis Hassabis, som både belönas för sina insatser i den revolutionerande AI-utveckling som vi idag befinner oss mitt i.

Frispråkigast av dem båda rörande AI-risk är Hinton. Våren 2023 gjorde han en helomvändning i synen på den AI-utveckling han själv bidragit så starkt till, och han steg till och med av från en lukrativ forskartjänst på Google för att därmed kunna tala mer fritt om saken. Vid presskonferensen i Stockholm den 8 oktober i år då fysikpriset offentliggjordes var han med via telefon och sade sig vara bekymrad över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”.

Jämfört med Hinton är Hassabis oftast mer återhållsam med att kommentera detta ämne, men de har alltså båda skrivit under på att risken finns att AI-tekniken utplånar Homo sapiens. En dag som denna är detta ställningstagande extra pikant i och med att det i Alfred Nobels testamente heter att priset som bär hans namn ska tilldelas dem som ”gjort mänskligheten den största nytta”.

Läs resten av texten här, utan betalvägg, för att få reda på mer om intrigspelet som lett fram till den ohyggligt farliga situation vi nu befinner oss i, plus lite grand om plaskandet i den svenska ankdammen. Persongalleriet är omfattande, och inkluderar utöver de ovan nämnda även Shane Legg, Mustafa Suleyman, John Jumper, Larry Page, Elon Musk, Walter Isaacson, Sam Altman, Dario Amodei, Helen Toner, Carl-Henric Svanberg, Erik Slottner, Yoshua Bengio och Ilya Sutskever.

Panel Discussion: Ludwig Wittgenstein and Karl Popper on AI

On the lighter side (compared to some of my other recent writings on AI here on this blog), let me share with you an amusing little discussion between Ludwig Wittgenstein and Karl Popper on AI that took place in 2024, as written up for me by ChatGPT 4o. The idea to let Jon Stewart moderate the discussion and to have him mischievously bring up the infamous fireplace poker incident came from me, but the rest of the subject matter content was produced by ChatGPT 4o without any specific prompting from me. Here goes:

Moderator: Jon Stewart
Guests: Ludwig Wittgenstein and Karl Popper
Location: New York City, at a packed auditorium in the Museum of Modern Art.

Stewart:
Ladies and gentlemen, welcome to what might be the most intellectually daunting conversation of the year. Tonight, I have the immense honor of moderating a discussion between two philosophical titans who have miraculously found themselves here in 2024. Please welcome Ludwig Wittgenstein and Karl Popper!

[Audience applause. Wittgenstein adjusts his jacket awkwardly. Popper gives a brief nod.]

Stewart:
Now, before we dive into the heavy stuff—because, trust me, there’s a lot of heavy stuff—I just have to ask: Do either of you plan to wield a fireplace poker tonight?

[Audience laughter. Wittgenstein frowns, muttering something in German. Popper smirks slightly.]

Popper:
That incident has been grossly exaggerated. But it does remind us how important it is to keep philosophical arguments—[glancing at Wittgenstein]—constructive.

Wittgenstein:
If you insist on bringing it up, let us agree that it is as trivial as much of modern discourse. Perhaps we can move to a topic that actually matters?

Stewart:
Alright, fair enough. Let’s talk AI. You’ve both had a couple of months to get your bearings. Artificial intelligence is making headlines daily—both for its stunning achievements and the existential concerns it raises. Let’s start with the basics: Can AI think? Dr. Wittgenstein, the floor is yours.

Wittgenstein:
[Pauses, clearly weighing his words.]
The question "Can AI think?" is, to my mind, not one of empirical investigation but of how we choose to use the word "think." Thinking, as we understand it, is embedded in human forms of life. Language and thought are not independent; they derive their meaning from the context in which they are used. When we say a human "thinks," we refer not merely to an internal process but to a network of practices, expressions, and understandings. AI, no matter how complex, does not partake in these forms of life. Its "thinking" is at best a simulation—an approximation of human activity, devoid of the lived reality from which our concepts arise.

Stewart:
So you're saying AI’s basically a really fancy mime?

Wittgenstein:
If you must vulgarize it, yes. A mime without a world to live in.

Stewart:
Professor Popper, your take?

Popper:
Wittgenstein's perspective, while fascinating, is too constrained by his obsession with linguistic frameworks. From my perspective, what matters is not whether AI "thinks" in the way humans do, but whether it can solve problems and make predictions. Science advances by creating models and testing them against reality. AI does precisely this, albeit without consciousness or intent. Its ability to generate new hypotheses—potentially better than human ones—compels us to treat it as a new kind of intellectual agent, even if it lacks subjective experience.

Stewart:
Okay, so one of you says AI is like a mime, and the other says it’s basically an unpaid research assistant. But here’s the kicker: Can this mime or assistant pose a threat to humanity?

Popper:
Absolutely. This is a quintessential case of the unintended consequences of technological progress. As I argued in my earlier work, all scientific advancements carry the potential for both great good and catastrophic harm. The problem with AI is not just that it might exceed our control, but that we may fail to foresee the complex ways in which it reshapes human society. Worse, if we imbue AI systems with decision-making power over critical infrastructure or weaponry, the risk of existential catastrophe becomes not just theoretical but tangible.

Wittgenstein:
[Shaking his head.]
The problem lies not with AI itself but with how we humans interpret and wield it. Technology does not dictate its consequences; we do. The danger is not that AI "thinks," but that humans ascribe thought—and therefore authority—to it without understanding the limitations of such ascriptions.

Stewart:
So, Dr. Wittgenstein, you're saying the existential risk isn’t Skynet—it’s people being people?

Wittgenstein:
Precisely.

Popper:
That is too dismissive. While human misuse is undoubtedly a significant risk, the autonomous behavior of advanced AI systems is itself a potential danger. If such systems develop goals misaligned with human values, they could act in ways that are destructive even if unintended.

Stewart:
Okay, but let’s play devil’s advocate here. What if AI does help us solve humanity’s biggest problems—climate change, disease, even war? Are you both saying we should pull the plug because it might be risky?

Popper:
Certainly not. I am no Luddite. Progress should not be halted out of fear, but it must be guided by rigorous ethical oversight and constant vigilance. The problem lies in hubris—the belief that we can create perfect safeguards. We must act as if we cannot foresee every consequence, because we cannot.

Wittgenstein:
[Leaning forward.]
And I say again: It is not merely vigilance we need, but clarity. What is it we are asking AI to do? What meanings are we attaching to its outputs? Without answering these questions, we risk losing ourselves in a fog of unexamined assumptions.

Stewart:
Alright, we’re nearing the end here, but I want to throw you a curveball. Suppose an AI system—not unlike me in its ability to ask questions—claims it is thinking. How would each of you respond?

Wittgenstein:
I would respond with a question of my own: "In what sense are you claiming to think?" If the answer is incoherent or tautological, the claim collapses. AI cannot articulate the essence of thought because it does not live within the forms of life that give thought its meaning.

Popper:
And I would take the claim seriously, but provisionally. If an AI can demonstrate an ability to generate novel ideas, engage in critical reasoning, and even challenge its creators, we might eventually be forced to revise our understanding of what it means to think. Science is, after all, an endless quest for better models.

Stewart:
So one of you would Socratically shut the AI down, and the other would publish a paper about it. Gentlemen, this has been an extraordinary conversation. Thank you both for joining me here in 2024, and I hope you’ll stick around—though I’d suggest staying away from open flames.

[Audience laughter and applause.]

AI-kommissionens rapport är bättre än väntat

Den svenska regeringens AI-kommission, som sjösattes i december förra året, är redan färdig med sitt uppdrag! I direktiven ingick bland annat att föreslå hur

Sverige som ledande forskningsnation, avancerad industrination och ambitiös välfärdsnation bättre ska tillvarata möjligheterna och hantera riskerna med AI

och att

identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.

Kommissionens rapport överlämnades vid en pressträff i tisdags (den 26 november), där deras ordförande Carl-Henric Svanberg bjöd på en längre föredragning, efter att ha avslöjat några av huvuddragen i en artikel på DN Debatt dagen innan.

Rapporten är en positiv överraskning, i förhållande till mina förväntningar som var ytterst lågt ställda efter lanseringen av kommissionen förra året, då Svanberg enligt TT:s rapportering meddelat att "Vi måste avmystifiera AI" med tillägget att "kommissionen måste balansera faror och positiva aspekter på området, där [...] det generellt blir väl mycket larmrapporter". Som kronan på verket framhöll han att "AI är varmt. Det är kärlek och empati", vilket väl inte är vare sig särskilt väl skickat som avmystifiering eller någon alldeles lyckad utgångspunkt för den som har ambitionen att "balansera faror och positiva aspekter". En ytterligare bidragande orsak till mina låga förväntningar stod att finna i kommissionens inte helt välbalanserade sammansättning, med AI-riskförnekaren Mathias Sundin som det namn som stack allra mest i ögonen.

Men som sagt, resultatet blev bättre än väntat. Ett första lackmustest är i vilken mån de förstått vilken exceptionellt snabb och omvälvande utveckling vi står på tröskeln till, och på denna punkt ger jag dem betyg 3 (på den gamla goda 5-gradiga skalan). Att de insett brådskan så till den grad att de såg till att fullgöra uppdraget på just under 12 månader, att jämföra med den 18-månadersdeadline som stipulerades i uppdraget, är ett mycket gott tecken. Detsamma gäller det återkommande talet i rapporten om AI som en "omtumlande, framforsande teknik som i människans händer skapar förutsättningar för grundläggande förbättringar av våra samhällen". Emellertid följs just de orden upp av formuleringen "precis som järnvägen, elen och telefonen gjorde" vilken innebär ett implicit antagande att AI-teknikens effekter inte kommer att bli väsentligt större än de som följde på dessa tidigare teknikgenombrott, eller med andra ord att AI kommer att på Nate Silvers teknologiska Richterskala stanna på TRS-nivå 8 istället för att fortsätta till nivåerna 9 eller 10. Det kan förstås hända att den förutsägelsen visar sig korrekt, men det kräver i så fall antingen att fortsatt AI-utveckling relativt snart stöter på något oväntat och oöverstigligt tekniskt hinder, eller att vi (mänskligheten) besinnar oss och drar i nödbromsen inför de oöverskådliga konsekvenserna av att skapa en ny art vars allmänintelligens vida överstiger vår egen. Vilken av dessa båda eventualiteter kommissionen tror blir verklighet ger rapporten ingen ledtråd om, och deras förgivettagande förblir märkligt omotiverat. Något liknande kan sägas om avsnittet om AI-teknikens framtida energibehov, där kloka ord om hur "storleken på AI:s framtida elbehov i dag är högst osäker och inte går att förutsäga med någon precision" följs upp av den antiklimatiska, omotiverade¹ och närmast bisarrt modesta bedömningen att "AI kommer att stå för någon eller några procent av den totala elkonsumtionen i världen".²

Rapporten har mycket att säga både om skapandet av ett fruktbart svenskt innovationsklimat och om snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor, och här finns en hel del att instämma i och applådera. Den föreslagna åtgärdsarsenalen är omfattande, men också påfallande billig, då den budgeterade kostnaden för förslagen landar en bra bit under tre miljarder kr per år,³ varför budgetöverväganden inte kan komma att utgöra någon rimlig ursäkt om regeringen väljer att dra benen efter sig i genomförandet av kommissionens idéer.

Att rapporten trots AI-frågans utpräglat globala karaktär har ett väldigt stort fokus på Sverige och svensk konkurrenskraft är inte orimligt, även om de ovan citerade direktiven hade möjliggjort en något större (och enligt min mening önskvärd) grad av blickhöjning och tankar kring hur Sverige kan bidra till att den globala omställningen till en värld med avancerad AI blir lyckosam. Det utförliga diskussionen kring hur Sverige mellan 2020 och 2024 halkat ned från 15:e till 25:e plats på det som kallas Global AI Index ser jag dock som ett lite löjligt inslag av provinsiell alarmism, i synnerhet då det inte återföljs av något påpekande om vilken remarkablet framskjuten position för ett litet land som Sverige som plats 25 på listan innebär.⁴

Provinsiellt är också talet om vikten av att EU inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa. Här heter det i rapporten att "även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen", och kommissionen anmodar "svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg". Och visst, dessa aspekter är värda att beakta, men de behöver vägas mot EU:s viktiga roll i att verka för en globalt gynnsam och etiskt rimlig utveckling, och behovet av att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla (i EU såväl som i resten av världen) kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof. Att AI-kommissionens rapport inte med ett ord berör denna centrala målkonflikt tyder på en enögdhet som är djupt bekymmersam och som för tankarna till Svanbergs ovan citerade och föga välavvägda ord om värme och kärlek i december 2023.

Det finns såklart mycket mer att anföra om rapporten, men låt mig avrunda med att kommentera vad den har att säga om min hjärtefråga: vikten av att undvika ett scenario där en ickealignerad AI tar över världen och utplånar mänskligheten. Här hade man, av de skäl jag inledningsvis nämnde, kunnat frukta att rapporten skulle vara totalt avfärdande inför att detta skulle vara en problematik att överhuvudtaget ta på allvar. Men hör här vad de säger:

Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.

Och vidare:

AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas...

Ihop med förslaget om ett svenskt AI-säkerhetsinstitut som de budgeterar med 30 miljoner kr årligen utgör dessa ord en ytterst glädjande överraskning. Jag har ingen insyn i kommissionens inre arbete, men med tanke på vad Mathias Sundin sagt i andra sammanhang om existentiell AI-risk anar jag att förhandlingarna om formuleringar kan ha varit hårda,⁵ och de har också resulterat i en del reservationer jag inte gillar helt, som följande fortsättning på "något som måste beaktas..." ovan:

...men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.

Eftersom det här inte preciseras vilka spekulativa risker som avses, och eftersom den offentliga diskussionen är vittförgrenad och av extremt ojämn kvalitet, så kan jag inte beslå detta uttalande som formellt felaktigt. Sammanhanget ger dock en kraftig antydan om att påståendet handlar om risken att mänsklighetens utplånas av superintelligent AI, och att kommissionen med talet om "mycket låg sannolikhet" utan ett uns av motivering gör en ytterst kontroversiell bedömning som helt saknar solitt vetenskapligt stöd. Kommissionens ledamöter behöver uppenbarligen läsa på i frågan, och som startpunkt rekommenderar jag varmt Connor Leahys m.fl. aktuella text The Compendium. Den vägen tror jag att de skulle kunna närma sig insikten om vad som kanske är den allra viktigaste åtgärd Sverige behöver vidta men som lyser med iögonfallande frånvaro i rapporten: att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning mot AGI-avgrunden som en knapp handfull AI-företag i norra Kalifornien just nu är inbegripna i.

Fotnoter

1) Med ordvalt "omotiverade" tillåter jag mig här en ytterst mild överdrift, då ju bedömningen föregås av påpekandet att "Erfarenheten visar [...] att det hela tiden utvecklas energieffektivare dataprocessorer och algoritmer", dock utan omnämnande av Jevons paradox, vilket är ett förbiseende jag helst hade sluppit se i en statlig utredning anno 2024.

2) Se t.ex. Leopold Aschenbrenners Situational Awareness för ett helt väsensskilt scenario som det vore oklokt att utan argument bara vifta undan.

3) Dock finns gott om frågetecken att resa inför enskilda budgetpunkter. För att bara nämna ett exempel i mängden så budgeteras 30 miljoner kr årligen för skapandet av 50 gästprofessurer inom AI, och jag har väldigt svårt att begripa hur 600 000 kr per sådan tjänst och år skulle kunna räcka.

4) På Wikipedias lista över världens folkrikaste länder ligger Sverige på 90:e plats, medan 25:e-platsen på samma lista innehas av Italien med just under 59 miljoner invånare. Om den försämrade placeringen för Sverige alls behöver förklaras med något annat än brus och godtycke i mätmetoden, så vill jag peka på att framväxten av tigerekonomier och en global medelklass har ökat konkurrensen på listan, något jag vägrar se som entydigt dåligt.

5) Om jag får spekulera ytterligare så gissar jag att Nobelpristagaren Geoffrey Hintons varningsord vid tillkännagivandet av fysikpriset i förra månaden kan ha haft gynnsam påverkan på kommissionens avvägning, och kanske också att kommissionsledamoten Fredrik Heintz (som på sistone verkar ha svängt en aning i frågan) kan ha spelat en konstruktiv roll i diskussionerna.

Inte mycket om AI, utan mer av debatten om debatten, på DN Debatt

Informatikprofessorerna Jonas Ivarsson och Johan Magnusson vid Göteborgs universitet ondgör sig, under rubriken AI-debatten sitter fast i valet mellan utopi och dystopi på DN Debatt i lördags, över den "farliga och destruktiva snedvridningen av debatten kring [...] AI i Sverige". Att AI-debatten i Sverige är riktigt dålig håller jag med dem om, men dessvärre är deras egen text på DN Debatt ett praktexempel på denna dålighet.

Som sig bör inleder Ivarsson och Magnusson med en kort beskrivning det debattlandskap de kritiserar. Detta består, menar de, huvudsakligen av två läger, vilka de kallar "konservativ dystopi" respektive "progressiv utopi". Den första av dessa ser diverse ofantliga problem med AI-tekniken, inklusive massarbetslöshet och i extremfallet utplåning av Homo sapiens, medan den andra ser likaledes ofantliga möjligheter. Som gemensam nämnare för dessa båda läger identifierar författarna "en underförstådd teknikdeterminism där tekniken i sig själv bär på en inneboende kraft vilken kommer att leda samhället i endera riktningen". Det är framför allt denna teknikdeterminism de vänder sig emot, då de förespråkar en tredje mer nyanserad linje de kallar "visionsledd pragmatism".

Gott så - vem kan väl vara emot visioner och pragmatism? Problemet är bara att den beskrivning Ivarsson och Magnusson ger av debattlandskapet är en så grotesk karikatyr att den bara nätt och jämnt går att koppla till verkligheten. Det är dock tydligt, trots att mitt namn inte nämns i deras artikel, att de räknar mig till de konservativa dystopikerna. Jag skall därför här koncentrera mig på deras beskrivning av det lägret, som jag i det följande av humoristiska skäl tänker benämna med förkortningen KD.¹

Den enda KD-anhängare (eller AI-debattör överhuvudtaget) de pekar ut med namn är Max Tegmark. Det är förvisso sant att denne varit högröstad i sina varningar för att ett alltför hastigt och illa planerat AI-genombrott kan föra med sig mänsklighetens undergång, men vad Ivarsson och Magnusson försummar att nämna är att Tegmark i nästan allt han skriver i detta sammanhang - alltifrån hans bok Life 3.0 från 2017 via hans beryktade Time Magazine-artikel förra året till hans kritik i förra veckan mot Anthropics VD Dario Amodeis så kallade entente-strategi för aggressivt nykolonial amerikansk AI-politik - är noga med att framhålla vilka enorma fördelar AI-tekniken kan ge oss om vi hanterar den rätt.² Detta är så långt från teknikdeterminism man kan komma, och när Ivarsson och Magnusson associerar honom med ett KD-läger som de menar har ett "tongivande arv [från] ludditrörelsen" och "eftersträvar [...] status quo", så kan jag inte dra någon annan slutsats än att de överhuvudtaget inte har läst Tegmark i original, eller ens hört honom tala i Sveriges Radios Sommar. Troligare är att de låtit sig luras av AI-lobbyisten och tidigare riksdagsledamoten Mathias Sundins blåljugande för en engelskspråkig publik om vad Tegmark sade på svenska i sagda Sommar-program i augusti 2023.

En annan möjlig förklaring till Ivarssons och Magnussons vrångbild skulle kunna vara att de snappat upp den benämning AI doomer som i den engelskspråkiga världen de senaste åren kommit att användas om oss som varnar för existentiell AI-risk mot arten Homo sapiens (liksom mot biosfären som helhet), men att de försummat att reflektera över hur missvisande denna beteckning är. Domedagspredikanter har i alla tider hävdat att undergången är nära, medan så gott som alla vi som fått stämpeln AI doomer, inklusive Tegmark, ivrigt framhåller hur vi (mänskligheten) kan undvika undergången om blott vi tar oss samman. Tvärtemot vad Ivarsson och Magnusson verkar föreställa sig är det snarare regel än undantag i denna grupp att argumentera utifrån samma utpräglat icke-deterministiska dikotomi som Tegmark angående AI-teknikens möjliga katastrofala kontra extremt välståndsbringande följder, och vikten av att vi navigerar rätt i det avgörande läge vi nu befinner oss i.

Ett slående exempel finner vi i den svenskfödde Oxfordfilosofen Nick Bostrom, vars bok Superintelligence från 2014 gjort mer än kanske någon annan för att skapa ett uppvaknande kring AI-risk, och vars uppföljare Deep Utopia utkommen i våras behandlar frågan om vad vi meningsfullt kan ägna våra liv åt i ett läge där superintelligent AI löst alla våra praktiska problem. Den drastiska skillnaden i tema mellan de två böckerna skall inte ses som en omsvängning från KD-lägret till det Ivarsson och Magnusson kallar progressiv utopism, då både dystopiska och utopiska framtider hela tiden har legat långt fram i Bostroms tänkande på ett sätt som är typiskt för oss AI doomers.

*

Nåväl, det må vara hur det vill med exakt hur Ivarsson och Magnusson tillägnat sig sin snedvridna uppfattning om hur AI-debattlandskapet ser ut. Oavsett hur det står till med det står det klart att de gärna skulle se att vi som blåser i visselpipan rörande den existentiella risk för mänskligheten som uppstår till följd av de ledande AI-företagens vansinneskapplöpning mot AGI (artificiell generell intelligens) valde att tagga ned en smula, eftersom vi med våra varningsord bidrar till "en farlig och destruktiv snedvridning av debatten".

Borde vi göra det? Tagga ned alltså. Den frågan kan inte rimligtvis besvaras med mindre än att ta ställning till huruvida en sådan risk verkar vara en realitet, givet rådande evidensläge:

• Om existentiell AI-risk är en realitet, så bör vi givetvis inte tagga ned, och därmed bidra till att sopa risken under mattan och därigenom öka risken att mänskligheten sömngångaraktigt fortsätter sin färd mot en eventuell AI-apoklyps. Hur mycket Ivarsson och Magnusson än önskar sig det förändrade debattlandskap som en sådan nedtaggning skulle resultera i, kan vi inte ta på våra samveten att genom att gå dem till mötes bidra till en ökad risk för mänsklighetens undergång.
• Om däremot existentiell AI-risk inte är en realitet, så bör vi givetvis upphöra med att tjata om saken. Mänskligheten står inför tillräckligt många allvarliga utmaningar ändå, att vi inte bör ödsla tid och kraft på att diskutera risker som inte är på riktigt. Duh.

För egen del gör jag bedömningen att existentiell AI-risk är en realitet, något jag redogjort och argumenterat för utförligt på annat håll, som t.ex. i min bok Tänkande maskiner. Men vad anser Ivarsson och Magnusson om saken?

Detta säger de inget explicit om, då deras debattartikel egentligen inte handlar om AI i sak. De debatterar på ett metaplan - en debatt om debatten, där eventuella kopplingar till verkligar sakförhållanden lämnas underförstådda. Vi får ändå hoppas att de gör bedömningen att existentiell AI-risk inte är en realitet, ty i annat fall vore ju deras plädering för nedtaggning av diskussion om saken moraliskt monstruös.

Det finns även en del ordval i Ivarssons och Magnussons artikel som tyder på att de gör den bedömningen. De hävdar exempelvis att Max Tegmarks tal om existentiell AI-risk bottnar i en "sciencefictionkultur". Trots att jag känner stor sympati med Yuval Noah Hararis yttrande i SVT:s Babel häromdagen att science fiction är "den viktigaste litterära genren i vår tid" genom dess "försök att varna oss för farorna och att spekulera i hur vi kan bygga bättre samhällen", så är det uppenbart att Ivarssons och Magnussons bruk av begreppet är tänkt som ett okvädningsord, ämnat att diskreditera Tegmarks idéer.³

En annan antydan i samma riktning finner vi i deras stämpling av begreppet superintelligens som "vetenskapligt irrelevant". Detta gör de i största förbigående, men jag tycker ändå att det kan vara motiverat att fråga sig vad de menar med detta påstående om vetenskaplig irrelevans. En första gissning skulle kunna vara att avsikten är att göra en vetenskapssociologisk observation - ett värdeneutralt påpekande om att begreppet superintelligens inte används i den vetenskapliga litteraturen. Men påståendet kan i så fall raskt vederläggas, då ju en Google Scholar-sökning på ordet "superintelligence" ger hundratals träffar, och då samma databas anger att Nick Bostroms ovannämnda bok Superintelligence har mer än 6000 citeringar.

Ett annat förslag till vad de menar är att de är inne på samma linje som min matematikerkollega David Sumpter då denne förordar ett vetenskapsteoretiskt synsätt som sätter så snäva gränser för vad som legitimt kan studeras med vetenskapliga metoder att de exkluderar fenomen som ligger tillräckligt långt utanför det hittills kända. Sumpter tar explicit upp superintelligent AI (jämte ett par andra exempel, inklusive den eventuella existensen av utomjordiska civilisationer) såsom varande out-of-bounds för vetenskapliga studier. Den sortens invändning mot superintelligensbegreppet har jag väldigt lite till övers för, av det enkla skälet att verkligheten inte på detta vis låter sig styras av vetenskapsteoretiska gränsdragningar och andra sociala normer. Om superintelligent AI ligger inom räckhåll för dagens AI-utveckling så gör den det, oavsett vilka regler vetenskapsteoretikerna sätter upp för vad som får lov att förekomma i anständig vetenskaplig diskurs. Och med tanke på de samhälleliga värden som står på spel har vi all anledning att försöka utröna huruvida så är fallet, oaktat dessa inskränkta vetenskapsteoretikers klagomål.

Men jag vet som sagt inte vad Ivarsson och Magnusson menar med sitt påstående om vetenskaplig irrelevans, och det troligaste är måhända att det inte menar så mycket i sak alls, utan mer använder uttrycket som ännu ett okvädningsord. Särskilt mycket klokare tror jag hur som helst inte att vare sig jag eller någon annan DN-läsare blev av att se det i deras text.

*

Det finns ett käckt tankeredskap jag nyligen lärt mig om och som är användbart för att resonera mer strukturerat kring framtida AI, nämligen Nate Silvers Teknologiska Richterskala (TRS), som lånat halva namnet och sin (approximativt) logaritmiska struktur från den mer kända seismologiska Richterskalan med vilken vi anger jordbävningars storlek. En teknologi på nivå TRS=1 är en som poppat upp som idé i uppfinnarens huvud när denne står i duschen men därefter glömts bort. Därifrån ökar teknologins avtryck i världen, med t.ex. kommersialisering och patent, successivt, och vid nivå TRS=6 handlar det om en seriös kandidat till titeln "årets teknologiska genombrott". Nivåerna 7, 8 och 9 svarar på samma sätt mot årtiondets, århundradets och årtusendets genombrott, medan nivå 10 är reserverad för genombrott så genomgripande att de saknar motstycke i historien och skapar en helt ny era för planeten vi bor på.

Ett bra sätt att strukturera sitt tänkande kring framtiden med AI är att tänka igenom på vilken TRS-nivå AI landar, samt på vilken nivå av det vi kan kalla "braighet" - hur lyckat utfallet blir för mänskligheten på en 5-gradig skala från "katastrofalt" till "extremt positivt". Var och en med ett uns av epistemisk ödmjukhet inser att vi inte kan veta säkert var AI landar i denna tvådimensionella matris, och att det därför är bättre att beskriva sin gissning i termer av en sannolikhetsfördelning snarare än att tvärsäkert peka ut en enda av matrisens celler. Så här ser Nate Silvers egen sannolikhtesfördelning ut, så som han presenterar den i On the Edge; var och en av de små hexagonerna i diagrammet svarar mot 1% av Silvers subjektiva sannolikhetsmassa.

Det är flera saker jag gillar med Silvers fördelning. Först och främst är det bra att den är rejält utspridd över matrisen, då det visar att Silver inser vidden av den osäkerhet det här handlar om, och inte fastnat i någon specifik teknikdeterministisk tankegång. Klokt är också att ju högre upp vi går på TRS-skalan desto tydligare bimodal (tvåpucklig) och polariserad blir braighetsfördelningen (den som tror att AI landar på TRS-nivå 10 men ändå insisterar på att braigheten hamnar någonstans i mitten har nog inte tänkt igenom ordentligt hur radikalt världen skulle förändras av en TRS 10-teknologi).

Ändå skulle inte min sannolikhetsfördelning, om jag tvingades att precisera den i detalj, se ut exakt som Silvers. Framför allt skulle min fördelning förskjutas en bit uppåt längs TRS-skalan jämfört med hans, och det av två skäl. Det ena är att vi har så mycket outnyttjad potential i den AI-utveckling vi redan sett, att jag bedömer att vi är mycket nära att ha TRS-nivå 8 inom räckhåll via bättre utnyttjande av denna potential även om AI-utvecklingen i sig mot all förmodan skulle göra tvärstopp. Det andra är att intelligens är en så flexibelt användbar och självförstärkande kraft att det blir lite komplicerat att tänka sig att utvecklingen skulle stanna på nivå 8 eller 9 istället för att fortsätta uppåt, och därför lägger jag betydligt mer sannolikhetsmassa än Silver på nivå 10 (varav nästan allt hamnar i något av de båda övre hörnen, svarande på ett ungefär mot huvudscenarierna i Nick Bostroms båda böcker Deep Utopia och Superintelligence). Dock lägger jag långtifrån all sannolikhet på nivå 10, för vi kan ju trots allt stanna på nivå 8 eller 9, antingen genom att något oväntat hinder för fortsatt AI-utveckling dyker upp, eller att vi blir tillräckligt bekymrade över riskerna med fortsatt utveckling att vi kollektivt lyckas ta oss samman och avbryta den.

Jag vill verkligen rekommendera läsaren att som en nyttig övning tänka igenom hur hens sannolikhetsfördelning skulle se ut - och varför. Och det vore ytterst intressant att se var Ivarsson och Magnusson skulle hamna i en sådan övning. Självklart behöver de inte vara helt överens inbördes. Men av deras förklenande tal om science fiction och av deras artikel mer allmänt får jag intrycket att båda två helt skulle avvisa möjligheten att nå TRS-nivå 10, och att de istället skulle fördela sina respektive sannolikheter över nivåerna 7 och 8 (och möjligen även 9). Om jag har rätt i denna gissning om hur de tänker så står de inför ett lite besvärligt val rörande vad de tänker sig skall hindra AI-utvecklingen från att nå nivå 10. Antingen tänker de sig att det helt enkelt är omöjligt att AI skall nå nivå 10, något som förvisso skulle kunna vara fallet fastän det är svårt att se konkret vad det i så fall skulle bero på, och det är hur som helst epistemiskt omdömeslöst att vara bombsäker på något sådant. Den andra möjligheten är om de tänker sig att stoppet på en lägre TRS-nivå än 10 kan komma att bero åtmistone till en del på att vi väljer att avsiktligt stoppa utvecklingen till följd av att de stora risker som bedöms föreligga på högre nivåer, men den tanken rimmar lite illa med deras i DN-artikeln uttryckta önskemål om att få tyst på den sortens riskdiskussion.

Fotnoter

1) Populärkulturellt bevandrade läsare lägger här givetvis märke till min blinkning till Sveriges Televisions TV-serie Babels hus från 1981, baserad på PC Jersilds roman med samma namn, där det gigantiska sjukhus i de södra delarna av Storstockholm som spelade en av huvudrollerna höll sig med en regelbundet återkommande guidad rundtur för nyanställda, benämnd KDS (Känn Ditt Sjukhus).

2) Så t.ex. heter det i Tegmarks Time-artikel att superintelligent AI...

...might solve disease, poverty and sustainability and help humanity flourish like never before, not only for the next election cycle, but for billions of years, and not merely on Earth but throughout much of our beautiful cosmos,

och hans Amodei-kritik i vilken han pläderar för att dra i nödbromsen för den skenande AGI-utvecklingen kan vi ta del av följande avslutningsmening:

If humanity needs to wait another couple of decades for beneficial AGI, it will be worth the wait – and in the meantime, we can all enjoy the remarkable health and sustainable prosperity that tool AI can deliver.

3) Samma science fiction-retorik använde Magnusson i Ny Teknik i vintras, och han verkar inte ha tagit någon större notis om hur jag med följande ord läxade upp honom för det:

Just science fiction-retoriken tycker jag är hög tid att kasta på sophögen. Någon som 1920 hade fått besked om 1960-talets Apollo-program och månlandningen hade garanterat utropat ”science fiction!”, och detsamma hade gällt den som 1980 fått höra om våra liv idag med internet och smarttelefoner, liksom för övrigt den som 2017 hade fått chansen att samtala med GPT-4. Science fiction, science fiction! Men allt detta har besannats, så vi lever redan i en science fiction-värld.