Quickologisk sannolikhetskalkyl

Justitierådet och förre justitiekanslern Göran Lambertz säger sig vara säker på att de sedemera upprivna morddomarna 1994-2001 mot Thomas Quick var riktiga, och att de alltså inte utgör någon rättsskandal. Min avsikt med denna bloggpost är inte att ta ställning i den frågan; härtill är jag inte tillräckligt inläst i ärendet. Vad jag däremot, efter att ha läst Lambertz nyutkomna Quickologi, tycker mig kunna säga med viss bestämdhet är två saker: för det första att boken är en av de sämsta jag läst på åratal,¹ och för det andra att bokens centrala argumentation, som landar i en påstått 183%-ig sannolikhet att Quick är skyldig, är så till den grad förvirrad och kufisk att det knappast finns någon anledning att ta den på allvar.

Boken är långrandig och oerhört repetitiv. Vi får ta del av den påstådda bevisningen mot Quick varv efter varv efter varv efter varv, och som läsare finner jag mig gång på gång (men oftast förgäves) fråga mig vad Lambertz tänkt sig att tillföra denna gång. En annan sak som ältas i det oändliga är den hårfina distinktionen mellan å ena sidan att hävda att domarna var riktiga, och å andra sidan att hävda att Sture Bergwall (som Quick numera heter) är skyldig, samt det moraliskt problematiska i att efter de friande domarna hävda det senare.² En tredje sak som Lambertz i samma repetitiva stil gång efter annan återkommer till är hur illa han själv behandlats av media och andra för sina ställningstaganden i Quickaffären; här pendlar han mellan allmän gnällighet och renodlat rättshaveri.³ Boken är därtill irriterande slarvigt skriven, och här och var råkar Lambertz säga saker som han inte rimligtvis kan mena.⁴

Detta om boken som helhet. I det följande skall jag koncentrera mig på de i boken helt centrala Kapitel 14 och 15, som handlar om att med hjälp av sannolikhetskalkyl bedöma bevisläget mot Quick, och som är de enda där jag har någon relevant sakkunskap att komma med.

Lambertz argumentation här innehåller gott om tveksamheter, men riktigt överstyr går det först då han på s 238-241 bemöter en artikel av Joacim Jonsson i Folkvett 3/2013, som kritiserar en studie av psykologiprofessor Sven Åke Christianson där Thomas Quicks förmåga att svara rätt på ett antal detaljfrågor om hur morden gått till jämförs med tio försökspersoners gissningar. Ur Joacim Jonssons artikel (som i sin tur i hög grad bygger på en analys gjord av Rickard L Sjöberg) destillerar Lambertz (s 238-239) fram en lista på femton punkter av kritik mot Christiansons studie. Listan är enligt min bedömning helt förödande för studien. Lambertz, som sätter stor tilltro till studien som en del av bevisningen mot Quick, tycks ha bestämt sig på förhand för att Jonssons kritik inte kan vara riktig, och för att det därför inte spelar så stor roll vilka motargument han anför. Han har därför (verkar det som) valt medtoden att för varje punkt på listan nedteckna det första motargument han kommer att tänka på, utan någon reflektion kring motargumentets eventuella styrkor och svagheter. Hans motargument blir därför genomgående svaga, och det mot punkt 15 på listan är rena härdsmältan:

15. För att undvika slumpeffekter brukar man göra signifikanstester vid statistiska tester. Det gjordes inte här.

[...]

Självklart är att det inte kunde göras något signifikanstest (punkt 15). Det är en statistisk metod att testa vetenskapliga hypoteser. Hypotesen förkastas om verkligheten avviker osannolikt mycket från vad hypotesen förutsäger. Här handlar det uppenbarligen inte om något sådant. (s 239-240)

Det sista är fullkomligt fel. Om vi (hypotetiskt) antar att kritiken i Jonssons punkt 1-14 kan besvaras tillfredsställande, så är Christiansons studie som klippt och skuren för ett signifikanstest, där nollhypotesen är att Quick inte har någon priviligierad tillgång till information om morden som gemene man (representerad av försökspersonerna) inte har tillgång till. Vad Lambertz inte verkar begripa är att ett sådant signifikanstest skulle vara en precisering och kvantifiering av den underförstådda logik som han själv lutar sig mot när han anför studien i bevisningen mot Quick, nämligen att studiens utfall skulle vara osannolikt om Quick saknade det slags priviligierade tillgång till information som han t.ex. skulle ha om han själv var mördaren. Lambertz påstående om att det inte går att göra något signifikanstest blir därmed ett påstående om att värdet av studien såsom bevis mot Quick omöjligt kan kvantifieras.

Ett annnat iögonfallande felslut i Lambertz behandling av bevisningen dyker upp på s 280-281, då han hävdar att Quicks många felaktiga svar på frågor om morden inte har någon relevans för det totala evidensläget:

Inverkar Quicks fel beträffande mordvapen, vägar, märken på ett mordoffers kropp och liknande på tillförlitligheten i uppgifter som han lämnat beträffande andra saker, exempelvis en helt annan väg än den som beskrivits felaktigt, ett hus någon annan stans, en person som begått självmord eller en bil som skrotats? Nej, i princip inte.

Lambertz svar på frågan är helt hårresande. Hur imponerad av ett visst antal rätt någon har i t.ex. en frågelek bör givetvis också bero på hur många chanser personen haft. Detta är måhända enklast att begripa i ett konkret exempel. Antag att jag hävdar att jag har parapsykologiska förmågor som gör att jag kan förutse om ett spelkort är svart eller rött utan att ha sett det. Antag vidare att jag har gjort rätt förutsägelse 20 gånger. Utgör detta evidens för att jag har parapsykologiska förmågor? Om jag blott haft 20 chanser på mig, och svarat rätt varje gång, så kan testet tolkas så. Om jag istället haft 40 tillfällen, och svarat rätt på 20 av dem, så är det givetvis orimligt att se testet som talandes för att jag har parapsykologiska förmågor. Lambertz kategoriska "Nej, i princip inte" i citatet ovan innebär att han intar den orimliga ståndpunkten att de två fallen (20 rätt av 20, respektive 20 av 40) är evidentiellt ekvivalenta.⁵

Låt mig nu ta upp den centrala passage, på s 296-299, där Lambertz kvantifierar det totala bevisläget och landar i att det pekar på att Quick med 183%-ig säkerhet är skyldig. Hans metod är följande. Bevisläget är sammansatt av ett stort antal omständigheter E₁, E₂, E₃, etc. För vart och ett av dessa uppskattar Lambertz den betingade sannolikheten⁶ P(A|E_i) för händelsen A att Quick är skyldig givet omständigheten E_i. För att kvantifiera det totala bevisläget använder han sig av vad vi kan kalla de betingade sannolikheternas additivitet:

P(A|E_i, E_j) = P(A|E_i) + P(A|E_j)

och mostsvarande för tre eller flera omständigheter. Problemet är att denna summationsformel inte är sann: betingade sannolikheter har inte denna additivitetsegenskap. Detta är inte fråga om en matematisk teknikalitet beserat på något esoteriskt motexempel, och det går inte att rädda Lambertz förfarande genom att hävda att betingade sannolikheter skulle vara oftast additiva eller approximativt additiva - det är de inte. Det går att koka ihop enstaka exempel på händelser A, E_i och E_j där additivitetsformeln råkar stämma, men då är det att betrakta mer som en tillfällighet än som konsekvensen av en allmän egenskap hos betingade sannolikheter.

Det är busenkelt att peka ut uppenbara motexempel till additivitetsformeln. Antag t.ex. att P(A|E_i) och P(A|E_j) båda är större än 50%; då säger additivitetsformeln att P(A|E_i, E_j) är mer än 100%, vilket är orimligt då en sannolikhet (betingad eller ej) aldrig kan överskrida 100%.

En mer konkret illustration till hur alldeles på tok den av Lambertz implicit påstådda additivitetsegenskapen är, är följande. Låt

A={Quick är skyldig},
E₁={Endast Thomas Quick och Palle Prick fanns på eller nära platsen för mordet},
E₂={Mördaren lämnade små fotspår i blodet och har alltså små fötter}, och
E₃={Thomas Quick har skonummer 38, och Palle Prick har skonummer 47}.

Vi kan här anta att P(A|E₁)=50% (Lambertz går igenom väsentligen just detta hypotetiska exempel på s 275). Vidare konstaterar vi att E₂ i sig varken talar för eller emot Quicks skuld, och följer Lambertz konvention att i sådana fall sätta P(A|E₂) till 0%.⁷ Av liknande skäl sätter vi P(A|E₃) till 0%. Vad blir nu P(A|E₁, E₂, E₃)? Well, var och en kan ju se att E₁, E₂ och E₃ tillsammans medför att Quick är skyldig, så svaret borde bli 100%. Men om vi tillämpar Lambertz additivitetsegenskap blir P(A|E₁, E₂, E₃) = 50%+0%+0%=50%, vilket är alldeles åt pepparn. (Det kan också slå fel åt motsatt håll, vilket inses om vi i exemplet ersätter E₃ med E₄={Thomas Quick har skonummer 47, och Palle Prick har skonummer 38}.)

Lambertz additivitetsformel gäller inte, och att ändå tillämpa den kan leda godtyckligt fel. Det finns ingen särskild anledning att anta att den skulle leda någorlunda rätt i just hans kalkyl. Ett kortfattat sätt att förstå ickeadditiviteten hos betingade sannolikheter är denna: vilket bidrag en viss omständighet ger till en bevisning beror (ofta kraftigt) på vilken övrig bevisning som finns. Vi såg det i fallet E₃ ovan: utan övrig bevisning betyder E₃ ingenting, men om E₁ och E₂ redan är på plats så innebär E₃ att sannolikheten att Quick är skyldig boostas från 50% till 100%.

Lambertz förefaller vagt medveten om att hans sannolikhetskalkyl är skum, då han kommenterar sina 183% med att sannolikheter över 100% egentligen inte finns. Han tycks dock mena att sannolikheter över 100% innebär en visshet ännu starkare än den visshet som sannolikhet 100% innebär. En annan skum aspekt, som han dock inte reagerar särskilt inför, är att han sätter in negativa sannolikheter för P(A|E_i) i fall då E_i talar emot Quicks skuld. Negativa sannolikheter finns inte.

Så långt Lambertz (implicita) sannolikhets-teori, som alltså är helt uppåt väggarna. Men också hans sannolikhets-praktik (dvs hans tillämpning av sannolikhets-teorin) är alldeles åt skogen, även om vi för skojs skull skulle anta att sannolikhets-teorin vore riktig. Här några av hans mest uppenbara tokerier:

• Lambertz preciserar aldrig vilken händelse A det är vars sannolikhet han får till att bli 183%. Det handlar om att Quick är skyldig, men betyder A att han är skyldig till alla de åtta mord det handlar om, eller att han är skyldig till minst ett av dem, eller något annat? Innan detta preciserats är det bara trams att börja beräkna sannolikheten för A.
• Trots att Lambertz upprepade gånger säger sig vara ute efter evidensläget vid tiden för domarna ränkar han in Quick/Bergwalls återtagande av sina erkännanden (vilket skedde senare) som en av omständigheterna E_i i kalkylen.
• Lambertz ansätter P(A|E₅)=15%, där E₅ är omständigheten att morden är ouppklarade utan några rejält misstänkta. Det framstår som komplett orimligt att sannolikheten att Quick är skyldig, givet E₅, skulle vara så hög som 15%, utan några som helst komprometterande omständigheter i övrigt (kom ihåg att enligt Lambertz definition är P(A|E₅) den sannolikhet för Quicks skuld som omständigheten E₅ i sig själv motiverar). Om vi ändå accepterar siffran 15% måste frågan ställas: blir då sannolikheten att Lambertz själv är skyldig, givet E₅, också 15%?
• I en separat kalkyl av sannolikheten att Quick begick mordet på Therese Johannessen landar Lambertz på siffran 110%. Lambertz kommenterar att detta är mindre överväldigande än de 183% han fick i den integrerade kalkylen, men säger också att "oavsett vilka värden som sätts på bevisningen lär även skeptiska bedömare hålla med om att värdet är så högt att det inte rimligen går att hävda att det var en rättsskandal att Thomas Quick åtalades och dömdes". Meh? Ingenstans motiverar han hur han i de konkreta fallen översätter verbal värdering av bevisning till procentsiffror, utan det verkar genomgående göras intuitivt och på en höft. En annan bedömare skulle, utan att avvika påtagligt från Lambertz verbala bevisbedömning, lätt kunna få t.ex. summan 75% där Lambertz får 110%, och därmed landa långt under den 98%-gräns som Lambertz på annat håll (s 275) anger svarar mot den "bortom rimlig tvivel"-nivå som krävs för fällande dom.

Fotnoter

1) Pressad av den kritikstorm som drabbat boken säger Lambertz förläggare, min gode vän Christer Sturmark, att han "ville ge ut boken för att den är välskriven". Jag vägrar tro att Christer verkligen menar detta. Samtidigt är sammanhanget inte ett sådant som inbjuder till skämtsamheter, så min bästa gissning är att han rätt och slätt bedömer det som kommersiellt förnuftigt (och kanske därtill en förläggares skyldighet) att hävda att boken är "välskriven".

2) Detta ältande kan ge intryck av att Lambertz tar det moraliska problemet på allvar, men steget från ord till handling, som i detta fall skulle vara att faktiskt anstränga sig att fokusera mer på rättsprocesserna än på Quick, har han inte tagit. Iögonfallande exempel på hur personen Quick/Bergwall ständigt kommer i fokus är bokens titel, och omslagets stilierat demoniska bild av Bergwall.

3) Följande passage, i vilken han dömer ut såsom moraliskt förkastligt sina juristkollegors tilltag att kritisera honom trots att han sagt att han är säker på sin sak, skulle kunna platsa som paradexempel i valfritt uppslagsverks artikel om rättshaveri:

Om en domare som deltog i en av Quickrättegångarna hade sagt att han var säker på att anklagelserna mot Seppo Penttinen för mened var felaktiga, hur borde hans kollegor ha ställt sig till detta? Enligt min mening finns det inte någon tvekan. Om domaren säger sig vara säker på sin sak och uttalar sig till stöd för Penttinen, därför att denne angripits hårt och inte fått något stöd från andra, då är domarens uttalande inte bara korrekt utan också bra.

Utifrån den nu angivna synpunkten är jag kritisk till de jurister som hoppade på mig för att jag försvarade de angripna i Quickrättegångarna och hävdade att det inte var fråga om rättsröta. De hade inte stöd för att misstro mig när jag sa att jag var säker på min sak. (s 420-421)

(Den optimistiske skulle kunna sätta visst hopp till att Lambertz lärt sig ett och annat av den briljanta intervju Bo-Göran Bodin nyligen gjorde med honom (Studio Ett, P1, 15 maj), t.ex. en smula ödmjukhet, och insikten att den som är säker på sin sak inte automatiskt har rätt. Men nej, fan tro't.)

4) Så t.ex. skriver Lambertz på s 235 om bevisvärdet "i att morden var ouppklarade både när [Quick] började berätta och när han dömdes", trots att det framgår med all önskvärd tydlighet av Lambertz argumentation i övrigt att han anser att morden var att betrakta som uppklarade i och med domarna mot Quick.

5) På statistikerspråk innebär Lambertz ståndpunkt att han vägrar beakta multipelinferensaspekter när han drar statistiska slutsatser. Detta är ett välkänt kardinalfel, som illustreras snyggt i xkcd-strippen Significant; se även min kritik förra året av en värdelös studie från Karolinska om epigenetik.

6) Lambertz använder inte (och känner troligen inte ens till) detta standarduttryck inom sannolikhetsteorin, men det är uppenbart från hans förklaring på s 296 att det är betingad sannolikhet som avses.

7) Detta i sig är en smula skumt, eftersom det innebär att en irrelevant omständighet räcker för att konstatera att Quick med säkerhet är oskyldig och därmed kan frias. Rimligare vore att i ett sådant fall ansätta P(A|E__i)=ε, där ε är något givet litet men strikt positivt tal, som t.ex. kan ges av sannolikheten att råka välja Quick vid en procedur där en bland all världens sju miljarder världsmedborgare väljs på måfå. Detta leder emellertid till nya svårigheter om vi insisterar på att anamma Lambertz additivitetsegenskap hos betingade sannolikheter. Det finns ju nämligen ett obegränsat antal irrelevanta omständigheter att betinga på, t.ex.

E₇₅={Pluto tar 247,74 år på sig att avverka ett varv runt Solen}, och
E₉₁₆₂={Uppsala är Sveriges fjärde största stad}.

Genom att beakta n sådana irrelevanta omständigheter kan vi få upp den betingade sannolikheten att Quick (eller för den delen Lambertz, om vi så vill) är skyldig till nε, vilket oavsett hur litet ε är kan pressas upp till nära 1 genom lämpligt val av n (med förödande konsekvenser för rättssäkerheten).

*

Edit 17 maj 2015: I en bloggpost rubricerad Bayes och andra [WebCite] meddelar Göran Lambertz idag att han förutsett min kritik: "Jag har hela tiden förstått att jag kommer att bli påhoppad för min beräkning". Han meddelar också att han är fullt på det klara med att hans kalkyl är på tok, men hävdar att han gjort det avsiktligt, som en provokation. Om det verkligen är sant, som han låter påskina, att han redan när han skrev boken var medveten om att den additivitet hos betingade sannolikheter som hela hans kalkyl bygger på inte är giltig (eller ens approximativt giltig eller oftast giltig) så finner jag hans tilltag att likväl genomföra en sådan kalkyl, utan att med så mycket som ett kommatecken framhålla denna ogiltighet, anmärkningsvärt bedräglig.

Lambertz fortsätter sitt blogginlägg med att (helt riktigt) framhålla att det finns en korrekt metod att beräkna sannolikheter i ljuset av evidens: Bayesiansk betingning. Han skriver:

Vill man sedan räkna med "Bayes sats" (som innehåller en väletablerad sannolikhetsberäkning för situationer där man har olika sorters information), så kan man göra det. Och då kommer man att se något viktigt: Sannolikheten blir mycket hög även där.

Jaså minsann, "mycket hög"! Lambertz glömmer här att understryka att han är säker på sin sak, men det verkar som att han är det. Om inte Lambertz kör en pokerbluff här så kan detta nog bara förstås som att han faktiskt genomfört en sådan Bayesiansk analys. I så fall hade det väl varit lämpligt att presentera denna i boken (istället för den bedrägliga additivitetsbaserade kalkylen och/eller något av bokens evinnerliga omtugg). Om inte annat så borde det väl vara läge för Lambertz att nu rätta till denna försumlighet och presentera sin Bayesianska analys, t.ex. på sin blogg. Men nej, det gör han inte, och han anför något slags pedagogiskt skäl för denna återhållsamhet:

Så varför har jag inte använt mig av Bayes i boken? Jo, för att jag ville försöka få andra att ta sig an den uppgiften, gärna matematiker. För att värdet av bevisningen ska få ordentligt genomslag måste nog nämligen andra än jag och mina vänner ta sig an det.

*

Edit 19 maj 2015: I mitt tillägg ovan, den 17 maj, spekulerade jag över om möjligen Lambertz körde en "pokerbluff" då han lät påskina att han har genomfört en regelrätt Bayesiansk analys som alternativ till bokens nonsensanalys. Nu har han i all tysthet bekräftat att så är fallet (dvs att han bluffade) genom att i smyg föra in några redigeringar av sin bloggpost. I versionen den 17 maj [WebCite] hette det (som jag citerar ovan) att om man gör en Bayesiansk analys,

då kommer man att se något viktigt: Sannolikheten blir mycket hög även där.

Tvärsäkert. I dagens redigerade version av bloggposten [WebCite] har han petat in ett "nog", vilket ger ett helt annat intryck:

då kommer man nog att se något viktigt: Sannolikheten blir mycket hög även där

(min kursivering). Och till sin tidigare (och ovan citerade) förklaring till varför han avstått från att presentera den Bayesianska analysen tillägger han, troligtvis i syfte att avvärja fortsatta propåer om att offentliggöra en sådan, följande:

Men en anledning var också att jag inte var helt säker på hur beräkningarna ska göras enligt den ganska komplicerade satsen. Då är det bättre om beräkningarna görs av personer som verkligen kan det.