Att avslöja dålig vetenskap är viktigt

Den vetenskapliga litteraturen är gigantisk, och ofta skyms de viktiga och värdefulla studierna av de dåliga. Dålig forskning är ofta inte bara värdelös, utan sämre än så, då den sprider förvirring och mer allmänt bidrar till ett försämrat signal/brusförhållande i litteraturen.

Därför är det (vilket jag i åtminstone tio års tid påpekat) viktigt att dålig vetenskap avslöjas och exponeras.¹ Jag ägnar mig, som trogna läsare vet, själv emellanåt åt denna något oglamorösa och i vetenskapssamhället föga ansedda uppgift. När jag går loss mot sådan uppenbar dårpippi som den engelske teologen Richard Swinburne anspråk på att vetenskapligt argumentera för Guds existens har mina insatser måhända mest bara ett visst underhållningsvärde. Viktigare är att fästa strålkastarljuset på undermålig forskning i fall där denna ytligt sett kan vara till förväxling lik den goda högkvalitativa vetenskapen; se exempelvis mina bloggposter Artificial intelligence and Solomonoff induction, En anspråksfull bok om matematik och evolutionsbiologi och Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna. Sådana enstaka insatser kan inte göra mycket mer än att skrapa på ytan av den uppsjö av dålig forskning som förekommer, men förhoppningsvis kan den ändå bidra till ökad medvetenhet om vikten av kritiskt tänkande och rigorös vetenskaplig metod.

Idag tänkte jag tipsa om ett par ytterligare exempel för den som vill ta del av (den ofta lärorika) nedplockningen av dålig vetenskap:

• I den uppmärksammade och välciterade artikeln Numerical Magnitude Representations Influence Arithmetic Learning av Julie Booth och Robert Siegler, publicerad 2008 i tidskriften Child Learning, saknas stöd i data för det påstående som författarna trumpetar ut i artikelrubriken. Det statistiska utfall som ligger till grund för deras slutsats kan nämligen fullt ut förklaras med fenomenet regression to the mean (eller regression mot medelvärdet som det ibland heter i halvhjärtad svensk översättning) - ett lite paradoxalt statistiskt fenomen som är tillräckligt vanligt förekommande för att platsa som en av punkterna på på den topplista om 20 saker journalister och makthavare bör veta om vetenskap som i höstas publicerades i Nature och The Guardian. Kimmo Eriksson² och jag förklarar Booths och Sieglers misstag utförligt i vår artikel Lord's Paradox in a Continuous Setting and a Regression Artifact in Numerical Cognition som häromdagen kom "i tryck" (ett alltmer anakronistiskt uttryck) i tidskriften PLOS ONE. Se även Kimmos kortare redogörelse på Curie-bloggen.

• Matematisk modellering inom molekylärbiologi och genomik är för närvarande ett fantastiskt dynamiskt och hett område där stora framsteg görs. Men inte allt inom området håller högsta kvalitet, och publiceringshetsen kan få enskilda forskare eller forskargrupper att ta genvägar och söka publicera uppsatser baserade på svag eller renatv undermålig forskning. Den Berkeleybaserade matematikern och beräkningsbiologen Lior Pachter skrev tidigare i år en serie intressanta och lärorika bloggposter där han påvisar hur även uppburna forskare på området ibland faller för sådana frestelser:
  • The network nonsense of Albert-László Barabási
  • The network nonsense of Manolis Kellis
  • Why I read the network nonsense papers

Fotnoter

1) Den verksamheten skall dock inte förväxlas med den verksamhet som bedrivs på klimatförnekarbloggar med orwellskt kllingande namn som t.ex. Klimatupplysningen, där samvetslösa klimatförnekare (ofta med professorstitlar) går loss mot allehanda klimatforskning, som regel inte för att där skulle finnas några metodfel, utan helt enkelt för att resultaten inte är i linje med vad klimatförnekarna skulle önska. På den klimatvetenskapliga folkbildningsbloggen Uppsalainitiativet, som jag är med och driver, försöker vi, så gott vi hinner med, att bemöta dessa klimatförnekare.

2) Kimmo hör till dem här i Sverige som tar renhållningsarbetet inom vetenskapen på störst allvar. Jag vill t.ex. varmt rekommendera hans och Brent Simpsons kompetenta nedplockning av en vida uppmärksammad men vetenskapligt undermålig studie från 2011 om hur amerikaner uppfattar fördelningen av ekonomiskt välstånd i samhället.

Kryptiska utfall

I mitt bloggande och annorstädes prioriterar jag vanligtvis intellektuell hederlighet framför artighet. Detta har genom åren kommit att reta upp mer än en meddebattör (inklusive en och annan professorskollega). De senaste veckorna har jag stött på ett par exempel på utfall som (av allt att döma) är betingade av just detta, och som har en del ytterligare gemensamt. De är ytterst kortfattade, och innehåller anspelningar som för andra än de i sammanhanget absolut mest insatta (läs: mig själv) framstår som kryptiska på gränsen till obegripliga. Dessa senare egenskaper gör att de ser ut som knappt mer än grymtningar, men det finns alltså i båda fallen ett sammanhang som ger dem ett något större innehåll. Sportsmannamässig som jag trots allt är vill jag härmed bistå mina båda meddebattörer genom att förklara sammanhangen och dekryptera deras kryptiska anspelningar.

Exempel 1. "Obevekliga trender". Den 6 mars publicerade min gode vän matematikern Kimmo Eriksson på VR:s nättidning Curie en bloggpost med rubriken Några enkla varningssignaler för när man inte bör lita på en publicerad analys - en rubrik som återspeglar dess innehåll väl. I bloggpostens inledning nämner Kimmo i förbigående ett samarbete med mig. En dryg vecka senare, närmare bestämt den 14 mars, dök Peter Stilbs (eller någon som utger sig för att vara han) upp i bloggpostens kommentarsfält den kryptiska kommentaren

Vissa ser också "obevekliga trender"

följd av en lika kryptisk smiley. Peter Stilbs är professor i fysikalisk kemi vid KTH och en av de tongivande debattörerna i klimatförnekarnätverket Stockholmsinitiativet. Exakt vad Stilbs menar med sin kommentar kan jag såklart inte veta säkert, men jag tror ändå på följande förklaring.

Jag har sedan 2008 då och då synat Peter Stilbs klimatförnekarretorik i sömmarna och funnit den undermålig. Lika länge har Stilbs varit starkt irriterad på mina skriverier och min person. Det är troligtvis förekomsten av mitt namn i Kimmos bloggpost som provocerat Stilbs att kommentera, och hans "obevekliga trender" syftar med största sannolikhet på en formulering från en bloggpost rubricerad Klimatskeptikerns FAQ som jag förra året skrev på Uppsalainitiativet:

00-talet är det klart varmaste decenniet sedan mätningarna startade. Däremot finns en såpass stor vädervariation överlagrad som ett slags brus på den obevekliga trenden, att ett enskilt år nästan lika ofta är kallare än det föregående, som varmare.

[Fetning tillfogad idag, 25 mars 2013.]

Stilbs har raljerat över just denna passage tidigare. Vad är det då som han finner så dumt med den? Låt mig göra ett försök att tolka honom generöst.

Ordvalet "obevekliga" mer än antyder att den trend jag finner i den globala temperaturutvecklingen synes mig så stark att jag känner mig (så gott som) säker på att den kommer att fortsätta i framtiden. Hur har jag kommit fram till det? Antagligen tänker sig Stilbs att jag betraktat en av de vanliga tidsserierna över global medeltemperatur (låt oss säga den satellitdatabaserade tidsserien från UAH, University of Alabama at Huntsville), och att jag som självsäker statistiker konstaterat att här finns en så tydlig positiv linjär trend att man lugnt kan utgå från att den kommer att fortsätta. Att dra en sådan slutsats enbart på basis av en sådan graf är vetenskapligt omdömeslöst, menar säkert Stilbs, och på denna punkt är vi i så fall helt överens! Men han har missförstått vad som får mig att perdiktera fortsatt global uppvärmning. Det handlar inte om naiv extrapolation av någon enskild temperaturserie, utan om vartåt hela den samlade klimatvetenskapliga kunskapsmassan pekar, inklusive vår fysikaliska förståelse för växthuseffekten, och de många olika studier (paleoklimatologiska och andra) som gjorts för att kvantifiera orsakssambandet mellan koldioxidhalt och medeltemperatur.

Exempel 2. "Kvalitetsblogg". Förra veckan valde jag att parallellpublicera det från Häggström hävdar bekanta blogginlägget Twitter från ovan på Humanistbloggen. Det resulterade i några få kommentarer, inklusive följande från signaturen Lennart W:

Trams. "Kvalitetsblogg" va? Lol.

Detta kan låta som ett fullkomligt generiskt negativt värdeomdöme, applicerbart på vadhelst i bloggosfären man inte gillar och önskar håna utan att orka formulera något specifikt, men faktum är att det finns en bakgrund som kommentatorn anspelar på med sitt ordval "Kvalitetsblogg".

Denne Lennart W var en relativt flitig kommentator på Häggström hävdar under hösten 2011, men vår samtalston gnisslade en smula. Det hela kulminerade då han den 16 januari 2012 insisterade på att antyda att hans meningsmotståndares uppfattning i frågan om manlig omskärelse skulle ha en koppling till nazism, och jag (efter en varning) beslöt mig för att portförbjuda honom från min blogg. Lennart W tog (uppenbarligen) mycket illa vid sig av att på detta vis bli ivägkörd, och han har sedan dess då och då ventilerat saken genom att på Humanistbloggen och annorstädes uttrycka sin aversion mot mig; den ovan citerade raden är ett exempel på detta.¹ Kort efter incidenten i januari 2012 skrev han en rad kommentarer på Per Ewerts blogg Vem tänder stjärnorna om det inträffade, inklusive en räcka (uppenbart avsiktliga) missförstånd om varför jag bannat honom. Det fick mig att på samma blogg ge ett lite irriterat svar, inbegripandes följande passage:

Med denna totalt orimliga parallell uppnår du två saker. För det första smetar du brun färg över dina meningsmotståndare i omskärelseförbudsfrågan. Detta är oanständigt. För det andra förringar du Förintelsen bortom all vett och sans. Detta är ännu oanständigare. Och det var på grund av dessa oanständigheter, och din totala ointresse (trots fortsatt meningsutbyte) att backa från dem, jag till slut bannade dig från min blogg. Jag tycker mig driva en kvalitetsblogg, och kan inte godta vad för skit som helst i kommentatorsutrymmet.

[Fetning tillfogad idag, 25 mars 2013.]

Jag medger gärna att denna drapa inte hör till det vackraste eller mest genomtänkta jag formulerat, men här finns hur som helst bakgrunden till Lennart W:s tal om "kvalitetsblogg".

Jag vill i sammanhanget passa på att tillbakavisa Lennart W:s påstående att min bloggpost Twitter från ovan skulle vara "trams". Jag har i och för sig förståelse för att en person som (villket jag tycker mig ha förstått är fallet med Lennart W) investerat känslomässigt i ett låtsaskompis-förhållande med Vår Herre gärna vill avfärda all kritik mot denne snabbt och summariskt. Men inte all satir är trams, och faktum är att flertalet av de tweets från Gud som jag återger i bloggposten bär på skarp och intelligent kristendomskritik under den lättsamma ytan. Så t.ex. utgör tweeten daterad den 20 februari² en sällsynt koncis och vass formulering av teodicéproblemet - den kanske största orimligheten i hela det kristna trosbygget. De från den 21 och 22 februari^3,4 lyfter fram andra bisarra sidor hos Jahve, medan den från den 19 februari⁵ snitsigt återger den "Vem skapade skaparen?"-problematik som undergräver den centrala tankegång inom intelligent design vilken säger att intelligens endast kan uppstå ur intelligens. Etc. Men vad sägs om tweetsen från den 25 januari⁶ och den 14 mars⁷ - dem kan vi väl ändå avfärda som rena tramset? Nej. De tweetsen fångar båda den bibliske gudens faiblesse för ondsinta härskartekniker (även i Kristi gestalt, som Lena Andersson så vältaligt har påpekat).

Låt mig slutligen säga, för den händelse att Lennart W läser detta, att om han sätter så stort värde som det verkar på att få kommentera på Häggström hävdar så är han givetvis välkommen tillbaka. Förutsatt att han ber ordentligt om ursäkt.

Fotnot

1) Se även Humanistbloggen den 27 juni 2012 för en längre diskussion av Lennart W om portförbjudningsincidenten.

2) "I will always be there for you when you need Me due to something horrible I've done to you."

3) "Although I created the Universe and have unlimited power over all things, it is very important to My self-esteem to be praised frequently."

4) "I created the entire universe in six days because I have infinite power. Then I rested on the seventh day because I was tired."

5) "I made you in My image. That's why men have nipples. Now, why do I have nipples? No frigging idea."

6) "What would Jesus do? Raise the dead and walk on water. Good luck with that, peeps."

7) "Me: Knock knock. You: Who's there? Me: God. You: God who? Me: And that's why you're going to hell."

Om våra drivkrafter

Staten lägger stora ekonomiska resurser på forskning, och vill naturligtvis ha så stort utbyte som möjligt för de satsade pengarna. Utbildningsminister Jan Björklund tror att vägen att uppnå detta är att satsa på omfattande kontroller, utvärderingar och ekonomiska incitament som skall få oss forskare att ta oss i kragen istället för att lata oss hela dagarna. I höstas ägnade jag en del kraft (inklusive två bloggposter) åt att kritisera Björklunds för all del inte helt ovanliga syn på saken.¹ I förra veckan fyllde min gode vän och matematikerkollega Kimmo Eriksson, i en utmärkt bloggpost rubricerad Utvärderingshysterin och principal-agent-problemet, på med ytterligare argumentation grundad i psykologisk forskning om hur vi människor faktiskt fungerar och vad som får oss att prestera. För den som vill läsa mer om dessa forskningsresultat rekommenderar jag den amerikanske journalisten Dan Pinks lättästa lilla bok Drive.² För den som inte anser sig ha tid att läsa en bok rekommenderar jag följande korta och briljant pedagogiska video i ämnet.

Och slutligen, för den som inte ens har tid att lägga elva minuter på en YouTube-video, finns Pinks cocktail party-sammanfattning av boken:

When it comes to motivation, there’s a gap between what science knows and what business does. Our current business operating system–which is built around external, carrot-and-stick motivators–doesn’t work and often does harm. We need an upgrade. And the science shows the way. This new approach has three essential elements:
1. Autonomy - the desire to direct our own lives.

2. Mastery - the urge to get better and better at something that matters.

3. Purpose - the yearning to do what we do in the service of something larger than ourselves.

Fotnoter

1) Se även diskussionen i Universitetsläraren om det perverterade brittiska utredningssystemet och risken att Björklunds förslag resulterar i något liknande:

• G. Arrhenius, P. Dannefjord, O. Häggström, M. Marklund och A.-M. Pendrill: Bevare oss för det brittiska utvärderingseländet!, Universitetsläraren 18/2012.
• K. Jacobsson: Utvärdera brittiska systemet först!, Universitetsläraren 1/2013.

2) Genremässigt får nog Pinks bok räknas till managementlitteraturen. Att jag läser och rentav rekommenderar en bok i den kategorin tillhör inte vanligheterna, men i fallet Pink finns faktiskt skäl att bevilja ett undantag.

Om matematiska meningslösheters märkliga attraktionskraft

Matematik är ett oundgängligt redskap inom stora delar av vetenskapen. Allra tydligast är detta i fysiken, som från Newton och framåt transformerats av matematiken till den grad att en omatematisk fysik idag är otänkbar. I andra vetenskaper har transformationen inte varit fullt lika total, men det är ändå ett faktum att biologer, geovetare, medicinare, nationalekonomer, psykologer och andra forskare behöver matematiska metoder och modeller (som ett redskap bland andra) för att ta sig framåt i jakten på ny kunskap.

Matematikens språk är oöverträffat exakt, och med hjälp av detta kan man ge dels förklaringsmodeller som ofta ger en bättre förståelse för de studerade fenomenen än som annars hade varit möjligt, dels rigorös stadga och precision åt argument och resultat. Men matematik kan också användas för mindre goda syften, inte minst då den höga status som matematiska resonemang åtnjuter i forskarvärlden kan göra det frestande att stoltsera med sådana enbart för att det ger ett imponerande intryck. Min gode vän och matematikerkollega Kimmo Eriksson reflekterar över detta i sin uppsats The nonsense math effect i senaste numret av den vetenskapliga tidskriften Judgment and Decision Making¹:

The background to this paper is my own subjective experience of a mid-career move from pure mathematics to interdisciplinary work in social science and cultural studies. In areas like sociology or evolutionary anthropology I found mathematics often to be used in ways that from my viewpoint were illegitimate, such as to make a point that would better be made with only simple logic, or to uncritically take properties of a mathematical model to be properties of the real world, or to include mathematics to make a paper look more impressive.

För en rigorös och samtidigt mäkta underhållande dissektion av ett antal flagranta exempel (företrädesvis från postmodernt orienterade franska intellektuella) på användande av matematik utan annat syfte än att imponera vill jag varmt rekommendera Alan Sokals och Jean Bricmonts bok Fashionable Nonsense, där vi bland mycket annat får ta del av stycken som...

Ever since Gödel showed that there does not exist a proof of the consistency of Peano’s arithmetic that is formalizable within this theory (1931), political scientists had the means for understanding why it was necessary to mummify Lenin and display him to the 'accidental' comrades in a mausoleum, at the Centre of the National Community

...av Régis Debray, och följande helt bisarra mästerstycke av Jacques Lacan rörande de imaginära talens betydelse inom psykoanalysen:^2,3

Personally, I will begin with what is articulated in the sigla S(ø) by being first of all a signifier [...]

And since the battery of signifiers, as such, is by that very fact complete, this signifier can only be a line [trait] that is drawn from its circle without being able to be counted part of it. It can be symbolized by the inherence of a (-1) in the whole set of signifiers.

As such as it is inexpressible, but its operation is not inexpressible, for it is that which is produced whenever a proper noun is spoken. Its statement equals its signification.

Thus, by calculating that signification according to the algebraic method used here, namely:

S (signifier)

---------------- = s (the statement)

s (signified)

with S=(-1), produces: s=√-1.

Det verkar inte bättre än att den här sortens matematiska meningslösheter bidragit till att Lacan och hans gelikar blivit så beundrade. Såvitt jag vet har emellertid evidensen för denna effekt hos meningslös matematik varit som bäst anekdotisk. Fram tills nu.

Ovan nämnda artikel av Kimmo Eriksson är den första vetenskapliga och kvantitativa studien av fenomenet. Hans försöksupplägg är snillrikt men enkelt: Högutbildade försökspersoner ställs inför två vetenskapliga abstracts, varav det ena manipulerats genom tillfogandet av en i sammanhanget meningslös mening inbegripandes en matematisk formel. Försökspersonerna ombeds gradera de båda abstractens vetenskapliga kvalitet på en skala från 0 till 100. För att eliminera effekten av att det ena kanske är bättre än det andra redan i omanipulerat skick fick hälften av försökspersonerna det ena abstractet manipulerat, hälften det andra. En statistiskt signifikant effekt om i genomsnitt 4,7 enheter på den 100-gradiga skalan detekterades till förmån för de abstracts till vilken den meingslösa matematiken fogats. Effekten visade sig bero av försökspersonernas ämnesmässiga tillhörighet. För dem som uppgav sin bakgrund naturvetenskap, teknik eller medicin kunde ingen effekt detekteras, men däremot för dem med bakgrund i samhällsvetenskap och humaniora.

Det finns många frågor att ställa angående Kimmos studie. Hurpass representativa vad gäller effekten av att tillfoga meningslös matematik är hans båda abstracts? Hur representativa är hans försökspersoner, erhållna genom en något speciell urvalsmetod, för en större population? Och så skall vi ju komma ihåg att (som jag nyligen förklarat i min uppsats Statistisk signifikans och Armageddon) en statistisk signifikant effekt i en enskild studie inte slutgiltigt bevisar effektens existens. Vi bör alltså vara en smula försiktiga med att dra alltför långtgående och tvärsäkra slutsatser av Kimmos artikel, men den utgör en intressant första analys av något som helt klart förtjänar att studeras.

Fotnoter

1) I samma tidskriftsnummer finns en annan mycket intressant artikel av Kimmo Eriksson, med titeln What do Americans know about inequality? It depends on how you ask them och med Brent Simpson som medförfattare. De visar att de sensationella och mycket uppmärksammade resultat av beteendevetarna Michael Norton och Dan Airley rörande amerikaners syn på inkomstfördelningen i landet är en artefakt av att de som svarar på Nortons och Airleys enkätfrågor är mer eller mindre förvirrade över vad frågorna egentligen betyder.

2) Den långa raden av bindestreck - "----------------" - i det citerade stycket skall föreställa ett divisionsstreck. Just denna estetiska gräslighet kan varken Lacan eller Sokal och Bricmont lastas för. Jag får själv ta på mig skulden, men förbannar samtidigt hur otroligt illa anpassat html är för matematiskt formelspråk.

3) Sokals och Bricmonts omedelbara reaktion inför detta stycke är värd att återge:

Here Lacan can only be pulling the reader's leg. Even if his 'algebra' had a meaning, the 'signifier', 'signified' and 'statement' that appear within it are obviously not numbers, and his horizontal bar (an arbitrarily chosen symbol) does not denote the division of two numbers. Therefore, his 'calculations' are pure fantasies.

Tilläggas kan att Lacan följer upp dessa fantasier med att några sidor senare (och till Sokals och Bricmonts stora fasa) sätta likhetstecken mellan √-1 och det manliga könsorganet.