Intellectual suicide by the journal Basic and Applied Social Psychology

In an editorial this week, David Trafimow and Michael Marks, editors of the (formerly) scientific journal Basic and Applied Social Psychology (BASP), announce that "the null hypothesis significance testing procedure (NHSTP)" is "invalid", and, consequently, that "from now on, BASP is banning the NHSTP". Likewise, they ban the use of confidence intervals:

Analogous to how the NHSTP fails to provide the probability of the null hypothesis, which is needed to provide a strong case for rejecting it, confidence intervals do not provide a strong case for concluding that the population parameter of interest is likely to be within the stated interval. Therefore, confidence intervals also are banned from BASP.

With all due respect, professors Trafimow and Marks, but this is moronic. The procedure they call NHSTP is not "invalid", and neither is the (closely related) use of confidence intervals. The only things about NHSTP and confidence intervals that are "invalid" are certain naive and inflated ideas about their interpretation, held by many statistically illiterate scientists. These misconceptions about NHSTP and confidence intervals are what should be fought, not NHSTP and confidence intervals themselves, which have been indispensable tools for the scientific analysis of empirical data during most of the 20th century, and remain so today.

The NHSTP procedure is always carried out relative to some null hypothesis which typically says that some effect size or some parameter is zero. Given the data, the p-value can, somewhat loosely speaking, be defined as the probability of obtaining at least as extreme data as those that were actually obtained, given that the null hypothesis is true.¹ If the p-value ends up below a given threshold - called the significance level - then statistical significance is declared. Mainly for historical reasons, the significance level is usually taken to be 0.05.

A statistically significant outcome is usually taken to support a suspicion that the null hypothesis is false, and the logic is as follows. If statistical significance is obtained, then we are in a position to conclude that either the null hypothesis is false, or an event of low probability (namely the event of obtaining statistical significance despite the null hypothesis being true) happened (with the traditional significance level, the probability is at most 0.05). Now, low-probability events do happen sometimes, but we expect them typically not to happen, and if such a thing didn't happen this time, then the only remaining option is that the null hypothesis is false. The lower the threshold for significance is, the stronger is a statistically significant result considered to count against the null hypothesis.

This is the logical justification of NHSTP (the justification of confidence intervals is similar), and the way we statisticians have been teaching it for longer than I have lived. It supplies the scientist with an important tool for to judging when her data supports the sucipicion that an effect (a deviation from the null hypothesis) really exists, as opposed to the case where the data shows no signs of being anything other than unremarkable statistical fluctuations around what is expected under the null hypothesis.

Unfortunately, there are misconceptions about NHSTP that are widespread in the scientific community. The one that is most relevant for the present discussion is the tempting but misguided idea of thinking of statistical significance at level 0.05 as a demonstration that the probability of the null hypothesis is at most 0.05,² and more generally that a p-value can be interpreted as the probability of the null hypothesis. But that is to succumb to the fallacy of the transposed conditional, which is to confuse the probability of the data given the null hypothesis with the probability of the null hypothesis given the data.³ Frequentist methods like NHSTP never provide probabilities for the null hypothesis. For such probabilities, Bayesian methods are needed, but they involve the controversial step (mentioned by Trafimow and Marks) of specifying a prior distribution representing our beliefs prior to seeing the data. No probabilities in - no probabilities out.

My impression from what professors Trafimow and Marks write is that they used to be under the spell of the fallacy of the transposed conditional, but have later woken up from that spell and realized their mistake. But now they suffer from another misconception, namely that the (purported) justification for NHSTP consists in that fallacy, and hence that NHSTP is "invalid". I find it tragic that a scientific journal decides to ban indispensable statistical methods based on such a silly misunderstanding.

What statistical methods, then, do they suggest as an alternative? They are lukewarm about Bayesian inference. Instead they declare that they...

encourage the use of larger sample sizes than is typical in much psychology research, because as the sample size increases, descriptive statistics become increasingly stable and sampling error is less of a problem.

The irony here is that in order to quantify what is a suitable sample size in order to make descriptive statistics sufficiently "stable", and to make sampling error "less of a problem", the NHSTP conceptual apparatus is needed. For more on this, see my discussion two years ago with Stephen Ziliak and Deirdre McCloskey.

The incompetence of professors Trafimow and Marks, and their catastrophic misstep of banning NHSTP from their journal, is a splendid illustration of the main thesis of my paper Why the empirical sciences need statistics so desperately.

Footnotes

1) It is the fuzzy notion of "extreme" that contributes most to the looseness of the description as given here, but trust me: it can be made precise. In simple situations the appropriate definition of "extreme" is usually straightforward, while in other situations the Neyman-Pearson lemma offers important guidance.

2) There is also the even more extreme misconception that statistical significance disproves the null hypothesis in the same sense that the observation of a black swan disproves the all-swans-are-white hypothesis. Yes, I'm not joking. There are Harvard professors who think that way.

3) For two events A and B, we do not in general have that the probability P(A|B) of A given B is the same as the probability P(B|A) of B given A. An example: Consider the experiment of picking a world citizen at random (uniformly), let A be the event that the person picked is Norwegian, and let B be the event that he or she is world chess champion. Then P(B|A) is about 1/5000000=0.0000002, because only one out of the about 5000000 Norwegians is world chess champion, whereas P(A|B)=1 because the world chess champion is Norwegian. (Note that these two numbers differ by almost as much as two probabilities ever can.)

Bifall för Häggström hävdar

En starkt bidragande orsak till att jag fortsätter blogga är de positiva signaler jag då och då får från folk som tycker att bloggen är något att ha. Jag skall inte trötta ut läsekretsen med någon uttömmande lista, men låt mig i alla fall citera det kanske allra finaste beröm jag fått för bloggen, vilket levererades för ett år sedan, i en kommentar från vännen och matematikerkollegan Johan Wästlund:

Avslutningsvis kan jag konstatera att den som i sina grubblerier över existensens natur slår på datorn och konsulterar Häggström Hävdar, knappast riskerar att drabbas av samma öde som stackars Descartes i Saturday Morning Breakfast Cereal.

(Missa inte att klicka på länken till Saturday Morning Breakfast Cereal!)

Ett särskild slags positiv signal om bloggen är då någon anser att dess innehåll är tillräckligt intressant för att förtjäna att länkas till. Låt mig ge två exempel på sådana inlänkar som jag sätter särskilt värde på:

• Det svenska Skolverket rekommenderar med följande ord en övningsuppgift om naturvetenskapens metoder och begränsningar:
  Vad kan man bevisa med hjälp av naturvetenskapliga metoder? I den här uppgiften får eleverna resonera om detta och om när sådana metoder behöver kompletteras med andra typer av undersökningar. Uppgiften är relevant i alla naturvetenskapliga ämnen.
  Som ett centralt moment i övningsuppgiften anbefaller de läsning av och reflektion kring min gamla bloggpost Hur långt räcker naturvetenskapens världsbild. (Jag är naturligtvis klar över att det är vännen Björn Bengtsson och hans trägna arbete med projektet Naturvetenskap+ som ligger bakom detta.)

• På den viktiga bloggen och webbplatsen Less Wrong driver Katja Grace en ambitiös studiecirkel kring Nick Bostroms likaledes viktiga bok Superintelligence. Hon har vid hittills två tillfällen (vecka 23 och vecka 24) funnit anledning att länka till och citera utförligt från avsnitt i den serie bloggposter kring Bostroms bok som jag kallat Superintelligence odds and ends.

Poddradio: paneldiskussionen i Malmö om vetenskapsjournalistik

Den paneldiskussion om vetenskapsjournalistik som ägde rum på ett möte med Journalistförbundets södra distrikt den 17 januari i Malmö, och som jag tillsammans med Karin Bojs och Anna Bäsén deltog i, finns nu tillgänglig som poddradio. Jag har inte haft mod att själv lyssna till sändningen, men minns paneldiskussionen som ett bra och inspirerat samtal. Dock skall sägas att jag tyckte att vår programpunkt överglänstes av den efterföljande punkten rubricerad Berättarglädjen blommar med Randi Mossige Norheim, Niklas Orrenius och Lena Sundström.

• Journalistpodden #47: Vetsnskapsjournalistik: en vetenskap i sig
• Journalistpodden #46: Berättarglädjen blommar

Om vikten av att häda

Det är fruktansvärt att vi så kort efter Charlie Hebdo-attacken i Paris åser ännu ett terrorattentat riktat mot det fria ordet: det mordförsök på Lars Vilks i Köpenhamn häromdagen som visserligen misslyckades men som ändå fick dödlig utgång. Precis som i samband med Charlie Hebdo känner jag mig manad att påpeka vikten av att stå upp för det fria ordet och för rätten att häda.

Men är verkligen just hädelse så viktigt? Svar ja. Jag känner flera i övrigt kloka och förståndiga personer som inte håller med mig om det, utan som anser att sådana tölpaktigheter bör undvikas i det längsta, då de ju av religiösa människor kan upplevas som kränkande. Jag anser att de har fel. Vari felet består är värt att förklara på nytt och på nytt. Jag ger ordet till min gode vän Patrik Lindenfors, som vältaligt förklarar sammanhangen i en debattartikel i Dala-Demokraten. Så här börjar hans artikel:

Allt mänskligheten har lärt sig om hur världen fungerar gör det idag väldigt svårt att tro att änglar kommer med budskap från Gud. Mycket tyder därför på att Muhammed aldrig fick något besök av ärkeängeln Gabriel när han var ensam i sin grotta, utan istället hittade på Koranen själv.

På ett liknande sätt förefaller det osannolikt att jungfru Maria blev gravid när hon var ensam hemma – även denna berättelse har en troligare förklaring. Det är överhuvudtaget väldigt få mytologiska berättelser som skulle tillmätas någon sanningshalt om de påstods ha inträffat i nutid.

Om man inte vet det här om sin egen religion så vet man det i alla fall om andras. Få kristna tror att den hinduiska guden Shiva skapade Ganesha genom att hugga av huvudet på en elefant för att reparera den son han just dekapiterat.

Få muslimer tror att rymdhärskaren Xenu fraktade kidnappade själar från sin hemplanet till vulkaner på jorden för att spränga dem i luften med vätebomber, något Scientologerna lär ut om man bara betalar dem tillräckligt.

Berättelser av den här typen har två problem. Dels är de uppenbart osanna, om man läser dem bokstavligt. Dels är de extremt enkla att parodiera.

Man kan fundera över om det inte är den här kombinationen som resulterat i all hädelselagstiftning som finns runt jordklotet, särskilt då makthavare historiskt inte sällan lierat sig med prästerskapet för att lättare kunna kontrollera sina undersåtar. Sitter den världsliga makten på Guds nåder kan inte gärna undersåtarna tillåtas underminera denna gudomliga uppbackning med hjälp av satir.

Läs hela Patriks artikel här!

På mitt nattduksbord

Jag har sedan decennier tillbaka utvecklat en vana, eller ovana, att läsa många böcker parallellt. Vanligtvis mellan fem och tio, även om det vid varje enskild tidpunkt inte är lätt att slå fast antalet, då det föreligger en glidande övergång mellan de böcker jag ännu anser mig hålla på med och dem jag givit upp någonstans mitt i.¹ Hur som helst är jag för ögonblicket lyckligt lottad med vad som verkar vara en anhopning av extra läsvärda böcker på mitt nattduksbord. Av dessa vill jag idag nämna fyra. Jag kan inte, då jag ju inte läst ut dem, leverera nårga fullvärdiga recensioner eller välgrundade helhetsintryck, men jag vågar mig ändå på att redovisa några preliminära omdömen:

• Steven Pinker: The Better Angels of Our Nature: Why Violence Has Declined

  Steven Pinker är en framstående forskare och en var vår tids absolut bästa populärvetenskapliga författare. Bland hans böcker har jag läst inte minst How the Mind Works och The Blank Slate med mycket stor behållning, liksom hans senaste The Sense of Style som är mer av en skrivmanual än en populärvetenskaplig framställning. The Better Angels känns helt lysande skriven och gediget researchad - kvaliteter som på intet vis förminskas av den invändning jag reste häromåret, rörande den lite förhastade slutsats ur boken som Pinker torgfört på annat håll.

• Ian McEwan: The Children Act

  Jag har tidigare skrivit positivt om McEwans romaner Solar och Sweet Tooth. McEwan skriver underhållande och med driv, utan att bli trivial, och har så till den grad gedigna bakgrundskunskaper att han kan skriva om matematiska och naturvetenskapliga ting utan att en besserwisser som jag sparkar bakut. Hans nya roman känns minst lika bra och engagerande som de tidigare.

• Po Tidholm: Norrland: essäer och reportage

  Det är knappast någon större överdrift att konstatera att med undantag enbart för universitetsstaden Umeå och vintersportmetropolen Åre så har samtliga Norrlandskommuner problem. Norrlands naturtillgångar (skog, malm, vattenkraft) är enorma, men effektiviseringar och förändrade levnadsvanor gör att dessa knappt alls kommer kommunerna till godo. Tidholm skriver vackert, initierat och ibland vredgat ur ett brett spektrum av kulturella och samhälleliga perspektiv, och boken övermannar mig med vemod och andra starka känslor.

• Nick Beckstead: On the Overwhelming Importance of Shaping the Far Future

  I denna doktorsavhandling, framlagd vid Rutgers University 2013 och grattis nedladdningsbar i pdf-format, argumenterar författaren passionerat men samtidigt filosofiskt rigoröst för att vi bör lägga väldigt mycket mer vikt än idag vid att se till att undvika mänsklighetens undergång. Hans case liknar det som Nick Bostrom lagt fram för samma tes, men han går mer på djupet, bl.a. i behandlingen av de Pascals gambit-liknande galenskaper som hotar att bli konsekvensen av resonemanget.

Fotnot

1) Den moralregel vissa håller sig med, att den bok man påbörjat till varje pris måste läsas ut, har aldrig varit något för mig. Livet är för kort för att slösas på dåliga böcker.

Global medeltemperatur 2014

Det har varit mycket snack om 2014: var det vår planets varmaste år sedan mätningarna startade? Mycket pekar i den riktningen, men det finns flera olika mätserier avsedda att approximera global medeltemperatur, och resultaten är inte helt entydiga. Men diskussionen om detta är mest bara symbolisk, ty det exakta svaret på frågan spelar mycket liten roll. Klimatforskaren Gavin Schmidt (vars klokskaper om förhållandet mellan vetenskap och politik jag citerade utförligt i min bloggpost Concerned world citizen häromveckan) förklarar på utmärkta bloggen RealClimate:

The excitement (and backlash) over these annual numbers provides a window into some of problems in the public discourse on climate. A lot of energy and attention is focused on issues with little relevance to actual decision-making and with no particular implications for deeper understanding of the climate system. In my opinion, the long-term trends or the expected sequence of records are far more important than whether any single year is a record or not.

Med lite naiv optimism skulle man kanske ändå kunna hoppas att de höga värdena för 2014 skulle få klimatförnekarna i Stockholmsinitiativet och på annat håll att dämpa sig en smula i sitt (uppriktigt talat) imbecilla kacklande om temperaturplatå och uppvärmningspaus? Men nej, jag tror inte det.

Det kommer därför troligtvis att finnas ett fortsatt behov av att besvara sådant snack, och jag tänkte härmed bjuda på några länkar till illustrationer som pedagogiskt visar hur det förhåller sig: den globala uppvärmningen pågår för fullt.

När jag för några år sedan på Uppsalainitiativet (UI) satte ihop en liten FAQ med korta svar på typiska frågor och påståenden från klimatförnekarhåll, så lyfte jag särskilt fram ett par grafiska illustrationer som jag tycker håller ännu:

• En man och hans hund eller trend och variation - en kort animering från norska populärvetenskapsprogrammet Siffer.

• Hur realister och "skeptiker" ser på den globala uppvärmningen.

Och här några mer dagsaktuella illustrationer:

• Lars Karlssons pedagogiska UI-bloggpost Game of trends.

• En särdeles elegant månad-för-månad-animering.

• Klimatbloggaren Taminos nyktra och pedagogiska It's the trend, stupid.

Douglas Adams - några favoritcitat

En av de slagfärdigaste och roligaste personer som världen skådat är den på tok för tidigt bortgångne engelske författaren Douglas Adams (1951-2001), mest känd för den underbara Liftarens guide-trilogin.¹ Här är några av mina favoriter bland hans yttranden, hämtade från Wikiquotes Douglas Adams-sida:

• I takt med att Liftarens guide-trilogin utökades till både fyra och fem delar hade Adams vissa svårigheter att hålla uppe den briljanta nivån på prosan, men när han började på nytt med Dirk Gentlys holistiska detektivbyrå (1987) blev det en nytändning och ett mästerverk. Följande passage ur boken behandlar den så kallade kattdörren, som en halsbrytande illustration till distinktionen mellan upptäckt och uppfinning:
  "Sir Isaac Newton, renowned inventor of the milled-edge coin and the catflap!"

  "The what?" said Richard.

  "The catflap! A device of the utmost cunning, perspicuity and invention. It is a door within a door, you see, a ..."

  "Yes," said Richard, "there was also the small matter of gravity."

  "Gravity," said Dirk with a slightly dismissed shrug, "yes, there was that as well, I suppose. Though that, of course, was merely a discovery. It was there to be discovered." ... "You see?" he said dropping his cigarette butt, "They even keep it on at weekends. Someone was bound to notice sooner or later. But the catflap ... ah, there is a very different matter. Invention, pure creative invention. It is a door within a door, you see."

• En fråga inom kosmologin som jag då och då haft anledning att snudda vid här på bloggen är det så kallade finjusteringsproblemet - hur kommer det sig att naturlagarnas konstanter antar värden som på ett vad det verkar närmast mirakuöst vis passar för uppkomsten av liv? Vanliga försök till svar inbegriper existensen av antingen en Gud eller ett mutiversum. En helt annan förklaring går ut på att finjusteringsproblemet är ett missförstånd grundat i våra alltför snäva idéer om hur liv, intelligens och medvetande kan te sig, och formulerades på följande vis av Adams i ett föredrag i Cambridge 1998:
  Imagine a puddle waking up one morning and thinking, "This is an interesting world I find myself in — an interesting hole I find myself in — fits me rather neatly, doesn't it? In fact it fits me staggeringly well, must have been made to have me in it!"
  Adams fortsätter sedan vattenpölsanalogin för att inskärpa ännu en viktig poäng, nära släkt med Russells kalkon:
  This is such a powerful idea that as the sun rises in the sky and the air heats up and as, gradually, the puddle gets smaller and smaller, it's still frantically hanging on to the notion that everything's going to be alright, because this world was meant to have him in it, was built to have him in it; so the moment he disappears catches him rather by surprise. I think this may be something we need to be on the watch out for. We all know that at some point in the future the Universe will come to an end and at some other point, considerably in advance from that but still not immediately pressing, the sun will explode. We feel there's plenty of time to worry about that, but on the other hand that's a very dangerous thing to say.
• Det talas mycket om jordens undergång, men det mesta som sägs är strängt taget ovederhäftigt, genom att det förbiser följande viktiga distinktion, som Adams föredömligt besserwisseraktigt framhöll i ett föredrag på UC Santa Barbara kort före sin död:
  We don't have to save the world. The world is big enough to look after itself. What we have to be concerned about is whether or not the world we live in will be capable of sustaining us in it.
• Jag har inte läst Adams postumt publicerade The Salmon of Doubt, men följande ofta citerade observation ur boken synes mig insktsfull och väsentligen korrekt:
  I've come up with a set of rules that describe our reactions to technologies:

  1. Anything that is in the world when you’re born is normal and ordinary and is just a natural part of the way the world works.

  2. Anything that's invented between when you’re fifteen and thirty-five is new and exciting and revolutionary and you can probably get a career in it.

  3. Anything invented after you're thirty-five is against the natural order of things.

Fotnot

1) För mer om Douglas Adams, se t.ex. Richard Dawkins vackra minnesord i The Guardian.

Varför jag satsat på att vara professor i Göteborg (hellre än i Lund eller Uppsala)

Följande vers av Alf Henriksson förklarar saken:

Detta säger jag dig i en klarhetens stund:
Min son, bliv aldrig professor i Lund!

Min gosse, beakta de ord som jag förtäller:
Bliv aldrig professor i Uppsala heller!

Jag träffade fyra, jag mötte fem.
Det stod icke ett skimmer av glädje kring dem.

Kring kunskapens träd är det dystert att vandra
i en krets av personer som hatar varandra.¹

Jag besvärar dig, min gosse, av denna grund:
Bliv aldrig professor i Lund!

Det är hela din lycka och jämvikt det gäller.
Bliv aldrig professor i Uppsala heller!

Fotnot

1) Detta akademiska hat är en känd kliché, och jag känner till ett och annat verkligt exempel, men dess utbredning bör inte överdrivas. Själv har jag (trots min allmänt frispråkiga stil som nog kan reta en och annan) såvitt jag kan påminna mig aldrig råkat ut för det, annat än möjligen från den tämligen harmlöse Linköpingsprofessorn Ingemar Nordin.

I vad bör vi grunda våra politiska sympatier?

En Oatmeal-seriesida rubricerad How to suck at your religion poppar upp då och då i mina flöden på Facebook och Twitter. Den är riktigt bra - rolig och med en rad angelägna poänger. Läs den!

Det är bara en passage i serien jag inte gillar. Drygt halvvägs in i den träffar en reporter på två vanliga väljare på gatan, en konservativ och en liberal. Den konservative väljaren säger sig rösta på kandidat A eftersom denne hänvisar till Gud oftare än kandidat B, medan den liberale föredrar kandidat B av rakt motsatt skäl. Reportern, som i detta fall verkar fungera som tecknarens alter ego, förklarar då för den konservative att "But sir, candidate A's tax plan is actually worse for someone in your income bracket", och för den liberale att "And you sir, candidate B's policies about economic reform could hurt a small business owner like yourself". De båda väljarna stirrar tysta och oförstående på reportern i några sekunder, varefter de går igång i mun på varandra, den konservative ropandes "Jesus! Abortion! Monster trucks!" och den liberale med slagorden "Gay rights! The environment! Hybrid cars!".

Passagen ger tydligt intryck av ställningstagande för att plånboksegoism, snarare än ideologi, bör vara vägledande för hur man röstar. Jag håller inte med om det, utan anser att politiken blir som torftigast när det är plånboksegoismen som får råda. Johan Wanloos kommentar till samma dikotomi faller mig mer i smaken: