torsdag 2 januari 2014

Viktigt att veta om vetenskap

När en vetenskapskolumnist på ansedda The Guardian skriver en text med rubriken Top 20 things politicians need to know about science, och när texten är baserad på en 20-i-topplista av forskarna William Sutherland, David Spiegelhalter och Mark Burgman (två biologer och en statistiker) i den ännu mer ansedda tidskriften Nature, vad tar de då upp? Växthuseffektens fysikaliska grunder? Sambandet mellan kärnklyvning och radioaktivitet? Vilka ämnen som är mest cancerframkallande? Marginalnyttans roll i neoklassisk nationalekonomi? Människans släktskap med bonoboer och chimpanser?

Nej, inget av detta får plats. Istället fokuserar topplistan helt och hållet på vetenskapsen metoder, snarare än dess specifika resultat. Jag sympatiserar med den prioriteringen,1 och trots att jag ogärna ser mig själv som det slags närsynt forskare som anser att det egna ämnets vikt och betydelse överskuggar alla andras (och tro mig, sådana personer finns i matematisk statistik precis som i alla andra discipliner!), så skrockar jag förnöjt då jag finner att jämte den grundläggande punkten om att forskare blott är människor -
    Scientists have a vested interest in promoting their work, often for status and further research funding, although sometimes for direct financial gain. This can lead to selective reporting of results and occasionally, exaggeration. Peer review is not infallible: journal editors might favour positive findings and newsworthiness. Multiple, independent sources of evidence and replication are much more convincing.
- så handlar 17 av de övriga 19 punkterna (lågt räknat) om vikten av en god statistisk slutledningspraktik (inklusive statistisk försöksplanering). Här diskuteras det viktiga begreppet statistisk signifikans och det missbruk härav som kallas sizeless science, här diskuteras stickprovsstorlekens betydelse, här diskuteras det luriga fenomenet regression mot medelvärde, och här diskuteras det lika luriga fenomen som bland matematiska statistiker fostrade i Göteborg mot slutet av 1900-talet går under den lite märkliga benämningen Sjukdomen S. Och så vidare.

Sutherlands, Spiegelhalters och Burgmans budskap överensstämmer i hög grad med det jag själv för fram i en uppsats från förra året med rubriken Why the empirical sciences need statistics so desperately,2 med en iögonfallande skillnad. Medan Sutherland et al pekar på behovet av att politiker och andra makthavare har dessa grundläggande vetenskapsteoretiska och statistiska kunskaper, så uttrycker jag i min uppsats det avgjort modestare ambitionen att forskare i allehanda discipliner bör ha dem.

Fotnoter

1) Jag gjorde samma prioritering i mitt föredrag i Falkenberg om naturvetenskapens världsbild i höstas.

2) Min uppsats har nyligen kommit i tryck i konferensproceedingsvolymen European Congress of Mathematics, Kraków, 2 – 7 July, 2012. Trogna läsare av denna blogg vet hur ogärna jag förfaller till skryt, och jag hoppas att det inte uppfattas som sådant då jag inte vill undanhålla läsarna följande passage från volymens baksidestext:
    These proceedings present extended versions of most of the invited talks which were delivered during the congress, providing a permanent record of the best what mathematics offers today.

23 kommentarer:


  1. Blir lite förbryllad över hänvisningen till "Sjukdomen S" och länken till en av våra tentor i grundkursen. Är det skillnaden mellan P(A/B) och P(B/A) som avses?

    SvaraRadera
    Svar
    1. Just det, Gunnar. Sutherland et al kallar förväxlingen mellan P(A|B) och P(B|A) för "the base-rate fallacy".

      Radera
    2. jag måste ha missat något i lösningen, men kan det stämma att sannolikheten att ha sjukdomen är 1% medan sannolikheten att ha sjukdomen om läkaren ställer diagnosen att man *inte* har sjukdomen är 2%?! (jag tror att i lösningen det som beräknats är det motsatta)

      Radera
    3. Vaket observerat, Lorenzo! Sista steget innehåller ett slarvfel där decimalkommat förskjutits ett steg, och det rätta svaret skall vara drygt 0,2%.

      (Slarvfelet har givetvis i sig inget med the base-rate fallacy att göra. Snarare kan det väl förklaras med att uträkningen gjorts av en lärare inte på Chalmers utan på KTH.)

      Radera
    4. F d lärare dock! Har korrigerat kalkylen!

      Radera
    5. Va? Blev han/hon avskedad för en sådan liten struntsak? Vilken föredömlig nolltolerans, och KTH stiger nu i min aktning!

      Radera
    6. Nja, han ville tjäna mer pengar så han försvann till finansbranschen. Påminner mig om historien om Anders Martin-Löf när han var chefsaktuarie på Folksam och var lite stressad när han skulle presentera för Folksams styrelse en kalkyl på hur mycket bolaget maximalt kunde förlora på ett försäkringskontrakt och gjorde ett smärre decimalfel (dubbelt dessutom tror jag) och trodde att delar av styrelsen skulle drabbas av slaganfall!

      Radera
  2. Arne Söderqvist2 januari 2014 kl. 10:00

    Snart utkommer en ny bok om vetenskapliga metoder. Jag ser fram emot att få läsa den.
    https://www.adlibris.com/se/bok/karl-popper-falsifieringens-profet-9789170401176

    I dagens DN (2 januari) finns en kolumn som visar hur det kan gå när man inte använder vetenskapliga metoder.
    http://www.dn.se/ledare/kolumner/skojares-och-svindlares-bransch/

    SvaraRadera
    Svar
    1. Ja, visst är vår vän Ulf Perssons kommande bok något att se fram emot!

      Och visst förtjänar FDA och läkemedelsjättarna kritik längs de linjer som Nathan Sachar antyder i sin DN-kolumn, men när han skriver att "teorin att mentala störningar är ett uttryck för kemisk obalans i hjärnan har visat sig ohållbar" går han helt överstyr, och jag finner det faktiskt en smula pinsamt att han stödjer sig på scientologen och rättshaveristen Janne Larsson.

      Radera
    2. Arne Söderqvist2 januari 2014 kl. 18:35

      Jag kände inte till Janne Larssons bakgrund. Referensen till honom förtar förvisso en del av seriositeten i Shachars kolumn.

      Hans kommentar på slutet uppfattade jag som att det var en tillfällighet att scientologerna faktiskt hade samma kritiska uppfattning som han själv. Han skrev ju också ”… den fanatiska scientologisekten – som har egna randiga skäl att förneka psykiatrin …”.

      Radera
    3. Oops, min länk till Shachar i kommentaren 11:25 blev visst fel. Men den finns ju i klartext i Arnes kommentar 10:00. Och här (förhoppningsvis).

      Radera
    4. http://www.expressen.se/kultur/lognerna-pa-dagens-nyheters-ledarsida/
      http://www.dagensmedicin.se/blogg/mats-reimer/skriver-scientologerna-ledare-i-dn/

      Radera
    5. Okommenterade länkar är egentligen ett oskick som jag inte vill acceptera här på bloggen, Martin, men just de här kände jag omedelbart igen såsom ledandes till kloka kommentarer till Shachars kolumn, så jag gör ett undantag och beviljar publicering...

      Radera
    6. Arne Söderqvist5 januari 2014 kl. 05:48

      Scachars kolumn har startat en debatt som fortsätter i dagens (5 januari) DN.
      Precis som Shachar nu påstår i sitt svar på dagens inlägg, så uppfattade jag inte att han stödde sin ståndpunkt på Scientologerna, utan menade att dessa kommit fram till samma slutsatser som han själv, fast från andra utgångspunkter. Hans hänvisning till just Scientologerna var ju egentligen därmed helt irrelevant, kan man förvisso hävda.

      http://www.dn.se/ledare/kolumner/fordummande-verklighetsforvanskning/

      Radera
  3. hej olle,

    en liten besserwisserkommentar: du stavar "desparately" i dina blogginlägg istället för "desperately".
    (kanske inte mitt starkaste bidrag till mänsklighetens välstånd)

    SvaraRadera
    Svar
    1. Tack, korrigerat! Mitt behov av korrekturläsning är desparat.

      Radera
  4. Re "sjukdomen S": The question that still needs to be answered is whether or not the diagnosis is the actual case. The "diagnosis" appears to be a screening test which is what one would do to avoid doing harm. Screening tests should also be designed to avoid wasteful spending for health care.

    The only statistics that politicians seem to be interested in relates to what they need to say or promise to get elected. And with terms limits they don't have to worry about getting reelected so popularity in office is irrelevant.

    SvaraRadera
  5. Jag såg hela filmen från Falkenberg och tyckte det var intressant. Jag är åndå lite benägen att hålla med Bo Sjögren att det kanske inte är helt lätt att prioritera bland vetenskapens metoder eller resultat. På ett plan tycker jag också metoderna är viktigare, eftersom man då kan känna sig mer övertygad om resultatet. Men ibland kan ju intentionen ha varit väldigt avgörande, och att resultatet snarare har motiverat framtagandet av metoderna (eller användande och utvecklande av redan existerande metoder). Jag är precis som Bo, inte helt övertygad om det ena eller andra, och tror det är svårt att säga väldigt bestämt vad som är viktigare. I detta sammanhang är jag amatör, men finner frågan mycket intressant.
    Kjell Eriksson

    SvaraRadera
    Svar
    1. Tack för din kommentar, Kjell. Jag inser nu att jag behöver precisera vad jag menar med bloggpostens formulering "sympatiserar med den prioriteringen", som lätt kan tolkas som att jag anser att vetenskapens metoder är viktigare än dess resultat. Det anser jag emellertid inte. Tvärtom vill jag nog mena att det är befängt att försöka rangordna de sakerna, då det ju i första hand är i kombination med varandra som de blir viktiga och intressanta.

      Vad jag menar med min lite hastigt påkomna formulering "sympatiserar med den prioriteringen" är detta: I rådande media- och kunskapsklimat, där allmänheten dagligen bombarderas med det ena vetenskapliga resultatet efter det andra, men inte har mycket till susning om de vetenskapliga metoder som ligger bakom, så tycker jag att det är bra och lovvärt när någon försöker sätta åtminstone lite grand av det offentliga strålkastarljuset på metodfrågor.

      Radera
  6. En fråga!

    I samhällsvetenskapliga metodböcker omnämns ett antal olika metoder - mestadels genom en indelning i kvantitativa och kvalitativa metoder. Kan vi utifrån någon form av allmänvetenskaplig utgångspunkt hävda att en av dessa metodarsenaler är mer vetenskaplig än en annan?

    Inom de kvantitativa metodarsenalen brukar samhällsvetenskapliga metodböcker framhålla vikten av slumpmässigt oberoende urval. Ett urval från vad? Eller rättare sagt, ett urval från vilken population? Om vi har sex till sju miljarder människor och samhällsvetenskapliga teorier brukar hävda att de lever i en globaliserad värld - hur ska vi då förena urvalsmetodiken till detta antagande om en globaliserad värld, där pengar, siffror, flyttar sig över jordklotet med en sekunds fördröjning, idéer med betydligt långsammare fördröjning och människor ännu långsammare - men ändå - hur avgränsa en population i en globaliserad värld?

    Inom samhällsvetenskaplig metod är det vanligt med komparativa undersökningar - utan antagandet om ett oberoende slumpmässigt urval. Istället väljs det som jämförs, t.ex. en skola i område A - med en skola i område B, eller en stats valsystem i Stat A, med ett annat valsystem i Stat B respektive ett tredje i stat C, etc. utifrån på förhand bestämda kriterier.

    Är det inte den vetenskapliga frågeställningen och verklighetens beskaffenhet som avgör vilken metod som är bäst lämpad i en vetenskaplig studie?

    SvaraRadera
    Svar
    1. En fråga? Jag räknar till... få se nu... en, två, tre, fyra, fem frågor i din kommentar, och ingen av dem medger något kort, koncist eller entydigt svar.

      Eller jo förresten, den sista, den om huruvida "den vetenskapliga frågeställningen och verklighetens beskaffenhet [är avgörande för] vilken metod som är bäst lämpad", den är jag faktiskt böjd att kort och gott besvara med ja.

      Radera
    2. Du har rätt att det var flera frågor. Att jag skriver en fråga beror på min eviga längtan efter en enhetsvetenskap - på gott och ont.

      Nutida samhällsvetenskaper är, tolkar jag, mångtydig, fragmenterad etc. Vilket i sin tur är beroonde av att den verklighet den studerar, samhället, genomgår stora och snabba förändringar - ibland sammanfattad med två ord: globalisering och individualisering.

      Radera
  7. Tack. Precis vad jag tänkte säga i en ev kommentar: det är kombinationen som är det viktiga. Dessutom får jag nog sluta knappa in mina inlägg från smartphone. Små fel smyger sig in: "intentionen" skulle ha varit "intuitionen" i mitt förra inlägg.
    Kjell Eriksson

    SvaraRadera