torsdag 23 oktober 2014

Zombier i tunnelbanan

Idag bjuder jag på en gammal xkcd-teckning föreställande zombier i tunnelbanan. Till eventuell besvikelse för dem i läsekretsen som delar mitt intresse för medvetandefilosofi är det dock inte fråga om några så kallade filosofiska zombier - dessa av filosofen David Chalmers så omhuldade hypotetiska varelser som i sina fysiska manifestationer är på pricken lika dig och mig, som dock inte har något verkligt inre liv, och som bekämpats så mästerligt av både Daniel Dennett och Eliezer Yudkowsky. Nej, här är det frågan om ett annat slags zombier, nästan lika skrämmande:1

Sheeple

Fotnot

1) Jag känner mig nästan säker på att xkcd-tecknaren Randall Munroe funnit inspiration till sin teckning (publicerad den 15 juli 2009) i David Heatley snygga New Yorker-omslag den 12 februari 2007.

måndag 20 oktober 2014

Epigenetiken i Överkalix och den statistiska signifikansen: Bygren bryter tystnaden

Minns ni den bloggpost i vintras som jag gav rubriken Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna, i vilken jag påvisade att en medialt uppmärksammad studie från Karolinska inte hade belägg för sina sensationella påståenden om epigenetisk nedärvning av förvärvade egenskaper från farmödrar i Överkalix till deras sondöttrar? Jag är rättså nöjd med den diskussion som blogginlägget genererade, både i det egna kommentarsfältet (se även uppföljaren Om några av reaktionerna på Bygrenincidenten) och annorstädes. Det enda ordentliga minuset härvidlag tycker jag var att studiens huvudförfattare, Lars-Olov Bygren, inte ville delta i diskussionen - annat än med det mycket korta ebrev jag återger i bloggpostens Fotnot 3, där han lakoniskt meddelar: "Vi menar att frågan om multipeltestning inte gällde i detta fall. Det finns tidigare i forskningsfältet många fynd av könsbunden icke-genetisk ärftlighet som gått olika vägar mellan generationerna, också i denna kohort. Vi försöker därför svara på flera olika frågor i samma artikel och tycker inte att vi ska korrigera".

Men nu har han brutit tystnaden! Sedan Dan Hedlin, redaktör för Svenska statistikfrämjandets medlemstidning Qvintensen, utvecklat min kritik och inbjudit Bygren att replikera, så kan vi nu i senate numret (nr 3/2014) ta del av ett omfattande meningsutbyte mellan Hedlin och Bygren. Jag vill verkligen uppmana de läsare som i vintras intresserade sig för Bygrenincidenten, men som måhända bara fick sig till livs "min"1 sida av saken, att ta del av deras diskussion.

Bygren medger nu att massignifikans (vilket är den aspekt som enligt min mening sänker hela studien) är värt att beakta: "Massignifikans nämns tyvärr inte uttryckligen". Han fortsätter med att massignifikansen ändå "finns att se för var och en som förstår statistik och kan göra en avvägd bedömning", och han återkommer längre fram till att "läsarna är fullt kapabla att själva värdera fynden". Det är givetvis sant att vissa läsare (t.ex. Dan Hedlin och jag) har visat sig fullt kapabla till detta, och visst ligger det något sympatiskt i att ha höga tankar om sin läsekrets, men med tanke på den bristande kunskapsnivån i statistik bland forskare i allmänhet vill jag nog ändå mena att upplägget är riskabelt i överkant. Och jag vill faktiskt insistera på att det var direkt olämpligt av Bygren och hans medförfattare att göra saken ännu svårare för läsekretsen genom att i artikeln göra gravt vilseledande påståenden som "The shock of change in food availability seems to give specific transgenerational responses" och (i själva artikelrubriken) "Change in paternal grandmothers' early food supply influenced cardiovascular mortality of the female grandchildren" - påståenden som saknar stöd i det empiriska material som studien bygger på.

Fotnot

1) Som om jag hade personlig äganderätt till idealet vetenskaplig stringens.

fredag 17 oktober 2014

Om skandalen idag på Malmö högskola

Idag försvarade Anders Lindh vid Malmö högskola sin doktorsavhandling "Unity pervades all activity as water every wave": principal teachings and philosophy of Maharishi Mahesh Yogi. Jag har inte läst avhandlingen, och det behöver absolut inte ligga något fel i att en doktorsavhandling studerar pseudovetenskapliga läror, bara detta sker med det kritiskt reflekterande förhållningssätt som karaktäriserar vetenskapen. Vad som däremot förefaller alldeles åt helskotta är att man som fakultetsopponent bjudit in en person som saknar normala akademiska meriter och som företräder själva den pseudovetenskapliga lära som avhandlingen säger sig studera: Sue Brown. Min gode vän Patrik Lindenfors uppmärksammade igår på Humanistbloggen den planerade disputationsakten, och efter fullbordat faktum berättar han nu om den i Aftonbladet:
    I dag lades avhandlingen "Unity Pervades All Activity as Water Every Wave" fram och godkändes vid en doktorsdisputation. Avhandlingen handlar om de principiella lärorna och filosofin hos Maharishi Mahesh Yogi. Om det låter bekant kan det vara för att det är samma guru George Harrison och resten av Beatles blev så betuttade i på 60-talet.

    Avhandlingen är inte direkt ett kritiskt undersökande av Maharishis läror, för att sammanfatta det milt. Men det är inte huvudproblemet – skulle det vara ett kvalitetskriterium på avhandlingar skulle man vara tvungen att lägga ner alla Sveriges teologiska fakulteter. Huvudproblemet är opponenten.

    Opponenten Sue Brown är Assistant Professor in Maharishi Vedic Science vid Maharishi University of Management. Hon doktorerade vid samma Maharishi-universitet 2008 med avhandlingen "Unity and diversity in Maharishi Vedic Science, higher states of consciousness, and an evaluative study of undergraduate student development".

    Ämnet som opponenten är professor i, Maharishi Vedic Science, är dock ingen verklig vetenskaplig disciplin, utan kan bättre klassificeras som New Age. Det Malmö högskola gör är helt enkelt att låta en av Maharishis devota anhängare bedöma en avhandling om sin Guru. Detta är inte rimligt på något sätt. Malmö högskola behöver förklara sig.

Läs hela artikeln här!

Av Björn Johnson, som var närvarande vid disputationen och i realtid rapporterade till mig och andra Facebook-vänner, har jag fått veta att "under själva disputationen ställdes inte en enda kritisk fråga från opponenten - ska jag vara uppriktig så tror jag knappast att hon hade läst avhandlingen, möjligen skummat den - och ytterst få frågor från betygsnämnden". Han meddelar också att hela tillställningen kändes riggad: "Man får intrycket att denna opponent var en smula, vad ska vi säga, handplockad."

Jag kan bara instämma i Patriks bedömning att detta inte är rimligt och att Malmö högskola har ett och annat att förklara.

onsdag 15 oktober 2014

An open letter to Mr Martin Hynes, chief executive of the European Science Foundation

Dear Mr Hynes,

I am writing to you in your role as chief executive of the European Science Foundation (ESF). To the best of my memory, we haven't met, so allow me to introduce myself as a professor of mathematical statistics at Chalmers University of Technology and a member of the Royal Swedish Academy of Sciences (a member organization of the ESF). I furthermore serve on the Scientific Council for Natural and Engineering Sciences at the Swedish Research Council (another member organization of the ESF). I am mentioning these things just to give you an idea of who I am; the opinions I express below are solely my own and not meant to represent those of any of the organizations just mentioned.

A few days ago, on October 8, the journal Nature published an opinion piece by astronomer Amaya Moro-Martin. The piece carries the headline A call to those who care about Europe's science, it is generally critical of budget cuts by various research funding agencies in Europe, and it contains the following passage (boldface added by me).
    There are too many examples to list, but here are some of the most prominent: since 2009, Italy has seen recruitment of scientists fall by 90% and the amount spent on basic research drop to nothing. In Spain, the amount of money spent on civilian research and development has dropped by 40%, and fewer than 10% of researchers who retire are being replaced. Since 2011, the budget of Greek research centres and universities has halved, with a freeze on hiring. Already reeling from budget cuts of 50% for universities and research centres, Portugal may now have to close half of its research units because of a flawed evaluation process supported by the European Science Foundation.
You probably already know what happened next, but I retell it anyway so that my blog readers can learn about it (as for myself, I heard about it from the blog Retraction Watch). In any case, shortly after the publication in Nature, Moro-Martin received a letter from Dr Jean-Claude Worms, head of the ESF's Science Support Office, with the following content.
    The European Science Foundation hereby requests that you retract the following allegation contained within your opinion piece published on 8 October in Nature (Volume 514, Issue 7521). [Portugal may now have to close half of its research units] because of a flawed evaluation process supported by the European Science Foundation. The European Science Foundation refutes any allegation that the process was flawed and considers that the statement cited above is slanderous, as the independent work performed in the framework of the evaluation of FCT research units followed the best international practices. http://www.esf.org/serving-science/fct-rd-units-evaluation-by-esf.html. While the European Science Foundation is cited in your paper, it is highly regrettable that no one from our organisation was interviewed and no request for clarification made. In addition, and as you may be aware, the Portuguese national union for higher education has launched a formal legal action on the evaluation process, and this has not yet come to a conclusion. If your allegation is not publically retracted in Nature, the European Science Foundation will be compelled to take appropriate legal action.
I kindly ask you (a) to retract Dr Jean-Claude Worms' threat to "take [...] legal action" against Amaya Moro-Martin, (b) to apologize to her, and (c) to bring to Mr Worms' attention something that has obviously escaped him, namely that the ESF is supposed to be "sensitive to societal and ethical considerations in all its activities". Dr Worms' abominable letter to Moro-Martin (threatening a ridiculous lawsuit as a mere intimidation tactic) clearly does not live up to such standards.

If instead you should turn down my request, and go on to have the ESF take the legal action against Moro-Martin threatened by Dr Worms, then please note the following. I, too, consider the evaluation process referred to by Amaya Moro-Martin flawed.1 So please go on to sue me as well.

Yours sincerely,

Olle Häggström

Footnote

1) Well, to be perfectly honest, I have no clue (other than that I have never seen, and can hardly imagine, a scientific evaluation procedure on that level so obviously flawless that it does not leave legitimate room for someone to call it "flawed"). Bu my point is not that the procedure was flawed, but that I have the right (just like Amaya Moro-Martin) to say it was.

söndag 12 oktober 2014

Tyder positiv kursutvärdering på svag lärarinsats?

På Chalmers liksom på andra universitet och högskolor brukar så gott som varje kurs åtföljas av en kursutvärdering, där studenterna (anonymt) ger sina synpunkter. Var föreläsningarna bra och begripliga? Var kursen välorganiserad? Etc.

Tanken med dessa kursutvärderingar var ursprungligen att läraren skulle ges möjlighet att förbättra kursen inför nästa år, och måhända är detta fortfarande att betrakta som deras huvudsyfte, men en annan användning av dem har på senare år kommit att bli alltmer framträdande. När en universitetslärare löneförhandlar, när hon söker en lektors- eller professorstjänst, eller när hon ansöker om befordran, så finns kursutvärderingar från hennes tidigare undervisningsinsatser med som en av de aspekter som ligger till grund för beslut. Tanken är givetvis att man vill anställa och belöna skickliga lärare, och att den lärare som får goda betyg i studenternas kursutvärderingar troligtvis också är en skickliga lärare.

Och det låter ju som en god tanke, men kanske vi för säkerhets skull borde kontrollera att positiva kursutvärderingar verkligen korrelerar med lärarskicklighet? Jag har nu tagit del av en aktuell studie som behandlar just den frågan, och mycket riktigt finner författarna en korrelation mellan positiva kursutvärderingar och framgångsrik lärarinsats. Korrelationen är emellertid negativ:
    We find that, even in a setting where the syllabuses are fixed and all teachers in the same course present exactly the same material, professors still matter substantially. [...] Moreover, our measure of teaching quality is negatively correlated with the students’ evaluations of the professors: teachers who are associated with better subsequent performance receive worst evaluations from their students.
Studien, som bär titeln Evaluating students’ evaluations of professors och är författad av de italienska ekonomerna Michela Braga, Marco Paccagnella och Michele Pellizzari, publicerades tidigare i år i tidskriften Economics of Education Review. Den bygger på ett relativt stort datamaterial och tycks mig vara mycket omsorgsfullt genomförd. En särskild styrka ligger i att allokeringing av studenter till olika lärare randomiserats, vilket eliminerar många felkällor och är standard inom kliniska medicinska studier men inte alltid möjligt att uppnå på andra områden. Författarna likställer undervisningens kvalitet med hur mycket studenterna lär sig,1 och som en proxy för hur mycket studenterna lärt sig använder de studenternas resultat på senare kurser i utbildningsprogrammet.

Att utfallet av kursenkäter skulle korrelera negativt med undervisningens kvalitet kan tyckas kontraintuitivt, men Braga et al föreslår som en trolig förklaring att studenter är ute efter inte bara att lära sig, utan också att få en lättjefull och behaglig resa fram till godkänt betyg, något som kan stå i direkt konflikt med inlärningsmålet:
    These empirical findings challenge the idea that students observe the ability of the teacher in the classroom and report it to the administration when asked in the questionnaire. A more appropriate interpretation is based on the view that good teachers are those who require their students to exert effort; students dislike it, especially the least able ones, and their evaluations reflect the utility they enjoyed from the course.
Sista ordet är självklart inte sagt i fråga om kursenkäters värde för att mäta lärarskicklighet, och vad gäller den här studien kan man t.ex. resa frågan om generaliserbarhet från ett enda italienskt universitet till högre lärosäten i allmänhet. Jag tycker ändå att den med kraft påvisar naiviteten i den utbredda uppfattningen om att det självklart föreligger ett positivt samband mellan kursenkätsreslutat och lärarskicklighet.

Fotnot

1) De medger dock att det inte är självklart hur ett begrepp som undervisningskvalitet skall definieras, och att om det är studenternas nöjdhet med kursen snarare än deras inlärning som är det viktiga så ställs studiens resultat på ända. Men, som de lakoniskt konstaterar, "We doubt that this is the most common understanding of higher education policy.".

onsdag 8 oktober 2014

Genväg till Piketty

Årets (även om den utkom på originalspråk redan 2013 med titeln Le Capital au XXIe siècle) stora samhällsvetenskapliga snackis och hit verkar vara den franske nationalekonomen Thomas Pikettys Kapitalet i det tjugoförsta århundradet, som behandlar frågan om ekonomisk ojämlikhet i samhället. Det handlar om kapital- och inkomstfördelning och hur dessa förändrats över tid i en rad länder, hur dessa förändringar kan förklaras, och vad vi eventuellt borde göra framöver för att inte den ekonomiska ojämlikheten skall eskalera. Boken har klättrat högt på bestsellerlistor, den har hyllats av oräkneliga skribenter (alltifrån Paul Krugman i New York Review of Books till Sven-Eric Liedman i DN), den har kritiserats i Finacial Times, den har diskuterats i en rad inlägg på utmärkta grannbloggen Ekonomistas, och på Twitter diktade självaste Göran Greider i ett inspirerat ögonblick följande:
    Piketty
    Piketty
    alla läser däri
    om dom som går i
    sina gyllne skor
Dock är boken en rejäl tegelsten - så tjock att endast en liten minoritet av dess s.k. läsare faktiskt läst ut den. Detta fick mig i somras att bestämma mig för att trots allt prioritera bort den från min läslista. Men så, häromveckan, kom räddningen. Över en fika på ett av caféerna på Stockholm C berättade filosofen Gustaf Arrhenius entusiastiskt att den svenske nationalekonomen Jesper Roine (författare till ett par av de ovan länkade Ekonomistas-inläggen) skrivit en nätt liten 111-sidig reflekterande sammanfattning av boken. Bara minuter senare hittade jag Roines Thomas Pikettys Kapitalet i det tjugoförsta århundradet: Sammanfattning och svenskt perspektiv på PocketShop, och jag sträckläste den sedan på tåget hem till Göteborg. Jag välkomnar att Piketty fäster strålkastarljuset på fördelningsfrågor i en tid då annars det mesta av fokuset ligger på maximering av total tillväxt. Jag upplever inte de intellektuella insikter som han (genom Roines filtrering) bjuder på som särskilt hisnande,1 men de är knappast heller försumbara, och de är väl värda de där timmarna på tåget - rekommenderas! Naturligtvis kan jag fortfarande inte skrävla med att ha läst Pikettys tjocka bok, men jag tror mig genom Roines av allt att döma kompetenta sammanfattning ha ett ganska bra hum om vad folk snackar om när de snackar om Piketty.

Fotnot

1) Två andra ekonomer som i en aktuell och stort uppmärksammad bok befattar sig med den ökande ekonomiska ojämlikheten är Erik Brynjolofsson och Andrew McAfee, och om jag måste välja finner jag deras diskussion mer givande än (den genom Roine filtrerade) Piketty. Medan Piketty/Roine fokuserar på abstrakta makroekonomiska sammanhang, och som huvudförklaring till ökad ekonomisk ojämlikhet anger olikheten r>g, där r är avkastningen på kapital och g är tillväxttakten i ekonomin, så rör sig Brynjolfsson och McAfee på ett konkretare plan, då de pekar på digitaliseringens genombrott, och hur den via försumbara kopieringskostnader och eliminerandet av geografiska avstånd leder till en "vinnaren tar allt"-ekonomi där vi ser en förskjutning av allt större samhällssektorer från Mediokristan till Extremistan.

söndag 5 oktober 2014

Gatukonst i Borås

Läsare i Västsverige (och annorstädes) rekommenderas varmt besöka Borås, som jag själv gjorde igår, för en av de häftigaste konstutställningar jag någonsin upplevt. Officiellt ägde gatukonstevenemanget No Limit rum den 4-7 september i år, men flertalet konstverk finns kvar på olika husfasader inom behagligt promenadavstånd från varandra i centrala Borås. Nedan ett litet axplock. Foton av Eva Häggström.