Gästinlägg av Bo Berndtsson: Om den senaste universitetsrankingen

Alltmer vikt verkar numera fästas vid de olika globala universitetsrankingar som med jämna mellanrum presenteras, varav den så kallade Shanghairankingen blivit mest känd. En annan av dem, Times Higher Education World Reputation Rankings, gav häromdagen eko i svenska media, där det ansågs alarmerande att ett par välkända svenska universitet halkat utanför listan. Min Chalmerskollega Bo Berndtsson har tittat närmare på denna ranking, och det är härmed mitt stora nöje att presentera hans sågning av densamma som ett gästinlägg här på bloggen. /OH

* * *

Om den senaste universitetsrankingen

Bo Berndtsson

Förra veckan kom ännu en larmrapport om det svenska utbildningssystemet. I radio och tidningar rapporterades på framskjuten plats om att svenska lärosäten tappar i anseende - Uppsala och Lund har petats från topp hundra-listan över världens främsta universitet. Rapporteringen utgick från en nypublicerad undersökning av Times Higher Education. Få verkar ha ställt sig frågan hur undersökningen är gjord och om man verkligen kan dra några slutsatser från den.

Låt oss först konstatera att Times Higher Education gör två olika undersökningar, World University Rankings och World Reputation Rankings. Den första av dessa är åtminstone någorlunda seriös och jag skall återkomma till den lite längre ned. Det är den andra, Reputation Ranking, som de senaste larmrapporterna är baserad på, och den är inte seriös alls. Så här är den gjord:

Times Higher Education, eller rättare sagt Thomson Reuters som är det analysföretag som gjort enkäten, har helt enkelt frågat ett antal forskare vilka de anser vara världens 15 främsta universitet. Rankningslistan är gjord så att högskolorna rankas efter hur många röster de fått. Nummer 1 (Harvard) har sedan tilldelats poängantalet 100, och ett universitet som fått, säg, en tiondel så många röster som Harvard har fått 100/10=10 poäng. Det är allt!

Det är lätt att föreställa sig vilket resultat en sådan metodik ger. Enda möjligheten att få poäng är ju att någon forskare, någonstans därute, anser att man hör till de femton bästa. Det är ingenting som man kan räkna med skall hända alls i ett land som har någon promille av världens befolkning. Om de som svarat på enkäten är omdömesgilla (se mina farhågor på den punkten nedan) kan man räkna med att ett universitet som i någon reell mening ligger på plats femtio inte får några röster alls. Den som vill kan ju jämföra med vilket resultat en liknande undersökning om vilka som är Sveriges främsta idrottare, eller ännu hellre, vilka som är världens hundra största städer skulle ge.

Ja, låt oss fundera ett ögonblick hur det skulle gå om någon ville sammanställa en rankningslista över världens största städer, genom att be 1000 personer ange vilka städer de tycker är de femton största. Om de som svarar på enkäten var seriösa så skulle de femton städer som verkligen är störst få 1000 röster var. Ingen annan skulle få någon röst. I verkligheten skulle det förmodligen bli lite brus, några skulle ha fel om vilka städer som är störst, några skulle kanske tolka frågan fel och någon kanske skulle svara på skoj. Därför skulle resultatet i realiteten bli att de femton största bara skulle få nästan alla röster, och sedan skulle det finnas en snabbt avtagande svans. T ex skulle kanske någon från Arboga ta med den staden i sitt svar och det skulle kanske räcka för att komma med på topp hundra-listan. Då skulle Svenska Dagbladet skriva: "Ny undersökning visar: Arboga bland världens största städer."

I alla händelser skulle det här exemplet förmodligen inte ge särskilt pålitliga resultat på plats hundra, och det tror jag inte att Times undersökning har gjort heller. Man kan också se att poängantalet rasar mycket snabbt från 100 på plats 1, till 6.5 på plats 50. På lägre placeringar har Times valt att inte publicera poängantalet - säkerligen för att de extremt låga talen på plats 100 skulle visa metodikens problem så tydligt.

Times skriver att resultatet är baserat på "the considered expert judgement of senior, published academics - the people best placed to know the most about excellence in our universities". Tillåt mig att tvivla. Jag kan tänka mig att det finns två typer av forskare som gör sig besväret att svar på en så här korkad enkät. 1. De som inte har något bättre att göra. 2. De som tror att de kan påverka resultatet i för dem önskad riktning. Ingen av dessa grupper är särskilt lämpad för uppgiften.

Det stämmer till eftertanke att den här eländiga undersökningen har kunnat få så mycket uppmärksamhet, bland politiker, lederskribenter och i nyhetsrapporteringen. Senast i raden är Svenska Dagbladets chef för ledaravdelningen, Tove Lifvendal, som kallar rapporten "en av de mest prestigefyllda universitetsrankningarna i världen". Hon citerar också undersökningschefen, Phil Baty, som kallar det "ett slag mot Sveriges globala status att två av landets mest prominenta universitet faller ur listan". Lifvendals artikel betraktar jag som ett olycksfall i arbetet - det är omöjligt att göra en egen detaljkoll av alla fakta som rusar förbi. Phil Baty däremot framstår som en ren humbug; han måste rimligen själv begripa något av vad han håller på med.

Det återstår då Times andra lista, World University Rankings. Den utgår ifrån ett flertal olika indikatorer, varav 'reputation' bara är en. Man kan ha många synpunkter på hur rättvisande den är men det är inget som jag tänker gå in på här. Jag vill bara i rättvisans namn tillägga att också här har verkligen både Uppsala och Lund rasat de senaste åren. Å andra sidan har placeringen av KTH och Stockholms Universitet gått upp ungefär lika mycket. Inte heller den undersökningen verkar alltså ge något fog för slutsatsen att svenska universitet tappar, däremot reser den kanske en del andra frågor.