Citeringsspelet

I min roll på Vetenskapsrådet (VR)¹ har jag varit med som ledamot eller observatör i en rad beredningsgrupper för bedömning av forskningsanslagsansökningar, och har då noterat att allt större vikt fästes vid bibliometriska data: längden på de sökandes publikationslistor, och statistik över hur ofta deras arbeten citeras i den vetenskapliga litteraturen. Detta sker på bekostnad av fördjupad diskussion kring innehållet i själva projekten och vad de sökande faktiskt åstadkommit i tidigare forskning. Nästan alla inblandade i beredningsarbetet erkänner att vetenskaplig kvalitet och citeringsfrekvens inte är samma sak, och framhåller att bibliometri aldrig kan bli till mer än ett hjälpmedel - en faktor bland många - i bedömningarna. I mina öron låter detta dock mest bara som en läpparnas bekännelse. Frestelsen är stor och närmast oemotståndlig, när man har till synes objektiva siffror att ta fasta på, att låta sig styras av dessa. Jag skriver "till synes", ty i grunden bygger ju publicerings- och citeringsstatistiken på redaktörers, refereegranskares och andra forskares subjektiva omdömen om forskningens kvalitet.²

Denna utveckling är långt ifrån något unikt VR-fenomen - även på andra håll vinner bibliometrin ökat inflytande.³ Förre universitetskanslern Anders Flodström föreslår i den aktuella utredningen Prestationsbaserad resurstilldelning för universitet och högskolor (som nu är ute på remiss) ett nationellt resursfördelningssystem som i stor utsträckning baseras på bibliometri. Som jag tidigare antytt här på bloggen är Chalmers på väg i samma riktning, och samma sak gäller på många (kanske rentav samtliga) av landets övriga universitet och högskolor. Forskare idag vet att de, i samband med exempelvis forksningsanslagsansökningar, befordringsärenden och tjänstetillsättningar, i hög grad bedöms på bibliometriska grunder.

Jag finner denna utveckling oroande, inte i första hand för att anslagsgivare och anställningskommittéer riskerar att fatta felaktiga beslut på grund av diskrepensen mellan citeringsfrekvens och verklig vetenskaplig kvalitet⁴, utan på grund av de effekter detta system får på enskilda forskares prioriteringar i det egna arbetet. Datalogen David Parnas beskriver i sitt läsvärda debattinlägg Stop the Numbers Game en uppsättning beteenden som kan väntas bli följden av ett ökat fokus på bibliometri: ytlig forskning, publiceringspakter, klickbildning, meningslös återanvändning av gamla resultat, nedbrytning av forskningsresultat i minsta publicerbara enheter, etc etc. Parnas talar i första hand om det nakna räknandet av antal publikationer, men det mesta han beskriver är applicerbart, med större eller mindre modifieringar, även med en incitamentsstruktur som premierar forskare baserat på antal citeringar. Den som ser sig omkring i den akademiska världen finner snabbt att dessa beteenden förekommer redan idag.

Ett flagrant exempel beskrivs i en aktuell text rubricerad Commodifying the Academic Self av sociologen Gaye Tuchman. Hon berättar hur hon nyligen bidragit med ett manuskript till ett temanummer för en amerikansk sociologisk tidskrift, och i samband därmed tagit emot ett ebrev från temanumrets redaktör, med följande uppmaning:

There is one thing I want to encourage you to consider doing, namely have a look at a couple of preliminary and relevant articles from other contributors to the special issue. If you acknowledge each other’s work it will clearly add to the feeling of having a special issue that is relatively well-integrated, plus add to the impact factor of each other’s work.

Tuchman vill tydligen inte hänga ut vare sig redaktör eller tidskrift och låter dem förbli anonyma; det är uppenbart att hon anser redaktörens uppmaning klandervärd. Jag menar emellertid att redaktören gjort vetenskapssamhället en stor tjänst genom att rakt och oförfalskat ge uttryck för ett strategiskt övervägande i det stora citeringsspelet som andra försökt hålla i lönndom. Må detta bli en ögonöppnare och en signal till förnyad debatt om styrmedel i forskarvärlden!

Fotnoter

1) Jag är ledamot i VR:s ämnesråd för naturvetenskap och teknikvetenskap.

2) Det är inte utan att man kommer att tänka på begreppet pseudokvantiteter som Sven-Eric Liedman lanserar i sin bok Hets.

3) Mea culpa. För ett (måhända trivialt) exempel kan nämnas hur jag - mest som en liten egotripp - bistått Google med identifiering av mig själv och mina uppsatser för upprättandet av en särskild sida med min personliga citeringsstatistik, som jag sedan gör reklam för på min hemsida (och i denna fotnot).

4) Hur nu detta skall förstås - någon "korrekt" definition av vetenskaplig kvalitet som vi alla kan komma överens om finns knappast. Likväl: jag skulle kunna räkna upp flera världsledande matematiker som är mer sparsamt citerade än jag, men i jämförelse med vilka jag inte skulle drömma om att påstå mig vara ens hälften så framstående forskare.

Hur bör ett universitet ledas?

Hur bör ett universitet eller en högskola ledas? Den frågan har jag naturligtvis inget enkelt eller heltäckande svar på, men jag tillåter mig ändå att ha vissa synpunkter. Efter ett möte i fredags fruktar jag att Chalmers tekniska högskola just nu är inne på fel spår.

Styrelsen för Chalmers tekniska högskola AB har (sägs det) under en tid satt press på rektor Karin Markides att driva Chalmers mer företagsmässigt. Mer som ett företag och mindre som ett universitet, får man förmoda att de menar.

Som en reaktion på det har Chalmers inlett ett samarbete med managementkonsulten BSCOL - Balanced Scorecard Collaborative AB. BSCOL företräder en specifik ledningsfilosofi där ett verktyg som kallas balanserade styrkort spelar en central roll. Mötet i fredags bestod till större delen av en nära tre timmar lång powerpointpresentation där en representant för BSCOL förklarade vad det hela gick ut på. Vi fick höra mycket om visioner, framgångsfaktorer, strategiska mål och kundperspektiv, och flera gånger fick vi se porträttbilder av de leende herrarna Robert C Kaplan och David P Norton som tillsammans utvecklat konceptet, populariserat det med böcker som The Balanced Scorecard: Translating Strategy into Action, och på kuppen blivit mångmiljonärer.

Det som framför allt bekymrade mig under mötet var att Kaplans och Nortons koncept förefaller vara utvecklat med affärsdrivande företag i åtanke, och att den långdragna föredragningen i stort sett var renons på reflektioner kring vilka speciella särdrag som skiljer ett universitet från ett affärsdrivande företag. Jag tänker framför allt på tre saker.

För det första tycks den balanserade styrkortsfilosofin i första hand gå ut på att finna metoder för att styra företagets medarbetare att arbeta för de visioner och mål som ledningen har tänkt ut. Jag vill inte påstå att ett sådant perspektiv skulle vara helt igenom irrelevant i universitetsvärlden - självklart behöver ett universitet ledas - men jag fruktar att det ensidiga top-down-tänkande som Kaplan, Norton och BSCOL företräder, där ledningen står för visionerna och medarbetarna blott är kuggar i maskineriet, förbiser en viktig aspekt på universitetsforskningen.

Att bedriva internationellt konkurrenskraftig (eller excellent, för att använda ett i sammanhanget mycket populärt modeord) forskning är en av Chalmers huvuduppgifter. En verkligt framgångsrik forskare drivs, i sina val av forskningsfrågor, inte av vad hans eller hennes universitetsledning kommenderat fram, utan av nyfikenhet och en mycket personligt färgad inre tankeprocess inspirerad av vad som händer på den egna ämnesspecialitetens och angränsande områdens internationella forskningsarena. Jag tvivlar på att det går att hitta en enda Nobelpristagare som lydigt följt sin rektors anvisningar om vad som är viktigt - tvärtom är det ju nästan alltid genom att gå motströms de gjort sina banbrytande upptäckter. Eller för att ta ett exempel på en långt modestare nivå: jag hade aldrig kunnat uppfinna perkolationsteorins masstransportmetod om inte jag haft möjlighet att fritt och efter eget huvud söka mig fram i matematikens förtrollade värld utan att behöva följa några anvisningar från universitetsledningen om prioriterade forskningsfrågor. En starkare sådan styrning riskerar att få två konsekvenser: dels kommer vi forskare som redan är på plats att få mindre utrymme för vår kreativitet och därmed åstadkomma sämre forskning, dels kommer Chalmers att bli mindre attraktivt för de forskare vi behöver rekrytera för att fortsätta nå vetenskapliga framgångar.

För det andra har Kaplans och Nortons koncept, av fredagens föredragning att döma, en mycket stark inriktning på effektivisering. Ett typexempel som återkom flera gånger i föredragningen är hur något flygbolag med hjälp av Kaplan-Nortontänkande lyckats spara in enorma summor genom att dra ned flygplanens genomsnittliga vändtider (tiden från landning tills planet, efter att ha tömts på passagerare, fyllts med nya, tankats etc, åter kan lyfta) till mindre än hälften av tidigare värden. Ett universitet kan säkert effektiviseras på liknande vis, t.ex. genom att dess medarbetare på olika vis förmås att ta lite kortare lunchraster. Men därmed riskerar vi att kasta ut barnet med badvattnet. Ett fungerande universitet är en akademisk intellektuell mötesplats, där det i korridorer och fikarum ständigt pågår fria diskussioner mellan lärare, forskare och studenter - diskussioner i vilka idéer om stort och smått dryftas och bryts mot varandra. Dessa (till synes ineffektiva) samtal kan inte effektiviseras fram. Däremot kan de effektiviseras bort, och då dör universitetet.

För det tredje är mätning och kvantifiering av resultat helt centralt i Kaplans och Nortons ledningsfilosofi. Jag kan förutse hur detta på Chalmers kommer att konkretiseras i ökat fokus på genomströmningssiffror i utbildningen, och på publicerings- och citeringsfrekvenser i forskningen. Men tro mig: lärarna och forskarna på Chalmers (liksom på andra lärosäten) styrs redan idag i alltför hög grad av dessa siffror. Vi forskare är redan idag blott alltför medvetna om hur vi i anslagsansöknings-, tjänstetillsättnings- och andra sammanhang bedöms utifrån hur mycket vi publicerar och citeras. Datalogen David Parnas förklarade i sin läsvärda debattartikel Stop the numbers game för några år sedan vilka bedrövliga effekter detta kvantitetstänkande får: vi uppmuntras till ytlig och hastigt hopsnickrad forskning, till uppsplittrande av våra forskningsresultat i "least publishable units" och till allehanda strategiskt rävspel. För att få tid till de djupa tankar som leder till verkliga forskningsframsteg behöver vi mindre fokus på bibliometriska data, inte mer.