Tyder positiv kursutvärdering på svag lärarinsats?

På Chalmers liksom på andra universitet och högskolor brukar så gott som varje kurs åtföljas av en kursutvärdering, där studenterna (anonymt) ger sina synpunkter. Var föreläsningarna bra och begripliga? Var kursen välorganiserad? Etc.

Tanken med dessa kursutvärderingar var ursprungligen att läraren skulle ges möjlighet att förbättra kursen inför nästa år, och måhända är detta fortfarande att betrakta som deras huvudsyfte, men en annan användning av dem har på senare år kommit att bli alltmer framträdande. När en universitetslärare löneförhandlar, när hon söker en lektors- eller professorstjänst, eller när hon ansöker om befordran, så finns kursutvärderingar från hennes tidigare undervisningsinsatser med som en av de aspekter som ligger till grund för beslut. Tanken är givetvis att man vill anställa och belöna skickliga lärare, och att den lärare som får goda betyg i studenternas kursutvärderingar troligtvis också är en skickliga lärare.

Och det låter ju som en god tanke, men kanske vi för säkerhets skull borde kontrollera att positiva kursutvärderingar verkligen korrelerar med lärarskicklighet? Jag har nu tagit del av en aktuell studie som behandlar just den frågan, och mycket riktigt finner författarna en korrelation mellan positiva kursutvärderingar och framgångsrik lärarinsats. Korrelationen är emellertid negativ:

We find that, even in a setting where the syllabuses are fixed and all teachers in the same course present exactly the same material, professors still matter substantially. [...] Moreover, our measure of teaching quality is negatively correlated with the students’ evaluations of the professors: teachers who are associated with better subsequent performance receive worst evaluations from their students.

Studien, som bär titeln Evaluating students’ evaluations of professors och är författad av de italienska ekonomerna Michela Braga, Marco Paccagnella och Michele Pellizzari, publicerades tidigare i år i tidskriften Economics of Education Review. Den bygger på ett relativt stort datamaterial och tycks mig vara mycket omsorgsfullt genomförd. En särskild styrka ligger i att allokeringing av studenter till olika lärare randomiserats, vilket eliminerar många felkällor och är standard inom kliniska medicinska studier men inte alltid möjligt att uppnå på andra områden. Författarna likställer undervisningens kvalitet med hur mycket studenterna lär sig,¹ och som en proxy för hur mycket studenterna lärt sig använder de studenternas resultat på senare kurser i utbildningsprogrammet.

Att utfallet av kursenkäter skulle korrelera negativt med undervisningens kvalitet kan tyckas kontraintuitivt, men Braga et al föreslår som en trolig förklaring att studenter är ute efter inte bara att lära sig, utan också att få en lättjefull och behaglig resa fram till godkänt betyg, något som kan stå i direkt konflikt med inlärningsmålet:

These empirical findings challenge the idea that students observe the ability of the teacher in the classroom and report it to the administration when asked in the questionnaire. A more appropriate interpretation is based on the view that good teachers are those who require their students to exert effort; students dislike it, especially the least able ones, and their evaluations reflect the utility they enjoyed from the course.

Sista ordet är självklart inte sagt i fråga om kursenkäters värde för att mäta lärarskicklighet, och vad gäller den här studien kan man t.ex. resa frågan om generaliserbarhet från ett enda italienskt universitet till högre lärosäten i allmänhet. Jag tycker ändå att den med kraft påvisar naiviteten i den utbredda uppfattningen om att det självklart föreligger ett positivt samband mellan kursenkätsreslutat och lärarskicklighet.

Fotnot

1) De medger dock att det inte är självklart hur ett begrepp som undervisningskvalitet skall definieras, och att om det är studenternas nöjdhet med kursen snarare än deras inlärning som är det viktiga så ställs studiens resultat på ända. Men, som de lakoniskt konstaterar, "We doubt that this is the most common understanding of higher education policy.".