söndag 12 oktober 2014

Tyder positiv kursutvärdering på svag lärarinsats?

På Chalmers liksom på andra universitet och högskolor brukar så gott som varje kurs åtföljas av en kursutvärdering, där studenterna (anonymt) ger sina synpunkter. Var föreläsningarna bra och begripliga? Var kursen välorganiserad? Etc.

Tanken med dessa kursutvärderingar var ursprungligen att läraren skulle ges möjlighet att förbättra kursen inför nästa år, och måhända är detta fortfarande att betrakta som deras huvudsyfte, men en annan användning av dem har på senare år kommit att bli alltmer framträdande. När en universitetslärare löneförhandlar, när hon söker en lektors- eller professorstjänst, eller när hon ansöker om befordran, så finns kursutvärderingar från hennes tidigare undervisningsinsatser med som en av de aspekter som ligger till grund för beslut. Tanken är givetvis att man vill anställa och belöna skickliga lärare, och att den lärare som får goda betyg i studenternas kursutvärderingar troligtvis också är en skickliga lärare.

Och det låter ju som en god tanke, men kanske vi för säkerhets skull borde kontrollera att positiva kursutvärderingar verkligen korrelerar med lärarskicklighet? Jag har nu tagit del av en aktuell studie som behandlar just den frågan, och mycket riktigt finner författarna en korrelation mellan positiva kursutvärderingar och framgångsrik lärarinsats. Korrelationen är emellertid negativ:
    We find that, even in a setting where the syllabuses are fixed and all teachers in the same course present exactly the same material, professors still matter substantially. [...] Moreover, our measure of teaching quality is negatively correlated with the students’ evaluations of the professors: teachers who are associated with better subsequent performance receive worst evaluations from their students.
Studien, som bär titeln Evaluating students’ evaluations of professors och är författad av de italienska ekonomerna Michela Braga, Marco Paccagnella och Michele Pellizzari, publicerades tidigare i år i tidskriften Economics of Education Review. Den bygger på ett relativt stort datamaterial och tycks mig vara mycket omsorgsfullt genomförd. En särskild styrka ligger i att allokeringing av studenter till olika lärare randomiserats, vilket eliminerar många felkällor och är standard inom kliniska medicinska studier men inte alltid möjligt att uppnå på andra områden. Författarna likställer undervisningens kvalitet med hur mycket studenterna lär sig,1 och som en proxy för hur mycket studenterna lärt sig använder de studenternas resultat på senare kurser i utbildningsprogrammet.

Att utfallet av kursenkäter skulle korrelera negativt med undervisningens kvalitet kan tyckas kontraintuitivt, men Braga et al föreslår som en trolig förklaring att studenter är ute efter inte bara att lära sig, utan också att få en lättjefull och behaglig resa fram till godkänt betyg, något som kan stå i direkt konflikt med inlärningsmålet:
    These empirical findings challenge the idea that students observe the ability of the teacher in the classroom and report it to the administration when asked in the questionnaire. A more appropriate interpretation is based on the view that good teachers are those who require their students to exert effort; students dislike it, especially the least able ones, and their evaluations reflect the utility they enjoyed from the course.
Sista ordet är självklart inte sagt i fråga om kursenkäters värde för att mäta lärarskicklighet, och vad gäller den här studien kan man t.ex. resa frågan om generaliserbarhet från ett enda italienskt universitet till högre lärosäten i allmänhet. Jag tycker ändå att den med kraft påvisar naiviteten i den utbredda uppfattningen om att det självklart föreligger ett positivt samband mellan kursenkätsreslutat och lärarskicklighet.

Fotnot

1) De medger dock att det inte är självklart hur ett begrepp som undervisningskvalitet skall definieras, och att om det är studenternas nöjdhet med kursen snarare än deras inlärning som är det viktiga så ställs studiens resultat på ända. Men, som de lakoniskt konstaterar, "We doubt that this is the most common understanding of higher education policy.".

13 kommentarer:

  1. Hur skall man som student veta om kursen har lärt en tillräckligt precis efter tentamen, då kursutvärderingen görs? I praktiken är den enda metrik man har att tillgå då är hur väl man klarade tentamen. Vore mycket intressantare att utvärdera grundkurserna i den aspekten efter något år, då studenterna har haft möjlighet att använda de kunskaper de förvärvade (eller åtminstone förväntades förvärva) under grundkurserna.

    SvaraRadera
  2. Visserligen inte på universitetsnivå, men: Jag håller på att sätta mig in i en större mängd tysk forskning som relaterar lärarkunskap (+ attityder mm), lärarbeteende, elevupplevelser och elevprestationer. Ganska stora statistiska undersökningar där mycket tid har lagts på att ta fram bra mått i de olika kategorierna. Ett relevant resultat som passar ihop med diskussionen ovan är att vissa klassrumsfaktorer (som t ex att eleverna utsätts för kognitiva utmaningar, en variabel de kallar "cognitive activation" ) som korrelerar positivt med elevprestationer (i PISA-liknande texter) samtidigt korrelerar negativt med variabeln "enjoyment and interest". En annan intressant sak är att klassrumsvariabeln "constructive support" (som i princip kodar att läraren inte förklarar exakt hur problem skall lösas utan mer implicit försker få eleverna att själva komma fram till lösnignen) korrelerar +0.46 med "enjoyment and interest" men -0.42 med "anxiety".

    SvaraRadera
    Svar
    1. Mycket intressant, Ola! Kommer du att skriva någon översikt eller liknande?

      Radera
    2. Skulle vilja... men tiden...

      Radera
  3. Arne Söderqvist12 oktober 2014 18:03

    Jag kunde ge otaliga exempel på rundgång, där man på KTH:s högskoleingenjörsutbildningar anställt gymnasielärare för undervisning i matematik. Ledningen har fått för sig att gymnasielärare är mer pedagogiska än matematiker med en högre examen. Detta har lett till att kursmoment som lärarna inte själva behärskar har fått utgå i smyg. Kurserna har därmed blivit lättare, studenterna gladare och examinationsgraden högre. Gymnasielärare får aldrig omdömet "för teoretisk och akademisk" i kursutvärderingarna. Istället prisas de och höjs till skyarna. Aningslösa chefer får därmed sin fördom om att gymnasielärare är lämpligast att undervisa bekräftad. Detta avspeglas också i lönestatistiken.

    En annan bov i dramat är systemet med "hås" och "håp", som gör att anslaget från departementet ökar med antalet "helårsstudenter" och antalet "helårsprestationer". Detta bidrar till att man tenderar att bortse från kvalitetskrav, som ju kunde leda till stramare budget. Man tar tacksamt emot den högre examinationsfrekvensen och undviker medvetet att närmare undersöka bakgrunden. Det kunde dessutom slå tillbaka på den ledning som anställt gymnasielärarna och vem vill fördöma sig själv?

    SvaraRadera
    Svar
    1. Tack för detta viktiga påpekande, Arne! Den rundgångsmekanism du beskriver är enligt min mening ett allvarligt hot mot kvalitet i högskoleutbildning, och kräver stor medvetenhet och bestämdhet för att bekämpas.

      Radera
    2. Arne Söderqvist12 oktober 2014 19:45

      I senaste numret av KTH:s personaltidning Campi finns en artikel om nya idéer avseende tjänstetillsättningar. Bla. står det
      "Forskare och lärare som ska arbeta nära den person som kommer att anställas blir mer involverade i rekryteringsprocessen jämfört med tidigare. De närmaste medarbetarnas kunskaper är avgörande för att se till att den nyanställde verkligen har rätt kompetensprofil, enligt Sophia Hober."

      Jag befarar att detta ska tolkas som att det kan bli fritt fram att anställa vänner och bekanta. Att så redan skett vid KTH är illa nog, men om det dessutom ska bli tillåtet är det definitivt illavarslande.

      Här är en länk till Campi. Jag vet dock inte om den fungerar för dem som inte är inloggade.
      http://campi.kth.se/

      Radera
  4. Jag har redan hunnit få en del intressanta reaktioner bakom ridåerna. Bl.a. tipsar Thore Husfeldt om en mycket sevärd åttaminutersvideo som bjuder på slående insikter både om effektiv undervisning och om kursutvärderingar.

    SvaraRadera
    Svar
    1. Videon Thore tipsar exemplifierar i själva verket ett _mycket_ mer generellt fenomen. Så kallad information bias bias. Se denna långa men mycket intressanta blogpost: The Sartre Fallacy or Being irrational about reason (obs fyra delar) http://bigthink.com/insights-of-genius/the-sartre-fallacy-or-being-irrational-about-reason

      Radera
  5. Arne Söderqvist12 oktober 2014 20:16

    Angående videoföreläsningar så tycker jag att den kanadensiske matematikprofessorn Norman J. Wildberger, nu verksam i Australien, har funnit ett utmärkt koncept. Han har över tusen föreläsningar på youtube. De allra bästa är studioinspelade, men även de som är filmade i föreläsningssal är mycket bra.
    Här är ett exempel på en wildbergerföreläsning.
    https://www.youtube.com/watch?v=zHh9q_nKrbc&index=18&list=PL34B589BE3014EAEB

    SvaraRadera
  6. http://www.stat.berkeley.edu/~stark/Preprints/evaluations14.pdf

    SvaraRadera
    Svar
    1. Tack för länk! Du får dock gärna lägga ut texten lite mer i samband med länktips, så att man får lite ledning i om den är värd att följa.

      Radera
  7. Jag var lektor vid LiTH 1970-2006 och studerade under den tiden kursvärderingar rätt noga, inte bara från mina 77 egna föreläsningsserier utan även från andras kurser. Jag uppfattade dem som viktiga stämningsmätare och skämdes aldrig över
    återkommande höga utfall (speciellt på frivilliga kurser) men lät dessa aldrig skymma de problem jag kunde iaktta. Studenternas uppskattning snarast försatte mig i god stämning för att arbeta med ex.vis kursernas innehåll och övningarnas inriktning.

    När utfallet ett par gånger låg under en för mig acceptabel nivå avgick jag. Jag skrev även läroböcker och dem drog jag in när kursvärderingsutfallet sjönk under en viss nivå. Vantrivsel är en dålig grund för inlärning. Det skulle iaf inte vara mitt fel.

    Jag märkte f ö aldrig att kursvärderingarna påverkade lönerna. Och på min avdelning värderades kreativa lärarinsatser lågt, om de inte rentav motarbetades. Det var därför jag sa upp mig från LiTH vid knappt 62 års ålder.

    Åtminstone på svenska tekniska högskolor uppträder lärare i flera olika roller, t ex som föreläsare och övningsledare. När jag föreläste hade jag inte en tanke på att därmed direkt påverka studenternas lärande - det viktiga var att sätta färg på ämnet, bidra med intuition och illustrationer. Skapa stämning för ämnet och ha kul själv.

    I t ex flervariabelanalys använde jag ofta en halv föreläsning till att berätta om robotsingulariteter, tacksamt därför att de resultat man kan räkna ut motsvarar intuitionen. Det var inget som fick studenterna att lösa sina uppgifter lättare, jag vet inte ens om de blev mer "motiverade" men det uppskattades och det räckte för mig.
    Många vill veta lite mer utöver den egentliga kursen och givetvis utöver textboken.

    Gruppövningar är förstås en annan sak, och där märkte jag att många undervisare leddes till bekväma lösningar som att göra uppgifter många studenter kört fast på istf. att låta dem förstå varför. Det kunde säkert ge utdelning på kursvärderingar, men man fick nog gräva lite djupare för att se hur olika grupper värderades - det framgick
    ofta inte av sammanställningarna. Klart var iaf att föreläsningar var populärare och betydligt mer välbesökta än lektioner.



    SvaraRadera