tisdag 14 april 2020

Om FHM:s arbete med covid-19

Följande är lite jobbigt att säga rent ut, men mitt förtroende för FHM:s (Folkhälsomyndighetens) arbete med att bedöma och förutse spridningen av covid-19 svajar.

Det är jobbigt av två skäl: för det första att kritik mot FHM av många i min omgivning uppfattas som illojalt och opatriotiskt i ett läge där det är viktigt att vi alla inordnar oss i deras rekommendationer, och för det andra att jag riskerar att framstå som en Dunning-Kruger-anfäktad amatör (jag är ju trots allt inte epidemiolog) som tror mig veta bättre än experterna. Och det är ju helt sant att det är viktigt med bred och lojal folklig uppslutning kring den anbefallna strategin, men samtidigt menar jag att det är också viktigt att inte FHM upphöjs till något slags ofelbara gudar, immuna mot kritik. Likaså är det sant att jag genom att ventilera konträra ståndpunkter riskerar att framstå som något slags epidemiologins motsvarighet till en klimatförnekare, något som blir extra pinsamt av att jag genom åren lagt så stor kraft på att bemöta klimatförnekare, och hävdat att de uppvisar epistemsk omdömeslöshet genom att med (exempelvis) professorlig auktoritet uttala sig om saker de knappt vet något om.

Och det är sannerligen mycket jag inte vet om hur FHM arbetar och vilka deras vetenskapliga underlag och principer är. Kanske är därför det jag säger i det följande blott ett uttryck för min okunskap. Jag kan rätt och slätt ha fel. Men låt mig ändå förklara vad som bekymrar mig.

Ett tidigt frö till min skepsis såddes när FHM:s generaldirektör Johan Carlson den 2 mars beskrev utsikten om 10.000-15.000 insjuknade i Sverige som ett värsta fall-scenario. Detta var i mina ögon en uppenbart orimlig bedömning, men jag valde att hålla öppet för att Carlson menade något annat än det jag tyckte mig höra.

Ytterligare bekymmersam fann jag FHM:s rapport i slutet av mars om skattat behov av slutenvårdsplatser. Jag och några kollegor kämpade hårt med att tolka den ytterst knapphändiga informationen i rapporten, och en del frågetecken lyckades vi räta ut, men jag kände ett kvardröjande obehag inför rapportens påstående att de "modellerar ingen asymptomatisk smitta, bara rapporterade fall".1 Vad är det de säger? Hur i hela himmelens namn skall man kunna göra vettiga prediktioner av det kommande behovet av vårdplatser om ens modeller överhuvudtaget inte befattar sig med smittans totala utbredning i samhället? En modell som inte tar med något i sammanhanget så fundamentalt kan väl knappt ens kallas modell, utan är väl mer att betrakta som en höftning eller en kurvanpassning? Så kanske borde inte deras påstående tas bokstavligt? Jag blev inte klok på detta.

När P1:s Vetenskapsradion den 7 april sände ett reportage om arbetet på FHM fick vi höra analyschefen Lisa Brouwers ganska tydligt bekräfta och motivera det påstående i vårdplatsbehovsrapporten som jag funnit så svårsmält och underligt. På en fråga om den kritik som riktats mot FHM för att de inte beaktar aktuell spjutspetsforskning kring epidemimodellering, som den från Imperial College,2 svarade hon så här, med start cirka 3:20 in i programmet:
    Vi har ganska tidigt gjort bedömningen att [vi inte vill] använda de dynamiska modellerna, som motsvarar de som Imperial College och andra har publicerat, utan att ha kunskap om hur stor andel till exempel som blir smittade utan att få symptom, och huruvida de som blir smittade utan att få symptom, huruvida de smittar andra i sin tur: att stoppa in sådana antaganden i en modell har vi valt att inte göra. Vi tycker inte det är meningsfullt, vi tycker inte det är bra att göra den typen av övningar innan kunskapen blir bättre. För det ger resultat som kan leda till felaktiga beslut.
Det är förvisso sant att exempelvis andelen asymptomatiskt smittade är en höggradigt okänd parameter, och det är likaledes sant att om vi naivt kör en modell med ett felaktigt värde på en sådan parameter så riskerar vi att få ett vilseledande svar, vilket i sin tur kan leda till dåliga beslut. Men detta problem försvinner inte av att man använder en mer primitiv modell som inte explicit inbegriper den felande kvantiteten.3 Att göra så är enligt min mening att sopa problemet med osäkerheten i (i detta fall) andelen asymptomatiskt smittade under mattan. Ett mycket bättre förfarande vore att prova den mer avancerade modellen, där den okända parametern (eller parametrarna) explicit finns med, för en uppsättning olika parametervärden, valda inom ett brett intervall men ändå inom rimlighetens ramar (eller ännu hellre valda enligt en välgenomtänkt Bayesiansk a priori-fördelning för parametern ifråga). Detta skulle ge ett spektrum av olika utfall när man kör modellen, och om modellen är bra ger detta spektrum en fingervisning inte bara om hur stort vårdplatsbehovet (eller vad det nu är man eftersöker) kan tänkas bli, utan också om hur stor osäkherheten är.

Intrycket jag får (men som jag alltjämt hoppas är felaktigt, och jag vill väldigt gärna bli överbevisad om detta) är att epidemiologerna på FHM inte begriper det här, och att det får dem att avstå från att ta hjälp av den bästa cutting edge-kunskap om modellering av covid-19 som finns där ute. Risken finns att detta får dem att göra sämre bedömningar och gå ut med sämre rekommendationer än de annars skulle ha gjort.

Fotnoter

1) En nyare version av rapporten finns här, och den förbryllande formuleingen finns kvar.

2) Besläktad modellering, men specifikt för Sverige, finns i ett aktuellt arbete av Jocim Rocklövs grupp i Umeå.

3) Brusselaers m.fl. inskärpte samma poäng i SvD igår.

15 kommentarer:

  1. Jag har oroats av att många epidemiologer inte tycks använda stokastiska epidemiska modeller. FHM tycks vara ännu ett exempel.

    SvaraRadera
  2. Eftersom startparametrarna är synnerligen osäkra så blir också resultatet av ev beräkningar det.
    Ledare som bryr sig om sitt folk tar därför det säkra före det osäkra och inför restriktioner som föreskriver låga/inga sociala kontakter irl, istället för att be medborgarna om detsamma. Speciellt som det visar sig att det senare inte fungerar!

    SvaraRadera
  3. Blå hästskon15 april 2020 15:38

    Jag håller med dig - och känner igen mig - i allt du skriver ovan.

    Lisa har rätt när hon säger att vi inte har ett bra kunskapsläge om "hur stor andel som [...] blir smittade utan att få symptom, och huruvida de som blir smittade utan att få symptom, huruvida de smittar andra i sin tur". Kunskapsläget var särskilt dåligt i början av epidemin. Därför är det extra underligt att Folkhälsomyndigheten tidigt fastslog att sjukdomen inte smittar pre- eller asymptomatiskt och att återvändande Italienresenärer därför kan återgå direkt till arbete eller skola utan hemkarantän. Det är först nyligen som myndigheten medgett att det finns "teoretiska risker".

    För mig är det obegripligt att Folkhälsomyndigheten kan bygga en nationell strategi på antagandet att sjukdomen inte smittar pre- eller asymptomatiskt samtidigt som man hänvisar till osäkerhet i kunskapsläget kring denna fråga som exempel på varför man valt att inte använda dynamiska modeller.

    Följde Folkhälsomyndigheten en försiktighetsprincip borde de ha rekommenderat hemkarantän eftersom kunskapsläget var osäkert. Men jag har tyvärr fått intrycket att myndigheten - eller i vart fall en av dess mest synliga företrädare - inte tycker om att göra saker för säkerhets skull.

    SvaraRadera
  4. En fråga är om modeller som Imperial Colleges, ifall en rimlig osäkerhet i parametrar byggs in, gör oss så mycket klokare alls. De hade först värdet för IFR (döda/infekterade) fast för varje land: det låg nära 1 procent. Jag testade att köra om modellen med det värdet reducerat till knappt 0,2 procent (som CEBM säger är rimligt), och då förändras dramatiskt uppskattningar av antal smittade en given dag. Nu har de ändrat modellen så de har en priorfördelning för IFR, men med liten varians, och IFR är då bara ett exempel på en osäker faktor.

    SvaraRadera
    Svar
    1. Detta var tänkt som en del av min poäng: kunskapsläget förefaller extremt osäkert. På din fråga om modellerna gör oss "så mycket klokare alls" är mitt svar ja: även en iakttagelse om att osäkerheten är stor är en viktig iakttagelse.

      Radera
    2. Håller med. FHM kunde kanske ha testat olika slags modeller med variation av parametrar och sedan publicerat resultaten. Sedan om det förändrat deras rekommendationer vid något tillfälle är en annan fråga.

      Radera
  5. Det finns väl flera grejer som FHM säger som inte håller för granskning, men det kan ju vara så att målet är att smitta lagom många och att man helt enkelt vill låta bli att säga den bittra sanningen till folk.

    Alternativt är de helt ute och cyklar.

    SvaraRadera
  6. Jag har försökt kvantiefera dödsrisken av corona för 70+ med andra dödsrisker, men en denna jämförelse togs bort i två kommentarer till artiklar i DN av moderatorn, eftersom den inte stöddes av erkänd källa. Att privata tänkare i tex matematiskt statistiska frågor tycker jag är att göra debatten skev. Nyanserade argument är svåra att få fram med få ord och det bör vara tillåtet att utvidga i bloggartiklar som här.

    http://daglindgren.upsc.se/WuhanCoronaVirus.pdf

    SvaraRadera
  7. «andelen asymptomatiskt smittade är en höggradigt okänd parameter ... detta problem försvinner inte av att man använder en mer primitiv modell som inte explicit inbegriper den»

    Eller annorlunda uttryckt: Då har man ingen bra motivering för att godtyckligt sätta den toll noll i sin modell.

    SvaraRadera
  8. Blå hästskon16 april 2020 11:10

    Trots att jag starkt förespråkar en genomtänkt användning av avancerade matematiska modeller tycker jag att stor vikt bör läggas på empiri och har viss förståelse för dem som likt Folkhälsomyndigheten (FHM) drar denna ståndpunkt till sin spets. Med det sagt förstår jag ändå inte hur FHM kommer fram till sina slutsatser - specifikt inte hur de kan bortse från de mycket omfattande åtgärder som vidtogs i Wuhan när de överför resultaten til Svenska förhållanden. Vi talar om en närmast total nedstängning och 1800 team som ägnade sig åt kontaktspårning och isolering av identifierade fall.

    När Sveriges biträdande statsepidemiolog i DN tillfrågades om detta svarade han:

    Nej, det är klart man inte kan vad gäller åtgärderna. Men virusets smittspridningsmönster, det är klart att det kan ha påverkats av hur de har agerat. Men de publikationer som finns är inte beroende av de extrema åtgärderna utan de har tittat på hur många som smittades.

    Jag kan inte säga att jag blev klokare av det. Inte heller vet jag vilka publikationer som avses.

    Även Nassim Nicholas Taleb och Yaneer Bar-Yam är kritiska till att basera policy på förutsägelser från matematiska modeller och uttrycker denna åsikt i en gemensam debattartikel i The Guardian. Intressant nog verkar de komma till en annan slutsats än FHM: de tycks förespråka att man ska vidta precis de åtgärder som faktiskt visat sig fungera i andra länder.

    SvaraRadera
    Svar
    1. Varför ska modellen från Imperial College betraktas som "den bästa cutting edge-kunskap om modellering av av covid-19 som finns därute."?

      Radera
  9. Vi kommer veta så mycket mer när antikropps undersökningarna börjar presenteras. Data som bör tända ljuset i det mörka rum vi nu snubblar runt i. KTH har intressanta saker på gång. Hittills har IVA platserna räckt till.
    Trodde jag inte och kanske mer tur än skicklighet men kan också bero på att FHM har just rätt sorts expertis....

    SvaraRadera
  10. Tom Britton (som Anders Tegnell i TV4 sagt att FHM samarbetar med) har i alla fall i dagarna publicerat en modellering för Stockholm. Den bygger, som Imperial Colleges modeller, på uppgifter om döda och uppskattningar av IFR. IFR är osäker, säger han, men att ändra det mellan 0,1 och 1 procent förskjuter bara kurvan för smittade några dagar. Men han gör då inte heller anspråk på att ge någon prognos över hur många som kommer att dö eller behöva vård, bara över hur antalet smittade utvecklas.

    SvaraRadera
  11. Jag befinner mig långt till vänster i Dunning-Kruger diagrammet men tänkte ändå göra ett inlägg. Egentligen borde någon expert på detta uttala sig, men jag antar att de är strängt upptagna. Jag har sett diverse blänkare om matematiska modeller som skall köras på superdatorer, och då undrat vad dom ger när man är osäker på grundläggande samband, såsom asymptomatisk smittspridning. Som jag fattar så handlar rapporten inte alls om det utan en ganska rudimentär beräkning med ett specifikt syfte nämligen att göra uppskattning av behov av vårdplatser. Man har då tagit lite empiriska data från Lombardiet och skruvat på dem (med åldersfördelning bl.a.) för att anpassa till svenska regioner. Syftet har inte varit att räkna ut smittspridning i samhället etc. Om asymptomatisk smittspridning har indirekt inverkan på antal vårdplatser så borde det finnas med i Lombardiet-siffrorna? Någon har sagt "alla matematiska modeller är fel men en del är ändå användbara". Om denna modell användbar för något syfte bör som sagt någon expert uttala sig om.

    SvaraRadera
  12. Jag kom osökt att tänka på detta inlägg då jag läste en artikel i dagens DN (25/5) "Hat och påhopp efter kritik av den svenska Coronalinjen" Anledningen var att jag nämnde detta blogginlägg i en Facebookgrupp för jag tycker att man tar upp ett relevant ämne nämligen hur asymptomatisk smitta hanteras i matematiska modeller. Detta ledde till att jag fick på fingrarna av moderatorn. Jag vet inte vad som är rätt eller fel men så står det fortfarande på FHMs hemsida: "Coronaviruset (SARS-CoV-2) som orsakar sjukdomen covid-19 smittar i första hand mellan människor genom så kallad droppsmitta. Det betyder att smittan överförs till slemhinnorna i ögon, näsa eller mun från droppar som sprids i luften när en sjuk person hostar eller nyser. Dropparna faller snabbt ner genom luften och når som regel inte längre än någon meter.
    Det finns rapporter om att personer utan symtom har smittat andra personer. Men det finns få studier som beskriver hur smittsam man är, och om detta utgör en betydande del av smittspridningen i samhället. Utifrån den erfarenhet som finns just nu, av covid-19 och andra liknande sjukdomar, är bedömningen att smittspridningen från personer utan symtom står för en mycket begränsad andel.
    Detta betyder att det är viktigt att begränsa smittspridningen från de med symtom för att smittspridningen i samhället ska gå långsammare. Att uppnå detta är ett av målen med vårt arbete på Folkhälsomyndigheten.
    Uppdaterad: 2020-04-03 18:38" D.v.s. bedömningen är att inverkan asymtomatisk smitta kan försummas, även om man inte kan garantera att det aldrig förekommer.

    SvaraRadera