tag:blogger.com,1999:blog-8131794231697217573.post4235954135839618907..comments2024-03-28T09:06:16.955+01:00Comments on Häggström hävdar: Försök till nyansering i debatten om statistisk signifikansOlle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.comBlogger6125tag:blogger.com,1999:blog-8131794231697217573.post-56715232007142498382016-03-13T22:09:07.993+01:002016-03-13T22:09:07.993+01:00Bra svar på båda punkterna, tack! Jag får nog läsa...Bra svar på båda punkterna, tack! Jag får nog läsa på lite mer om likelihoodprincipen.Andreashttps://www.blogger.com/profile/12492117186008110318noreply@blogger.comtag:blogger.com,1999:blog-8131794231697217573.post-527709266846769002016-03-13T21:24:21.626+01:002016-03-13T21:24:21.626+01:001. Klart man skall försöka bemöda sig med att prec...1. Klart man skall försöka bemöda sig med att precisera sitt experiment ordentligt, annars kan det bli besvärligt (om man inte är Bayesian). Problemet hänger nära samman med den mångåriga debatten kring starka likelihoodprincipen, som jag nämner i förbigående i uppsatsens Sect 5. <br /><br />2. Eftersom test av olika nollhypoteser kan ge olika teststatistikor låter det fenomen du beskriver i princip inte särskilt förvånande. Besvärande skulle fenomenet bli bara om vi övertolkade p-värden t.ex. som i <i>the fallacy of the transposed conditional</i>.Olle Häggströmhttps://www.blogger.com/profile/07965864908005378943noreply@blogger.comtag:blogger.com,1999:blog-8131794231697217573.post-4484248239593854462016-03-13T20:44:51.080+01:002016-03-13T20:44:51.080+01:00Efter att ha läst en doktorandkurs i statistisk in...Efter att ha läst en doktorandkurs i statistisk inferens, har jag fått ögonen på två subtila egenskaper med p-värden som jag noterar att du inte diskuterar alls:<br /><br />1. Den ibland närvarande godtyckligheten i att precisera exakt hur experimentet utfördes, dvs vad som egentligen är möjliga utfall om experimentet skulle upprepas? MacKay (2003) raljerar över detta i avsnitt 37.2, och Lindley (1988) diskuterar det lite mer seriöst i avsnitt 1.4.<br /><br />2. De konceptuella "problemen" som Schervish (1996) pekar ut, med att p-värdet för en nollhypotes med ett "litet" intervall kan vara större än för en nollhypotes med ett "stort" intervall, som innehåller det "lilla" intervallet som en delmängd.<br /><br />Nu sträcker sig dock mina kunskaper inom området inte mycket längre än till ovan nämnda kurs, och jag undrar därför lite nyfiket om det finns någon anledning till att dessa två aspekter inte tas upp? Jag gissar att din kommentar om att i efterhand välja ensidigt istället för dubbelsidigt test är en annan sida av samma mynt som min punkt 2 ovan, men jag tänker att det finns mer att säga? Och åtminstone punkt 1 borde väl vara relevant för hur p-värden beräknas i praktiken?<br /><br /><br />MacKay, 2003: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf<br />Lindley, 1988: https://projecteuclid.org/download/pdf_1/euclid.ss/1177012253<br />Schervish, 1996: http://www.cs.ubc.ca/~murphyk/Teaching/CS532c_Fall04/Papers/schervish-pvalues.pdfAndreashttps://www.blogger.com/profile/12492117186008110318noreply@blogger.comtag:blogger.com,1999:blog-8131794231697217573.post-44477550473535881632016-03-11T14:50:09.671+01:002016-03-11T14:50:09.671+01:00It’s not the p-values’ fault – ett inlägg som kans...<a href="http://www.r-statistics.com/2016/03/its-not-the-p-values-fault-reflections-on-the-recent-asa-statement/" rel="nofollow">It’s not the p-values’ fault</a> – ett inlägg som kanske inte är så dumt. Många av problemen som ofta kopplas till p-värden dyker upp även med alternativa metoder för inferens, och p-värden kräver enklare/färre modeller än dessa.Karlhttp://klpn.se/noreply@blogger.comtag:blogger.com,1999:blog-8131794231697217573.post-45993262946280777112016-03-10T11:35:01.798+01:002016-03-10T11:35:01.798+01:00Det sägs så mycket dumt i den här debatten. Som et...Det sägs så mycket dumt i den här debatten. Som ett extremfall kan jag nämna rättshaveristen Emil Karlsson, som verkar ha fått både p-värden och mig på hjärnan, men det mesta om bakfoten. Trots att mina och <a href="http://amstat.tandfonline.com/doi/abs/10.1080/00031305.2016.1154108" rel="nofollow">ASA:s</a> ståndpunkter på det hela taget överensstämmer, så <a href="http://debunkingdenialism.com/2016/03/08/american-statistical-association-seek-post-p-0-05-era/" rel="nofollow">hyllar han ASA</a> för deras statement, men <a href="https://twitter.com/EmilKarlsson/status/706843007434276866" rel="nofollow">spyr Twitter-galla</a> över mig. Graden av den Karlssonska förvirringen kan exemplifieras i följande stycket ur hans nya <a href="http://debunkingdenialism.com/2016/03/08/american-statistical-association-seek-post-p-0-05-era/" rel="nofollow">ASA-hyllning</a>, där han talar om... <br /><br /><i>"...NHST defender Olle Häggström, who claims (by uncritically quoting tobacco apologist R. A. Fisher) that statistical significance indicates that either the null hypothesis is false or that something unlikely has occurred. I previously discussed the counterexample of large sample size, but ASA adds another one, namely faulty underlying assumptions."</i><br /><br />Det här är så dumt att jag knappt vet vad jag skall börja. Mitt citat av Fisher (på sidan 5 i <a href="http://www.math.chalmers.se/~olleh/NHST-nuance-revision.pdf" rel="nofollow">den aktuella uppsatsen</a>) handlar inte om att okritiskt acceptera hans auktoritet. Auktoritetsargument är fullkomligt onödigt att ta till för ett påstående som faller ut, lika enkelt som 7+5=12, av den som förstått definitionen av p-värde. Jag citerade Fisher blott för att jag inte ansåg mig kunna överträffa hans eleganta formulering. <br /><br />Och sedan detta med Emil Karlssons två påstådda "motexempel". Det första av dem - <i>"large sample size"</i> - avser (<a href="http://debunkingdenialism.com/2015/03/26/haggstrom-on-nhst-once-more-unto-the-breach/" rel="nofollow">som Karlsson själv preciserat</a>) fenomenet <i>sizeless science</i> som jag ofta tagit upp (även i den nya artikeln), som bygger på att även för mycket små, men <i>icke-noll</i>, effektstorlekar ger tillräckligt stora stickprov hög förkastelsesannolikhet. Observera: <i>icke-noll</i>. Nollhypotesen är alltså <i>falsk</i>.<br /><br />Karlssons andra "motexempel": det han kallar <i>"faulty underlying assumptions"</i>. Även här är nollhypotesen <i>falsk</i>. <br /><br />Alltså: båda Karlssons påstådda "motexempel" till påståendet <i>"either the null hypothesis is false or that something unlikely has occurred"</i> är i själva verket situationer där <i>the null hypothesis is false</i>. Inga motexempel alltså, och det finns naturligtvis inget sätt att rädda hans argumentation. Hans orerande är så okunnigt och fåraktigt att man tar sig för pannan...Olle Häggströmhttps://www.blogger.com/profile/07965864908005378943noreply@blogger.comtag:blogger.com,1999:blog-8131794231697217573.post-63346886894444736502016-03-08T09:32:05.635+01:002016-03-08T09:32:05.635+01:00Notera även American Statistical Associations aktu...Notera även American Statistical Associations aktuella <a href="http://amstat.tandfonline.com/doi/abs/10.1080/00031305.2016.1154108" rel="nofollow"><i>Statement on Statistical Significance and P-values</i></a>, med ståndpunkter i god överensstämmelse med mina.Olle Häggströmhttps://www.blogger.com/profile/07965864908005378943noreply@blogger.com