psychologové rádi hlásí” okrajově významné ” výsledky, podle nové analýzy

 Screenshot 2019-03-12 na 09.07.56.png
obrázek 3 od Olsson-Collentine et al, 2019: “procento hodnot p (.05 < p ≤ .10) hlášeno jako okrajově významné (plné čáry) a procento článků obsahujících alespoň jednu takovou hodnotu p (přerušované čáry) v letech 1985 až 2016 v různých psychologických disciplínách”

Matthew Warren

jedním z největších pokušení pro psychology je hlásit” okrajově významné ” výsledky výzkumu. Když statistické testy vyplivnou hodnoty, které jsou dráždivě blízké dosažení významu, mnozí si prostě nemohou pomoci.

nyní studie v psychologické vědě ukázala, jak rozšířená je tato praxe. Anton Olsson-Collentine a kolegové z Tilburg University analyzovali tři desetiletí psychologických prací a zjistili, že neuvěřitelných 40 procent p-hodnot mezi 0.05 A 0.1-tj.

psychologové používají p-hodnoty k posouzení, zda je výsledek statisticky významný. Hodnota p poskytuje odhad pravděpodobnosti současných výsledků (a dalších extrémnějších), pokud by byla” nulová hypotéza ” pravdivá. (Nulová hypotéza je, že neexistuje žádný účinek nebo žádný rozdíl mezi studovanými skupinami). Při určitém prahu – obvykle, když je p menší než 0, 05 – psychologové odmítají nulovou hypotézu a usuzují, že jejich výsledek pravděpodobně představuje skutečný účinek.

ale někdy vědci zacházejí s tímto prahem spíše flexibilně. Pokud je hodnota p o něco větší než 0,05, často hlásí výsledek jako “okrajově významný”, což znamená, že by stále mohl existovat nějaký skutečný efekt.

aby se zjistilo, jak často jsou p-hodnoty hlášeny tímto způsobem, tým Olsson-Collentine zkoumal způsoby, jak byly hodnoty spadající mezi 0, 05 a 0, 1 popsány v časopisech publikovaných Americkou psychologickou asociací od roku 1985 do roku 2016.

tým naprogramoval nějaký kód, aby prošel 44 200 papíry a extrahoval 42 504 p-hodnoty spadající mezi 0.05 A 0.1. Poté prohledali text bezprostředně před a za p-hodnotami pro slova začínající “okraj” nebo “přístup”, což by mohlo naznačovat, že výsledky byly hlášeny jako okrajově významné (nebo “blížící se” význam).

vědci zjistili, že téměř 40 procent nevýznamných p-hodnot, které identifikovali, bylo hlášeno jako okrajově významné. Z devíti hlavních psychologických disciplín, praxe byla nejčastější v organizační psychologii, kde 45 procento hodnot bylo považováno za okrajově významné, a nejméně běžné v klinické psychologii, kde toto číslo kleslo na 30 procent.

tento druh hlášení je problém, protože je pravděpodobné, že přispěje k falešným pozitivům (nesprávné přiřazení nulových nálezů jako skutečných efektů) a méně reprodukovatelnému výzkumu, říká Olsson-Collentine a jeho kolegové. Voláním výsledku “druh významného”, psychologové v podstatě mění pravidla pro to, co se po skutečnosti považuje za významné, a proto zdůrazňují výsledky, u nichž je méně pravděpodobné, že budou představovat “skutečné” účinky.

přesto se objevily dobré zprávy: v průběhu 30letého období, na které se nová analýza vztahuje, se zdá, že “okrajově významný” zvyk se ve většině z devíti psychologických dílčích disciplín stal méně běžným. “Klesající trend v psychologii celkově může odrážet rostoucí povědomí mezi výzkumníky, že hodnoty p v rozsahu .05 až .10 představují slabé důkazy proti null, ” píší vědci. Může to být také důsledek toho, že se editoři stanou přísnějšími, dodávají.

zásadní je, že nová studie představovala pouze hodnoty p popsané jako” marginální “nebo” blížící se ” význam. Vědci však mohou být mnohem vynalézavější v jazyce, který používají. V roce 2013 sestavil statistik Matthew Hankins seznam stovek dalších frází, které psychologičtí vědci použili k popisu nízkých, ale nevýznamných hodnot p v literatuře, od “flirtování s konvenčními úrovněmi významnosti” po “velmi pečlivě oprášil hranici statistické významnosti”. Tím, že chybí některé z kreativnějších způsobů, jak se vědci snaží vytlačit pozitivní výsledky ze své práce, je možné, že tato nová studie podceňuje rozsah problému.

Matthew Warren (@MattbWarren) je spisovatel zaměstnanců v BPS Research Digest

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.