Psihologilor le place să raporteze rezultate “marginal semnificative”, potrivit unei noi analize

Screenshot 2019-03-12 la 09.07.56.png
Figura 3 din Olsson-Collentine și colab., 2019: “procentul valorilor p (.05 < p .10) raportat ca fiind marginal semnificativ (linii solide) și procent de articole care conțin cel puțin o astfel de valoare p (linii punctate) între 1985 și 2016 în diferite discipline de Psihologie”

de Matthew Warren

una dintre cele mai mari ispite pentru psihologi este de a raporta rezultate de cercetare “marginal semnificative”. Când testele statistice scuipă valori care sunt tantalisingly aproape de a ajunge la semnificație, mulți pur și simplu nu se pot ajuta singuri.

acum, un studiu în știința psihologică a arătat cât de răspândită este această practică. Anton Olsson-Collentine și colegii de la Universitatea Tilburg au analizat trei decenii de lucrări de Psihologie și au constatat că 40% din valorile p cuprinse între 0,05 și 0,1-adică cele care nu sunt semnificative conform pragurilor convenționale – au fost descrise de experimentatori ca fiind “marginal semnificative”.

psihologii folosesc valorile p pentru a evalua dacă un rezultat este semnificativ statistic. Valoarea p oferă o estimare a probabilității ca rezultatele actuale (și altele mai extreme) să fie obținute dacă “ipoteza nulă” ar fi adevărată. (Ipoteza nulă este că nu există niciun efect sau nicio diferență între grupurile studiate). La un anumit prag – de obicei când p este mai mic de 0,05 – psihologii resping ipoteza nulă și deduc că rezultatul lor reprezintă probabil un efect adevărat.

dar uneori cercetătorii tratează acest prag destul de flexibil. Dacă o valoare p este puțin mai mare de 0,05, ei raportează adesea rezultatul ca fiind “marginal semnificativ”, ceea ce înseamnă că ar putea exista încă un fel de efect real.

pentru a determina cât de des sunt raportate valorile p în acest fel, echipa Olsson-Collentine a examinat modalitățile în care valorile cuprinse între 0,05 și 0,1 au fost descrise în reviste publicate de Asociația Americană de Psihologie din 1985 până în 2016.

echipa a programat un cod pentru a parcurge 44.200 de lucrări și a extrage 42.504 valori p care se încadrează între 0,05 și 0,1. Apoi au căutat textul imediat înainte și după valorile p pentru cuvintele care încep “marjă” sau “abordare”, ceea ce ar putea indica faptul că rezultatele au fost raportate ca fiind semnificative marginal (sau “apropiindu-se” semnificație).

cercetătorii au descoperit că aproape 40% din valorile P nesemnificative pe care le-au identificat au fost raportate ca fiind marginal semnificative. Dintre cele nouă discipline principale de psihologie, practica a fost cea mai frecventă în psihologia organizațională, unde 45% din valori au fost considerate marginal semnificative și cel mai puțin frecvente în psihologia clinică, unde acest număr a scăzut la 30%.

acest tip de raportare este o problemă, deoarece este probabil să contribuie la falsuri pozitive (atribuirea greșită a constatărilor nule ca efecte adevărate) și la cercetări mai puțin reproductibile, spun Olsson-Collentine și colegii săi. Numind un rezultat “un fel de semnificativ”, psihologii schimbă în esență regulile pentru ceea ce contează ca fiind semnificativ după fapt și, prin urmare, evidențiază rezultate care ar putea fi mai puțin susceptibile de a reprezenta efecte” adevărate”.

cu toate acestea, au existat câteva vești bune: în perioada de 30 de ani acoperită de noua analiză, obiceiul “marginal semnificativ” pare să fi devenit mai puțin obișnuit în majoritatea celor nouă sub-discipline psihologice. “Tendința descendentă în psihologie în general poate reflecta creșterea gradului de conștientizare în rândul cercetătorilor că valorile p în intervalul de .05 la .10 reprezintă dovezi slabe împotriva nulului”, scriu cercetătorii. Poate fi și rezultatul faptului că editorii devin mai stricți, adaugă ei.

în mod crucial, noul studiu a reprezentat doar valorile p descrise ca semnificație “marginală” sau “apropiată”. Dar cercetătorii pot fi mult mai inventivi în limba pe care o folosesc. În 2013, statisticianul Matthew Hankins a compilat o listă cu sute de alte fraze pe care oamenii de știință psihologici le-au folosit pentru a descrie valori p scăzute, dar nu semnificative în literatură, de la “flirtul cu niveluri convenționale de semnificație” la “a periat foarte atent limita semnificației statistice”. Ratând unele dintre modalitățile mai creative prin care oamenii de știință încearcă să stoarcă rezultate pozitive din munca lor, este posibil ca acest nou studiu să subestimeze amploarea problemei.

—prevalența rezultatelor marginal semnificative în psihologie în timp

Matthew Warren (@MattbWarren) este scriitor de personal la BPS Research Digest

Lasă un răspuns

Adresa ta de email nu va fi publicată.