Gli psicologi amano segnalare risultati “marginalmente significativi”, secondo una nuova analisi

Screenshot 2019-03-12 a 09.07.56.png
Figura 3 da Olsson-Collentine et al, 2019: “Percentuale di valori p (.05 < p ≤ .10) segnalato come marginalmente significativo (linee continue) e percentuale di articoli contenenti almeno un tale valore p (linee tratteggiate) tra 1985 e 2016 in diverse discipline psicologiche”

Di Matthew Warren

Una delle più grandi tentazioni per gli psicologi è quella di riportare risultati di ricerca “marginalmente significativi”. Quando i test statistici sputano valori che sono allettantemente vicini al raggiungimento del significato, molti non possono fare a meno di se stessi.

Ora uno studio su Psychological Science ha dimostrato quanto sia diffusa questa pratica. Anton Olsson-Collentine e colleghi dell’Università di Tilburg hanno analizzato tre decenni di articoli di psicologia e hanno scoperto che un enorme 40 per cento dei valori p tra 0.05 e 0.1-cioè quelli non significativi secondo le soglie convenzionali – sono stati descritti dagli sperimentatori come “marginalmente significativi”.

Gli psicologi usano i valori p per valutare se un risultato è statisticamente significativo. Il valore p fornisce una stima della probabilità che i risultati attuali (e altri più estremi) vengano ottenuti se l ‘ “ipotesi nulla” fosse vera. (L’ipotesi nulla è che non ci sia alcun effetto o nessuna differenza tra i gruppi studiati). A una certa soglia-di solito quando p è inferiore a 0,05-gli psicologi respingono l’ipotesi nulla e deducono che il loro risultato probabilmente rappresenta un vero effetto.

Ma a volte i ricercatori trattano quella soglia in modo piuttosto flessibile. Se un valore p è leggermente superiore a 0,05, spesso riportano il risultato come “marginalmente significativo”, implicando che potrebbe ancora esserci un qualche tipo di effetto reale in corso.

Per determinare la frequenza con cui i valori p vengono riportati in questo modo, il team di Olsson-Collentine ha esaminato i modi in cui i valori compresi tra 0,05 e 0,1 sono stati descritti in riviste pubblicate dall’American Psychological Association dal 1985 al 2016.

Il team ha programmato del codice per passare attraverso 44.200 documenti ed estrarre 42.504 valori p compresi tra 0,05 e 0,1. Hanno quindi cercato il testo immediatamente prima e dopo i valori p per le parole che iniziano con “margine” o “approccio”, il che potrebbe indicare che i risultati venivano segnalati come marginalmente significativi (o “avvicinandosi” significato).

I ricercatori hanno scoperto che quasi il 40 per cento dei valori p non significativi identificati sono stati segnalati come marginalmente significativi. Di nove discipline principali psicologia, la pratica era più comune in psicologia organizzativa, dove 45 per cento dei valori sono stati ritenuti marginalmente significativo, e meno comune in psicologia clinica, dove quel numero è sceso a 30 per cento.

Questo tipo di segnalazione è un problema perché è probabile che contribuisca a falsi positivi (l’errata attribuzione dei risultati nulli come effetti veri) e alla ricerca meno riproducibile, affermano Olsson-Collentine e i suoi colleghi. Chiamando un risultato “sort-of-significativo”, gli psicologi stanno essenzialmente cambiando le regole per ciò che conta come significativo dopo il fatto, e quindi evidenziando i risultati che possono essere meno propensi a rappresentare effetti” veri”.

Tuttavia, ci sono state alcune buone notizie: attraverso il periodo di 30 anni coperto dalla nuova analisi, l’abitudine “marginalmente significativa” sembra essere diventata meno comune nella maggior parte delle nove sotto-discipline psicologiche. “La tendenza al ribasso in psicologia generale può riflettere una crescente consapevolezza tra i ricercatori che i valori p nella gamma di .05 a .10 rappresentano prove deboli contro il null”, scrivono i ricercatori. Può anche essere il risultato di editori diventando più severe, aggiungono.

Fondamentalmente, il nuovo studio ha rappresentato solo i valori p descritti come significato “marginale” o “approssimativo”. Ma i ricercatori possono essere molto più inventivi nella lingua che usano. Nel 2013, lo statistico Matthew Hankins ha compilato un elenco di centinaia di altre frasi che gli scienziati psicologici hanno usato per descrivere valori p bassi ma non significativi in letteratura, da “flirtare con livelli convenzionali di significatività” a “sfiorare molto da vicino il limite di significatività statistica”. Mancando alcuni dei modi più creativi che gli scienziati cercano di spremere risultati positivi dal loro lavoro, è possibile che questo nuovo studio stia sottovalutando l’entità del problema.

—La prevalenza di risultati marginalmente significativi in psicologia nel tempo

Matthew Warren (@MattbWarren) è scrittore di personale presso BPS Research Digest

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.