psykologer älskar att rapportera “marginellt signifikanta” resultat, enligt en ny analys

skärmdump 2019-03-12 vid 09.07.56.png
Figur 3 från Olsson-Collentine et al, 2019: “procent av p-värden (.05 < p exportoriskt .10) rapporterade som marginellt signifikanta (heldragna linjer) och procent av artiklar som innehåller minst ett sådant p-värde (streckade linjer) mellan 1985 och 2016 i olika psykologiska discipliner”

av Matthew Warren

en av de största frestelserna för psykologer är att rapportera “marginellt signifikanta” forskningsresultat. När statistiska tester spottar ut värden som är spännande nära att nå betydelse, kan många bara inte hjälpa sig själva.

nu har en studie i Psykologisk Vetenskap visat hur utbredd denna praxis är. Anton Olsson-Collentine och kollegor från Tilburg University analyserade tre decennier av psykologipapper och fann att hela 40 procent av p-värden mellan 0,05 och 0,1 – dvs de som inte är signifikanta enligt konventionella tröskelvärden – beskrevs av experimenter som “marginellt signifikanta”.

psykologer använder p-värden för att mäta om ett resultat är statistiskt signifikant. P-värdet ger en uppskattning av sannolikheten för att de aktuella resultaten (och andra mer extrema) erhålls om “nollhypotesen” var sant. (Nollhypotesen är att det inte finns någon effekt eller ingen skillnad mellan de grupper som studeras). Vid en viss tröskel – vanligtvis när p är mindre än 0, 05 – avvisar psykologer nollhypotesen och drar slutsatsen att deras resultat förmodligen representerar en sann effekt.

men ibland behandlar forskare den tröskeln ganska flexibelt. Om ett p-värde är lite större än 0,05 rapporterar de ofta resultatet som “marginellt signifikant”, vilket innebär att det fortfarande kan finnas någon form av verklig effekt på gång.

för att bestämma hur ofta p-värden rapporteras på detta sätt undersökte Olsson-Collentines team hur värden som faller mellan 0,05 och 0,1 beskrivs i tidskrifter publicerade av American Psychological Association från 1985 till 2016.

teamet programmerade lite kod för att gå igenom 44 200 papper och extrahera 42 504 p-värden som faller mellan 0,05 och 0,1. De sökte sedan texten omedelbart före och efter p-värdena för ord som börjar “marginal” eller “tillvägagångssätt”, vilket kan indikera att resultaten rapporterades som marginellt signifikanta (eller “närmar sig” betydelse).

forskarna fann att nästan 40 procent av de icke-signifikanta p-värdena de identifierade rapporterades som marginellt signifikanta. Av nio huvudsakliga Psykologi discipliner, praxis var vanligast i organisationspsykologi, där 45 procent av värdena ansågs marginellt betydande, och minst vanligt i klinisk psykologi, där antalet sjönk till 30 procent.

denna typ av rapportering är ett problem eftersom det sannolikt kommer att bidra till falska positiva effekter (felattributionen av nollfynd som sanna effekter) och mindre reproducerbar forskning, säger Olsson-Collentine och hans kollegor. Genom att kalla ett resultat “sort-of-betydande”, psykologer är i huvudsak ändra reglerna för vad som räknas som betydande i efterhand, och därför lyfta fram resultat som kan vara mindre benägna att representera “sanna” effekter.

Ändå fanns det några goda nyheter: under 30-årsperioden som omfattas av den nya analysen verkar den “marginellt signifikanta” vanan ha blivit mindre vanlig i de flesta av de nio psykologiska underdisciplinerna. “Den nedåtgående trenden i psykologi övergripande kan återspegla ökad medvetenhet bland forskare att p-värden inom intervallet .05 till .10 representerar svaga bevis mot noll, ” skriver forskarna. Det kan också vara resultatet av att redaktörer blir strängare, lägger de till.

avgörande stod den nya studien endast för p-värden som beskrivs som” marginell “eller” närmar sig ” betydelse. Men forskare kan vara mycket mer uppfinningsrika på det språk de använder. År 2013 sammanställde statistikern Matthew Hankins en lista över hundratals andra fraser psykologiska forskare har använt för att beskriva låga men inte signifikanta p-värden i litteraturen, från “flirta med konventionella nivåer av betydelse” till “mycket nära borstat gränsen för statistisk signifikans”. Genom att sakna några av de mer kreativa sätten som forskare försöker pressa positiva resultat ur sitt arbete är det möjligt att den här nya studien underskattar problemets omfattning.

Matthew Warren (@MattbWarren) är personalförfattare vid BPS Research Digest

Lämna ett svar

Din e-postadress kommer inte publiceras.