psykologer elsker at rapportere “marginalt signifikante” resultater, ifølge en ny analyse

 Screenshot 2019-03-12 på 09.07.56.png
figur 3 fra Olsson-Collentine et al, 2019: “procentdel af p-værdier (.05 < p .10) rapporteret som marginalt signifikante (faste linjer) og procentdel af artikler, der indeholder mindst en sådan p-værdi (stiplede linjer) mellem 1985 og 2016 i forskellige psykologidiscipliner”

en af de største fristelser for psykologer er at rapportere “marginalt signifikante” forskningsresultater. Når statistiske tests spytter værdier, der er spændende tæt på at nå betydning, kan mange bare ikke hjælpe sig selv.

nu har en undersøgelse i Psykologisk Videnskab vist, hvor udbredt denne praksis er. Anton Olsson-Collentine og kolleger fra Tilburg University analyserede tre årtiers psykologidokumenter og fandt ud af, at hele 40 procent af p-værdier mellem 0,05 og 0,1 – dvs.dem, der ikke var signifikante i henhold til konventionelle tærskler – blev beskrevet af eksperimenter som “marginalt signifikante”.

psykologer bruger p-værdier til at måle, om et resultat er statistisk signifikant. P-værdien giver et skøn over sandsynligheden for, at de aktuelle resultater (og andre mere ekstreme) opnås, hvis “nulhypotesen” var sand. (Nulhypotesen er, at der ikke er nogen effekt eller ingen forskel mellem de grupper, der undersøges). Ved en bestemt tærskel – normalt når p er mindre end 0,05 – afviser psykologer nulhypotesen og udleder, at deres resultat sandsynligvis repræsenterer en sand effekt.

men nogle gange behandler forskere denne tærskel ret fleksibelt. Hvis en p-værdi er lidt større end 0,05, rapporterer de ofte resultatet som “marginalt signifikant”, hvilket antyder, at der stadig kan være en slags reel effekt, der foregår.

for at bestemme, hvor ofte p-værdier rapporteres på denne måde, undersøgte Olsson-Collentines team, hvordan værdier, der falder mellem 0,05 og 0,1, blev beskrevet i tidsskrifter udgivet af American Psychological Association fra 1985 til 2016.

holdet programmerede en kode til at gennemgå 44.200 papirer og udtrække 42.504 p-værdier, der falder mellem 0,05 og 0,1. De søgte derefter teksten umiddelbart før og efter p-værdierne for ord, der begyndte “margin” eller “approach”, hvilket kunne indikere, at resultaterne blev rapporteret som marginalt signifikante (eller “nærmer sig” betydning).

forskerne fandt, at næsten 40 procent af de ikke-signifikante p-værdier, de identificerede, blev rapporteret som marginalt signifikante. Af ni hovedpsykologiske discipliner, praksis var mest almindelig inden for organisationspsykologi, hvor 45 procent af værdierne blev anset for marginalt signifikante, og mindst almindelig inden for Klinisk psykologi, hvor dette antal faldt til 30 procent.

denne form for rapportering er et problem, fordi det sandsynligvis vil bidrage til falske positive (forkert tildeling af nulfund som sande effekter) og mindre reproducerbar forskning, siger Olsson-Collentine og hans kolleger. Ved at kalde et resultat “slags signifikant” ændrer psykologer i det væsentlige reglerne for, hvad der tæller som signifikant efter det faktum, og fremhæver derfor resultater, der måske er mindre tilbøjelige til at repræsentere “sande” effekter.

ikke desto mindre var der nogle gode nyheder: i løbet af den 30-årige periode, der er omfattet af den nye analyse, synes den “marginalt signifikante” vane at være blevet mindre almindelig i de fleste af de ni psykologiske underdiscipliner. “Den nedadgående tendens i psykologi generelt kan afspejle stigende bevidsthed blandt forskere, at p værdier i intervallet .05 til .10 repræsenterer svage beviser mod null, ” skriver forskerne. Det kan også være resultatet af, at redaktører bliver strengere, tilføjer de.

afgørende, den nye undersøgelse tegnede sig kun for p-værdier beskrevet som “marginal” eller “nærmer sig” betydning. Men forskere kan være meget mere opfindsomme på det sprog, de bruger. I 2013 udarbejdede statistikeren Matthæus Hankins en liste over hundredvis af andre sætninger, som psykologiske forskere har brugt til at beskrive lav-men-ikke-signifikante p-værdier i litteraturen, fra “flirter med konventionelle niveauer af betydning” til “meget tæt børstet grænsen for statistisk signifikans”. Ved at savne nogle af de mere kreative måder, som forskere forsøger at presse positive resultater ud af deres arbejde, er det muligt, at denne nye undersøgelse undervurderer omfanget af problemet.

– udbredelsen af marginalt signifikante resultater i psykologi over tid

er Stabsforfatter ved BPS Research Digest

Skriv et svar

Din e-mailadresse vil ikke blive publiceret.