psykologit raportoivat mielellään” marginaalisesti merkittäviä ” tuloksia, uuden analyysin mukaan

kuvakaappaus 2019-03-12 klo 09.07.56.png
kuva 3 teoksesta Olsson-Collentine et al, 2019: “P-arvojen prosenttiosuus (.05 < p ≤ .10) raportoitu marginaalisesti merkitsevinä (kiinteät viivat) ja prosentteina artikkeleista, jotka sisältävät vähintään yhden tällaisen p-arvon (murskatut viivat) vuosien 1985 ja 2016 välillä eri psykologian tieteenaloilla”

Matthew Warrenin

yksi suurimmista houkutuksista psykologeille on raportoida “marginaalisesti merkittäviä” tutkimustuloksia. Kun tilastollisissa testeissä syljetään esiin arvoja, jotka ovat kutkuttavan lähellä merkityksen saavuttamista, monet eivät vain voi itselleen mitään.

nyt psykologisessa tieteessä tehty tutkimus on osoittanut, kuinka laajalle tämä käytäntö on levinnyt. Anton Olsson-Collentine ja kollegat Tilburgin yliopistosta analysoivat kolme vuosikymmentä psykologian papereita ja havaitsivat, että huikeat 40 prosenttia p-arvoista välillä 0,05 ja 0,1 – eli ne, jotka eivät ole merkittäviä tavanomaisten raja – arvojen mukaan-kuvattiin kokeilijat “marginaalisesti merkittävä”.

psykologit käyttävät p-arvoja arvioidakseen, onko tulos tilastollisesti merkitsevä. P-arvo antaa arvion todennäköisyydestä, jolla nykyiset (ja muut äärimmäisemmät) tulokset saadaan, jos “nollahypoteesi” olisi tosi. (Nollahypoteesi on, että ei ole vaikutusta, tai ei eroa ryhmien tutkitaan). Tietyllä raja – arvolla – yleensä kun p on alle 0,05-psykologit hylkäävät nollahypoteesin ja päättelevät, että niiden tulos todennäköisesti edustaa todellista vaikutusta.

mutta joskus tutkijat käsittelevät tätä kynnystä melko joustavasti. Jos p-arvo on hieman suurempi kuin 0,05, he raportoivat tuloksen usein “marginaalisesti merkittäväksi”, mikä viittaa siihen, että kyseessä voi silti olla jonkinlainen todellinen vaikutus.

selvittääkseen, kuinka usein p-arvot ilmoitetaan tällä tavoin, Olsson-Collentinen ryhmä tutki tapoja, joilla 0,05-0,1: n välille sijoittuvia arvoja kuvattiin American Psychological Associationin julkaisemissa lehdissä vuosina 1985-2016.

ryhmä ohjelmoi jonkin verran koodia käymään läpi 44 200 paperia ja poimimaan 42 504 p-arvoa, jotka asettuvat välille 0,05-0,1. Tämän jälkeen he hakivat tekstistä välittömästi ennen ja jälkeen P-arvot sanoille, jotka alkavat “marginaali” tai “lähestymistapa”, mikä saattoi osoittaa, että tulokset ilmoitettiin marginaalisesti merkitseviksi (tai “lähestyviksi” merkityksiksi).

tutkijat havaitsivat, että lähes 40 prosenttia heidän tunnistamistaan ei-merkitsevistä p-arvoista ilmoitettiin marginaalisesti merkittäviksi. Yhdeksästä psykologian pääalasta käytäntö oli yleisintä organisaatiopsykologiassa, jossa 45 prosenttia arvoista katsottiin marginaalisesti merkittäviksi, ja vähiten yleisintä kliinisessä psykologiassa, jossa luku laski 30 prosenttiin.

tällainen raportointi on ongelma, koska se on omiaan edistämään vääriä positiivisia tuloksia (nollahavaintojen virheellisyys todellisina vaikutuksina) ja vähemmän toistettavissa olevaa tutkimusta, sanovat Olsson-Collentine kollegoineen. Kutsumalla tulosta “sort-of-significant”, psykologit ovat olennaisesti muuttamassa sääntöjä, mikä lasketaan merkittäväksi sen jälkeen, ja siksi korostetaan tuloksia, jotka voivat olla vähemmän todennäköisesti edustaa “totta” vaikutuksia.

oli kuitenkin joitakin hyviä uutisia: uuden analyysin kattaman 30 vuoden jakson aikana “marginaalisesti merkittävä” tapa näyttää käyneen harvinaisemmaksi useimmissa yhdeksästä psykologisesta alaryhmästä. “Psykologian yleinen laskeva suuntaus voi heijastaa tutkijoiden lisääntyvää tietoisuutta siitä, että p-arvot ovat alueella .05 to .10 edustaa heikkoja todisteita nollaa vastaan”, kirjoittavat tutkijat. Se voi johtua myös siitä, että päätoimittajat tiukentuvat, he lisäävät.

ratkaisevasti uudessa tutkimuksessa otettiin huomioon vain p-arvot, joita on kuvattu “marginaalisiksi” tai “lähestyviksi” merkityksiksi. Mutta tutkijat voivat olla paljon kekseliäämpiä käyttämässään kielessä. Tilastotieteilijä Matthew Hankins kokosi vuonna 2013 listan sadoista muista lauseista, joita psykologiset tutkijat ovat käyttäneet kuvaamaan kirjallisuuden alhaisia, mutta ei-merkittäviä p-arvoja “flirttailusta tavanomaisten merkitsevyystasojen kanssa” “erittäin tarkasti harjattuun tilastollisen merkitsevyyden rajaan”. Puuttumalla luovempiin tapoihin, joilla tutkijat yrittävät pusertaa positiivisia tuloksia irti työstään, on mahdollista, että tämä uusi tutkimus aliarvioi ongelman laajuutta.

– the Prevalence of Marginally Significant Results in Psychology Over Time

Matthew Warren (@MattbWarren) is Staff Writer at BPS Research Digest

Vastaa

Sähköpostiosoitettasi ei julkaista.