Perustieteiden korkeakoulu
Tieteestä tulevaisuuden teknologiaa, innovaatioita ja liiketoimintaa.
Sadan tutkimuksen uudelleenanalyysi paljastaa: johtopäätökset riippuvat paljolti tekijästä
Tutkijat tekivät satoja uudelleenanalyyseja sadasta aiemmin julkaistusta sosiaali- ja käyttäytymistieteiden tutkimuksesta. Samoihin johtopäätöksiin päästiin vain joka kolmannessa uudelleenanalyysissa.
Yli 450 riippumatonta tutkijaa eri puolilta maailmaa teki yli 500 uudelleenanalyysia sadasta aiemmin julkaistusta sosiaali- ja käyttäytymistieteellisen tutkimuksen aineistoista. Kaikki analyytikot saivat saman aineiston ja saman keskeisen tutkimuskysymyksen, mutta heille annettiin vapaus toteuttaa analyysi oman asiantuntija-arvionsa perusteella. Tutkimus paljasti, että tieteelliset johtopäätökset voivat muuttua merkittävästi riippuen siitä, kuka analyysin tekee.
”Tutkijat päätyivät samoihin johtopäätöksiin kuin alkuperäiset kirjoittajat vain joka kolmannen artikkelin kohdalla”, sanoo Aalto-yliopiston data-analyytikko Enrico Glerean.
Tulokset ovat peräisin laajasta kansainvälisestä yhteistyöstä, jota johtivat Balázs Aczél ja Barnabás Szászi unkarilaisista Eötvös Loránd- ja Corvinus-yliopistoista. Tutkimusartikkeli ”” on juuri julkaistu Nature-lehdessä. Tutkimus oli myös osa 865 tutkijan Systematizing Confidence in Open Research and Evidence (SCORE) -hanketta.
”Tutkimus oli valtava ponnistus: sadat ihmiset analysoivat julkaistuja tutkimuksia uudelleen arvioidakseen, kuinka hyvin niiden tulokset pystytään toistamaan”, Glerean sanoo.
Enrico GlereanTutkijat päätyivät samoihin johtopäätöksiin kuin alkuperäiset kirjoittajat vain joka kolmannen artikkelin kohdalla
Erot johtopäätöksissä eivät johdu osaamisen puutteesta
Viime vuosikymmenen aikana sosiaali- ja käyttäytymistieteissä on toteutettu merkittäviä uudistuksia, joiden tavoitteena on ollut tehdä tutkimuksesta läpinäkyvämpää, johdonmukaisempaa ja luotettavampaa. Yksi tärkeä kysymys saa kuitenkin yhä enemmän huomiota: missä määrin tutkimustulokset riippuvat siitä, miten aineisto analysoidaan?
”Tutkimus on usein valintoja yhden analyysipolun puolesta, jossa yhtä aineistoa analysoi yleensä yksi tutkija tai tutkimusryhmä. Mutta on myös muita järkeviä tapoja analysoida aineistoa”, sanoo Aalto-yliopiston apulaisprofessori Christoph Huber.
Vaikka vertaisarviointi arvioi menetelmien hyväksyttävyyttä, se paljastaa harvoin, millaisia tuloksia olisi voinut syntyä vaihtoehtoisilla, mutta yhtä perustelluilla tilastollisilla ratkaisuilla.
”Joskus tutkijat eivät ole yksimielisiä siitä, miten tietyn tyyppisiä aineistoja pitäisi alun perinkään analysoida. Joskus taas kyseiset ilmiöt eivät tarjoa vain yhtä ainoaa tulkintaa”, Glerean sanoo.
Empiirinen tutkimus sisältää lukuisia päätöksiä: miten aineisto puhdistetaan, miten muuttujat määritellään, mitä tilastollisia malleja tai ohjelmistoja käytetään ja miten tuloksia tulkitaan. Nämä valinnat voivat perustavalla tavalla vaikuttaa lopullisiin johtopäätöksiin.
”Ehkä monet tutkimustulokset perustuvat valintoihin, jotka eivät itse asiassa kestä tarkempaa tarkastelua. On syytä katsoa tarkemmin ja pohtia uudelleen, miten tiedettä tehdään. Toivottavasti tämä johtaa siihen, että tulokset ovat tulevaisuudessa entistä uskottavampia”, Huber sanoo.
Erot johtopäätöksissä eivät johdu osaamisen puutteesta. Kokeneet tutkijat, joilla on vahva tilastollinen tausta, päätyivät yhtä lailla toisistaan poikkeaviin tuloksiin kuin muutkin. Samalla havaintoaineistoihin perustuvat tutkimukset osoittautuivat vähemmän vankoiksi kuin kokeelliset tutkimukset.
Christoph HuberTutkimus on usein valintoja yhden analyysipolun puolesta. Mutta on myös muita järkeviä tapoja analysoida aineistoa
”Itse analysoin uudelleen kokeellista tutkimusta, ja päädyin täsmälleen samoihin tuloksiin. Tämä voi johtua siitä, että kokeellinen data jättää vähemmän tilaa analyysiin perustuville avoimille johtopäätöksille”, Huber kertoo.
Ihmisiä tarvitaan jatkossakin enemmän kuin koneita
Yksi tapa lisätä tutkimustulosten luotettavuutta on monen tutkijan tekemä analyysi, jossa samaa aineistoa analysoidaan eri tiimeissä erilaisilla menetelmällisillä valinnoilla sen sijaan, että luotettaisiin yhteen tiimiin ja yhteen analyysivalintojen joukkoon.
”Tällaisen analyysin avulla voidaan nähdä, mitkä tulokset ovat menetelmistä riippumatta kestäviä. Tämä tarkoittaa myös, että tieteen sosiaalinen ulottuvuus korostuu entisestään: tutkijat keskustelevat erilaisista lähestymistavoista ja haastavat toisiaan”, Glerean sanoo.
Glerean huomauttaa myös, että suosituilla generatiivisen tekoälyn työkaluilla on yhä suurempi vaikutus kaikkeen, ja se on usein koulutettu valtavalla määrällä vanhaa materiaalia. Tämä tarkoittaa, että se perustuu myös tuloksiin, joiden on sittemmin osoitettu olevan ei-toistettavia, harhaanjohtavia tai yksinkertaisesti vääriä.
”Tiede kehittyy nopeammin ja korjaa itseään paremmin kuin suuret kielimallit, jotka on koulutettu lähes kaikella kirjoitetulla materiaalilla. Tarvitsemme edelleen ihmisiä enemmän kuin koneita, kun haluamme tietää, mikä on paras selitys jollekin ilmiölle,” Glerean sanoo.
Nature:
Yhteystiedot:
Rahoituksen laitos
Aalto-yliopiston rahoituksen laitos on Euroopan johtavia rahoituksen laitoksia.
Lue lisää uutisia
Positiivinen viestintä ja improvisaatio auttavat kehittämään opiskelijoiden viestintätaitoja työelämän tarpeisiin
Kauppakorkeakoulu uudisti pakollisen ensimmäisen vuoden viestintäkurssinsa.
Startupit menestyvät vastatuulessakin – Aalto Startup Centerin nopean kasvun yritysten liikevaihto kasvoi 355 prosenttia kolmessa vuodessa
Aalto Startup Centeristä ponnistaneet kasvuyritykset jatkavat vahvaa kasvua haastavasta taloustilanteesta huolimatta. Nopeimmin kasvaneiden yritysten yhteenlaskettu liikevaihto nousi 56,95 miljoonaan euroon vuonna 2024.
Unohda ruutuaika, kuormitus syntyy puhelimen toistuvasta räpläämisestä
Aalto-yliopiston tutkijat selvittivät pitkittäistutkimuksessaan, mikä kuormittaa digilaitteiden käyttäjiä eniten. Yllättäen kuormittavinta ei ole laitteiden käyttöaika, vaan toistuva käyttö lyhyissä pätkissä – se kuormittaa enemmän kuin pitkä ruutuaika.