Sielkundige studies is in meer as 50% van gevalle vals gevind

2024 Outeur: Seth Attwood | [email protected]. Laas verander: 2023-12-16 15:56

Daar is “sterk posture” wat selfvertroue bou en streshormone verminder. Wanneer mense 'n koppie warm drank in hul hande hou, word hulle vriendeliker vir diegene rondom hulle. Wilskrag is 'n hulpbron wat ons spandeer wanneer ons versoeking weerstaan. Die vermoë om beloning uit te stel, bepaal die kind se toekomstige sukses.

Hierdie stellings stem baie ooreen met mekaar: daaragter is bekende sielkundige navorsing, gewilde wetenskaplike topverkopers, rubrieke in gewilde tydskrifte en TED-praatjies.

Hulle het ook nog een ding in gemeen: hulle het almal verkeerd geblyk te wees.

Die reproduceerbaarheidskrisis het hele velde van die wetenskap in twyfel getrek. Baie van die resultate, wat wyd in die media aangehaal is, word nou as oordrewe of vals beskou. Toe wetenskaplikes probeer het om beide klassieke en onlangse sielkundige eksperimente te herhaal, was die resultate verbasend konsekwent, met ongeveer die helfte van die gevalle wat suksesvol was en die ander helfte wat misluk het.

Die krisis het uiteindelik in 2015 duidelik geword toe wetenskaplikes onder leiding van Brian Nosek 100 sielkundige studies nagegaan het. Hulle kon slegs in 36 gevalle aanvanklike resultate behaal. Die Lancet-hoofredakteur Richard Horton het gou gesê:

“Die beskuldigings teen die wetenskap is redelik eenvoudig: ten minste die helfte van die wetenskaplike literatuur is eenvoudig verkeerd. Gely aan studies met 'n klein steekproefgrootte, karige effek en verkeerde ontledings, sowel as 'n obsessie met modetendense van twyfelagtige belang, het die wetenskap 'n wending na onkunde geneem.

Reproduceerbaarheid is een van die sleutelvereistes vir wetenskaplike kennis. Hoe beter die resultaat weergegee word, hoe meer betroubaar is dit - dit is die enigste manier om werklike patrone van eenvoudige toevallighede te skei

Maar dit het geblyk dat daar nie altyd aan hierdie vereiste voldoen word nie.

Die krisis het met medisyne begin, maar die sielkunde het die meeste geraak. In die somer van 2018 het wetenskaplikes probeer om 'n seleksie van sielkundige studies te herhaal wat in Science and Nature, die wêreld se mees gesogte wetenskaplike joernale, gepubliseer is. Uit 21 eksperimente is slegs 13 bevestig – en selfs in hierdie gevalle is die oorspronklike resultate met sowat 50% oordryf.

Dikwels word die reproduceerbaarheidstoets gedruip deur daardie studies wat wyd in die media herhaal is en daarin geslaag het om die openbare bewussyn te beïnvloed. Byvoorbeeld, die werke wat soekenjins benadeel geheue, en die lees van fiksie ontwikkel die vermoë om empatie te hê. As herhaalde eksperimente misluk, beteken dit nie dat die oorspronklike hipoteses waardeloos is nie. Maar beter navorsing is nou nodig om dit te bewys.

Hoe om die toekoms met statistiek te voorspel

In 2011 het die bekende Amerikaanse sielkundige Daryl Boehm 'n artikel gepubliseer wat die moontlikheid van heldersiendheid bewys het. Hierdie gevolgtrekking was nie 'n produk van sy gewelddadige verbeelding nie, maar was gebaseer op dekades se navorsing, waarby honderde mense betrokke was. Baie het vermoed dat Boehm besluit het om iets soos Sokal se bedrogspul te reël en sielkunde bloot te lê met 'n vals artikel met doelbewus absurde gevolgtrekkings. Maar volgens alle metodologiese standaarde was die artikel baie oortuigend.

In een van Behm se eksperimente is twee skerms voor die deelnemers geplaas – hulle moes raai watter beeld daaragter versteek is. Die prentjie is lukraak gegenereer onmiddellik nadat die keuse gemaak is. As die deelnemers hulle goed van hul taak gekwyt het, sou dit daarop dui dat hulle op een of ander manier die toekoms kan voorsien. Die eksperiment het twee soorte beelde gebruik: neutraal en pornografies.

Boehm het voorgestel dat as die sesde sintuig bestaan, dit waarskynlik 'n antieke evolusionêre oorsprong het. Indien wel, dan is dit meer waarskynlik dat dit ingestel is op ons oudste behoeftes en drange

Deelnemers het 53% van die tyd pornografiese beelde geraai - effens meer gereeld as wat hulle moes as dit pure toeval was. Gegewe die groot aantal eksperimente, kan Boehm beweer dat versiendheid bestaan.

Later het kenners ontdek dat hy nie heeltemal korrekte metodes gebruik het toe hy die resultate ontleed het nie. As 'n reël word 'n navorsingsresultaat as betroubaar beskou as die waarskynlikheid dat dit per ongeluk verkry is nie 5% oorskry nie. Maar daar is baie maniere om hierdie waarde tot die vereiste vlak te verminder: verander die aanvanklike parameters van die analise, voeg die vereiste aantal voorbeelde by of verwyder die steekproef, gebruik meer suksesvolle hipoteses nadat die data ingesamel is.

Die probleem is dat nie net Boehm nie, maar ook baie ander wetenskaplikes dieselfde tegnieke gebruik het. Volgens 'n 2011-opname het byna die helfte van sielkundiges dit erken

Toe die heldersiende artikel uitkom, het sosiale wetenskaplikes Joseph Simmons, Leaf Nelson en Uri Simonson besef dat die wetenskap op sy eie ondergang afstuur. Hulle het verskeie rekenaarmodelle gebou en gevind dat met behulp van redelik standaard statistiese tegnieke, jy die vlak van vals-positiewe resultate verskeie kere kan verhoog. Dit beteken dat metodes wat formeel wetenskaplik is, maklik tot heeltemal absurde gevolgtrekkings kan lei.

Om dit te illustreer, het wetenskaplikes 'n eksperiment uitgevoer wat bevestig het dat luister na die liedjie "When I'm Sixty-four" die luisteraar 'n jaar en 'n half jonger maak.

“Almal het geweet dit is verkeerd om sulke tegnieke te gebruik, maar hulle het gedink dit is 'n oortreding in sy betekenis – soos om die pad op die verkeerde plek oor te steek. Dit het geblyk meer soos 'n bankroof te wees,” het Simmons afgesluit.

Hoe om slegte navorsing van goeie te onderskei

Dit het gou duidelik geword dat reproduceerbaarheidskwessies nie tot sielkunde beperk was nie. In kankernavorsing word wetenskaplike bewyse in 10-25% van gevalle ondersteun. In ekonomie kon 7 uit 18 laboratoriumeksperimente nie repliseer nie. Navorsing oor kunsmatige intelligensie toon ook tekens van krisis.

Maar om geloof in die wetenskap te verloor, blyk dit, is steeds nie die moeite werd nie. Wetenskaplikes het reeds met verskeie maniere vorendag gekom wat die betroubaarheid en kwaliteit van nuwe navorsing aansienlik verbeter het

Etlike jare gelede het byna niemand die resultate van herhaalde eksperimente gepubliseer nie, selfs al is dit uitgevoer. Dit is nie aanvaar nie, het nie toelaes gebring nie en het nie tot 'n suksesvolle wetenskaplike loopbaan bygedra nie. Volgens 'n Nature-opname het meer as 70% van sielkundiges probeer en misluk om ander mense se navorsing weer te gee, ongeveer die helfte kon nie hul eie herhaal nie, en byna niemand het probeer om hierdie resultate bekend te maak nie.

Toe die krisis van reproduceerbaarheid na vore gekom het, het baie verander. Herhaalde navorsing het geleidelik alledaags geword; eksperimentele data het al hoe meer in die publieke domein gepubliseer; joernale het negatiewe resultate begin publiseer en die algehele plan van navorsing aanteken nog voordat hulle begin het.

Navorsing het meer omvangryk geword - 'n steekproef van 30–40 mense, wat redelik standaard in sielkunde was, pas nou baie min mense. Groot internasionale organisasies – soos die Psychological Science Accelerator – toets dieselfde hipoteses in verskeie laboratoriums regoor die wêreld.

Voordat ons die artikels van Nature and Science, waaroor ons aan die begin geskryf het, nagegaan het, is wetenskaplikes gevra om weddenskappe op die sweep te plaas. Hulle moes voorspel watter navorsing die toets sou slaag en watter sou misluk. Oor die algemeen was die tariewe baie akkuraat. “Dit beteken eerstens dat die wetenskaplike gemeenskap kan voorspel watter werke herhaal sal kan word, en tweedens dat die onmoontlikheid om die studie te herhaal nie bloot toeval was nie,” sê die organiseerders van die eksperiment.

Wetenskaplikes is oor die algemeen goed om betroubaar van onbetroubare navorsing te onderskei - dit is goeie nuus. Nou probeer kundiges van die Sentrum vir Openbare Wetenskap, saam met die DARPA-agentskap, 'n algoritme skep wat dieselfde taak sonder menslike ingryping sal verrig.

Daar word elke jaar te veel artikels gepubliseer om selfs 'n klein fraksie daarvan met die hand te kontroleer. As kunsmatige intelligensie tot sake kom, sal alles baie makliker wees.

Reeds in die eerste toetse het die KI voorspellings in 80% van die gevalle suksesvol hanteer.

Wat maak navorsing meestal onbetroubaar? Klein steekproewe, teenstrydighede in getalle, te mooi bevestiging van hipoteses. En ook - die begeerte na sensasies en te eenvoudige antwoorde op moeilike vrae.

Te goed om waar te wees

Die maklikste manier om sensasionele navorsing te skep, is deur misleiding. Die bekende sosiale sielkundige Diederik Stapel het gefabriseerde data in etlike dosyn wetenskaplike artikels gebruik. Stapel se navorsing het met groot spoed deur koerante en tydskrifte versprei, hy het verskeie gesogte wetenskaplike toekennings ontvang, is in Science gepubliseer en is beskou as een van die grootste spesialiste in sy veld.

Eenkeer het dit geblyk dat Stapel vir 'n lang tyd glad nie navorsing gedoen het nie, maar bloot data uitgevind het en dit aan studente gegee het vir ontleding.

Dit is baie skaars in die wetenskap. Baie meer dikwels luidrugtig, maar verkeerde stellings ontstaan om ander redes. Mense soek desperaat na eenvoudige, verstaanbare en effektiewe antwoorde op opwindende vrae. Dit kan baie maklik wees om in die versoeking te kom om te dink dat jy hierdie antwoorde het, selfs al het jy dit regtig nie. Die strewe na eenvoud en sekerheid is een van die hoofredes waarom baie studies nie daarin slaag om vir reproduceerbaarheid te toets nie. Hier is 'n paar noemenswaardige voorbeelde.

Marshmallow eksperiment

In’n eksperiment is kinders gevra om te kies tussen een klein beloning – soos malvalekkers – wat dadelik ontvang kan word, en’n dubbele beloning as hulle’n bietjie kan wag. Dit het later geblyk dat kinders wat die tweede toekenning ontvang het in volwassenheid meer suksesvol geword het. Die studie het baie gewild geraak en sommige skoolkurrikulums beïnvloed.

In 2018 is die eksperiment op 'n wyer monster herhaal. Dit het geblyk dat rykdom in die gesin 'n baie belangriker faktor is, waarvan die vlak van selfbeheersing ook afhang.

"Poses van krag" en "posisies van swakheid"

Die deelnemers aan die eksperiment het een van twee houdings vir twee minute ingeneem: hulle het teruggeleun in 'n stoel en hul bene op die tafel gegooi ("sterkteposisie") of hul arms oor hul bors gekruis ("swakheidshouding"). Gevolglik het die deelnemers van die eerste groep meer selfvertroue gevoel en meer dikwels ingestem om risiko's in dobbelary te neem. Diegene wat in 'n sterk posisie gesit het, het hul testosteroonvlakke verhoog, en diegene wat in 'n swak posisie gesit het, het kortisol verhoog. In herhaalde eksperimente is slegs een effek gereproduseer: "sterkte posture" het die deelnemers gehelp om meer selfvertroue te voel, maar het nie hul gedrag of hormonale parameters verander nie.

Assosiasies met ouderdom laat jou stadiger beweeg

Deelnemers aan die eksperiment is gevra om verskeie raaisels op te los. As daar woorde daarin gevoeg is wat met ouderdom geassosieer word – “vergeet”, “bejaard”, “eensaam” – dan het die deelnemers die vertrek teen 'n stadiger pas verlaat.

In onlangse proewe is die eksperiment slegs in een geval suksesvol gereproduseer: as die eksperimenteerders self geweet het dat die deelnemers in die toetse op ouderdom te kenne gee. Die effek self het gebly, maar die redes was reeds anders.

Warm voorwerpe maak mense vriendeliker

Deelnemers aan die eksperiment is toegelaat om 'n koppie warm of koue koffie vir 'n kort tydjie vas te hou, en dan gevra om die persoon se persoonlikheid te beoordeel deur 'n kort beskrywing te gebruik. Deelnemers wat 'n warm koppie koffie vasgehou het, het die persoon as meer aangenaam beoordeel. In 'n ander eksperiment is deelnemers 'n item in 'n warm of koue pakkie gegee en dan gevra om dit te hou of aan 'n vriend te gee. As die item in 'n warm pakkie toegedraai was, was deelnemers meer geneig om die tweede opsie te kies. Herhaalde eksperimente met 'n wyer monster het nie sulke resultate opgelewer nie. Dit lyk of warm klere jou nie 'n altruïs sal maak nie.

Wilskrag is uitgeput wanneer ons versoekings weerstaan

Voor die deelnemers aan die eksperiment is twee borde geplaas - met koekies en radyse. In die eerste groep is die deelnemers toegelaat om koekies te eet, en in die tweede, net radyse. Daarna is elke deelnemer gevra om 'n onmoontlike legkaart op te los. Deelnemers wat in die eerste deel van die eksperiment net radyse geëet het, het baie vroeër as ander opgegee. In herhaalde eksperimente is die resultate nie bevestig nie.

In sommige gevalle het die vermoë tot selfbeheersing nie uitgeput nie, maar selfs mettertyd verskerp. Baie sielkundiges beskou die konsep van "wilskrag" nou te simplisties.

Baie is reeds in die wêreldsielkunde gedoen om navorsing meer betroubaar en reproduceerbaar te maak. In Rusland moet hierdie probleem nog begryp word.

"In Russiese sielkunde is die probleme van die krisis hoofsaaklik gemoeid met wetenskaplike jeug, wat grootliks op Westerse wetenskap gerig is," het Ivan Ivanchey, medeprofessor by RANEPA, aan die Knife gesê. - Beheer oor die kwaliteit van publikasies in Russies is oor die algemeen nie baie hoog nie. Die tydskrifte verwerp selde artikels, so baie lae-gehalte navorsing word gepubliseer. Klein monsters word dikwels gebruik, wat ook die waarskynlikheid van suksesvolle voortplanting verminder. Daar bestaan 'n vermoede dat, as 'n mens die kwessie van reproduceerbaarheid van Russiestalige werke ernstig aanpak, baie probleme ontdek kan word. Maar niemand is direk hierby betrokke nie.”

In Januarie 2019 het dit bekend geword dat die Russiese regering die vereistes vir wetenskaplikes in terme van die aantal publikasies aansienlik gaan uitbrei: die minimum aantal artikels wat per jaar gepubliseer word, behoort met 30-50% te groei.

Wetenskaplikes van die invloedryke akademikus "1 Julie-klub" het die inisiatief gekritiseer: "Die taak van die wetenskap is nie om die maksimum aantal publikasies te produseer nie, maar om die heelal te verken en voordeel te trek uit die kennis wat vir die mensdom opgedoen is." Heel waarskynlik sal die nuwe vereistes net die omvang van die probleem vergroot.

Die verhaal oor die krisis van reproduceerbaarheid is nie 'n verhaal oor die komende apokalips en die inval van die barbare nie. As die krisis nie plaasgevind het nie, sou alles veel erger gewees het: ons sou steeds na foutiewe navorsing verwys in volle vertroue dat ons die waarheid ken. Miskien is die tyd van vet opskrifte soos "Britse wetenskaplikes het bewys" besig om tot 'n einde te kom. Maar gerugte dat die wetenskap dood is, moet as ietwat oordrewe beskou word.