Ongeveer 50% van wetenskaplike eksperimente het geblyk NIE-reproduceerbaar te wees nie

2024 Outeur: Seth Attwood | [email protected]. Laas verander: 2023-12-16 15:56

Ek het toevallig in 'n stroom nuus en inligting op 'n artikel in Nature Scientific Reports afgekom. Dit bied data van 'n opname van 1 500 wetenskaplikes oor die reproduceerbaarheid van wetenskaplike navorsingsresultate. As hierdie probleem vroeër vir biologiese en mediese navorsing geopper is, waar dit aan die een kant verklaarbaar is (vals korrelasies, die algemene kompleksiteit van die sisteme wat bestudeer word, soms word selfs wetenskaplike sagteware beskuldig), aan die ander kant, het dit 'n fenomenologiese karakter (byvoorbeeld, muise is geneig om anders op te tree met wetenskaplikes verskillende geslagte (1 en 2)).

Alles is egter nie glad en met nie meernatuurwetenskappe soos fisika en ingenieurswese, chemie, ekologie. Dit wil voorkom asof hierdie einste dissiplines gebaseer is op "absoluut" reproduceerbare eksperimente wat onder die mees gekontroleerde toestande uitgevoer is, helaas, 'n wonderlike - in elke sin van die woord - die resultaat van die opname: tot 70%navorsers in die gesig gestaar Nie-reproduceerbaareksperimente en resultate verkry nie net deur ander groepe wetenskaplikes nie, MAAR en deur die outeurs / mede-outeurs van gepubliseerde wetenskaplike werke!

Loof elke strandloper sy moeras?

Alhoewel 52% van die respondente op 'n krisis van reproduceerbaarheid in die wetenskap dui, beskou minder as 31% die gepubliseerde data as fundamenteel verkeerd en die meerderheid het aangedui dat hulle steeds die gepubliseerde werk vertrou.

Natuurlik moet jy nie die skouer afkap en alle wetenskap as sodanig net op grond van hierdie opname lynch nie: die helfte van die respondente was steeds wetenskaplikes wat op een of ander manier met biologiese dissiplines geassosieer word. Soos die skrywers opmerk, in fisika en chemie, is die vlak van reproduseerbaarheid en vertroue in die resultate wat verkry is baie hoër (sien grafiek hieronder), maar steeds nie 100%. Maar in medisyne is dinge baie sleg in vergelyking met die res.

'n Grappie kom by my op:

Marcus Munafo, 'n biologiese sielkundige aan die Universiteit van Bristol, Engeland, het 'n jarelange belangstelling in die reproduceerbaarheid van wetenskaplike data. Met die herinnering aan die dae van sy studentedae sê hy:

Ek het een keer probeer om 'n eksperiment uit literatuur te reproduseer wat vir my eenvoudig gelyk het, maar ek kon dit net nie doen nie. Ek het 'n vertroueskrisis gehad, maar toe besef ek dat my ervaring nie so skaars was nie.

Breedte- en lengtegraad diepte probleem

Stel jou voor dat jy 'n wetenskaplike is. Jy kom op 'n interessante artikel teë, maar die resultate / eksperimente kan nie in die laboratorium weergegee word nie. Dit is logies om hieroor aan die skrywers van die oorspronklike artikel te skryf, raad te vra en ophelderende vrae te vra. Volgens die opname, minder as 20%het dit al ooit in hul wetenskaplike loopbaan gedoen!

Die skrywers van die studie merk op dat sulke kontakte en gesprekke miskien te moeilik is vir die wetenskaplikes self, omdat dit hul onbevoegdheid en teenstrydigheid in sekere kwessies openbaar of te veel besonderhede van die huidige projek openbaar.

Boonop het 'n absolute minderheid wetenskaplikes gepoog om 'n weerlegging van onreproduceerbare resultate te publiseer, terwyl hulle teenstand gekry het van redakteurs en resensente wat geëisvergelyking met oorspronklike navorsing verminder. Is dit enige wonder dat die kans om die nie-reproduceerbaarheid van wetenskaplike resultate te rapporteer ongeveer 50% is.

Miskien is dit dan die moeite werd om ten minste 'n reproduceerbaarheidstoets binne die laboratorium uit te voer? Die hartseerste is dat 'n derde van die respondente selfs NOOIT NIEen het nie daaraan gedink om metodes te skep om data vir reproduceerbaarheid te verifieer nie. Slegs 40%aangedui dat hulle gereeld sulke tegnieke gebruik.

Nog 'n voorbeeld, 'n biochemikus van die Verenigde Koninkryk, wat nie haar naam wou bekend maak nie, sê dat pogings om werk vir haar laboratoriumprojek te herhaal, weer te gee, eenvoudig die tyd- en materiaalkoste verdubbel, sonder om iets nuuts by die werk te gee of by te voeg. Bykomende kontrole word slegs uitgevoer vir innoverende projekte en ongewone resultate.

En natuurlik die ewige Russiese vrae wat buitelandse kollegas begin martel het: wie is die skuld en wat om te doen?

Wie is skuldig?

Die skrywers van die werk het drie hoofprobleme van reproduceerbaarheid van resultate geïdentifiseer:

• Druk van meerderes om die werk betyds gepubliseer te kry
• Selektiewe verslagdoening (dit beteken blykbaar die onderdrukking van sommige data, wat die hele prentjie "bederf")
• Onvoldoende data-analise (insluitend statisties)

Wat om te doen?

Uit 1 500 wat ondervra is, het meer as 1 000 spesialiste ten gunste van die verbetering van statistieke in die insameling en verwerking van data, die verbetering van die kwaliteit van toesig van base en strenger beplanning van eksperimente gepraat.

Gevolgtrekking en 'n bietjie persoonlike ervaring

Eerstens, selfs vir my, as 'n wetenskaplike, is die resultate verstommend, hoewel ek gewoond is aan 'n sekere mate van onreproduceerbaarheid van die resultate. Dit is veral duidelik in die werke wat deur die Chinese en Indiërs uitgevoer word sonder derdeparty-"oudit" in die vorm van Amerikaanse / Europese professore. Dit is goed dat die probleem erken is en oor die oplossing(s daarvan) gedink is. Ek sal taktvol swyg oor Russiese wetenskap, in verband met die onlangse skandaal, hoewel baie eerlik hul werk doen.

Tweedens, ignoreer die artikel (of eerder, oorweeg nie) die rol van wetenskaplike metrieke en eweknie-geëvalueerde wetenskaplike joernale in die ontstaan en ontwikkeling van die probleem van onreproduceerbaarheid van navorsingsresultate. In die strewe na die spoed en frekwensie van publikasies (lees, toename in aanhalingsindekse), daal die kwaliteit skerp en is daar nie tyd vir bykomende verifikasie van die resultate nie.

Soos hulle sê, alle karakters is fiktief, maar gebaseer op werklike gebeure. Op een of ander manier het een student 'n kans gehad om 'n artikel te hersien, want nie elke professor het die tyd en energie om die artikels nadenkend te lees nie, dus word die mening van 2-3-4 studente en dokters versamel, waaruit die resensie gevorm word. 'n Oorsig is geskryf, dit het die onreproduceerbaarheid van die resultate volgens die metode beskryf in die artikel aangedui. Dit is duidelik aan die professor gedemonstreer. Maar om nie verhoudings met “kollegas” te bederf nie – hulle slaag immers in alles – is die resensie “reggestel”. En daar is 2 of 3 sulke artikels gepubliseer.

Dit blyk 'n bose kringloop. Die wetenskaplike stuur die artikel aan die redakteur van die tydskrif, waar hy aandui " verlang"En hoofsaaklik," ongewenste »Beoordelaars, dit wil sê, om eintlik net diegene oor te laat wat 'n positiewe gesindheid teenoor die span skrywers is. Hulle hersien die werk, maar hulle kan nie “kak in die kommentaar” en probeer om die minste van twee euwels te kies nie - hier is 'n lys vrae wat beantwoord moet word, en dan sal ons die artikel publiseer.

Nog 'n voorbeeld, waaroor die redakteur van Nature net 'n maand gelede gepraat het, is Grazel se sonpanele. Weens die geweldige belangstelling in hierdie onderwerp in die wetenskaplike gemeenskap (hulle wil immers nog 'n artikel in Nature hê!), moes die redaksie 'n spesiale vraelys skep waarin hulle baie parameters moet aandui, toerustingkalibrasies, sertifikate moet verskaf., ens. om te bevestig dat die metode vir die meting van doeltreffendheidpanele aan sommige algemene beginsels en standaarde voldoen.

EN, derde, wanneer jy weer hoor van 'n wonder-entstof wat alles en almal oorwin, 'n nuwe storie oor Jobs in 'n romp, nuwe batterye of die gevare/voordele van GMO's of die bestraling van slimfone, veral as dit deur geel skrywers uit die joernalistiek bevorder is, behandel dan met begrip en moenie tot gevolgtrekkings kom nie. Wag vir die bevestiging van die resultate deur ander groepe wetenskaplikes, die akkumulasie van die skikking en datamonsters.

PS:Die artikel is inderhaas vertaal en geskryf, oor al die foute en onakkuraathede wat opgemerk is, skryf asseblief in die LAN.