NWO komt met een potje om studies met veel impact te herhalen. C2W vraagt zich af of iemand die handschoen oppakt. Zijn replicatiestudies wel prestigieus genoeg?

De komende drie jaar trekt NWO in totaal € 3 miljoen uit voor replicatiestudies. Het gaat om een pilot die zich richt op sociaal en gezondheidsonderzoek (onder dat laatste vallen ook de ZonMw-projecten) dat grote impact heeft gehad. Maar zelfs als je er geld voor krijgt, geldt andermans data repliceren niet als een echte verrijking van je cv. Dus wie gaat het werk doen?

Voortborduren

Koen Binnemans, gewoon hoogleraar anorganische chemie aan de KU Leuven, betwijfelt of je hierin overheidsgeld moet steken. Volgens hem corrigeert het chemische veld zichzelf, in ieder geval voor de high impact papers. ‘Bij belangrijke ontdekkingen, denk bijvoorbeeld aan grafeen, springt iedereen erbovenop om een graantje mee te pikken. Als het gepubliceerde niet blijkt te kloppen, dan komt dat snel boven water.’

Aan enkel replicatieonderzoek doen, kun je in zijn ogen inderdaad geen eer behalen: ‘Verifiëren zit hem in het verder willen bouwen op een onderwerp en niet in het onder de loep nemen van elk detail van een studie om te kijken of alles wel klopt.’

‘Echt repliceren is extreem moeilijk’

Patricia Dankers, universitair hoofddocent aan de TU/e op het gebied van biomaterialen, haakt hierop in door zich af te vragen of iemand het door NWO-beoogde replicatiewerk wel zal oppakken. ‘Als je enkel herhaalt wat een collega al eens heeft gedaan, kun je dat niet publiceren. Wel herhalen we vaak syntheses om daarop verder te kunnen voortborduren.’ Op deze manier komen eventuele ‘fouten’ dus vanzelf bovendrijven, zonder dat iemand er gericht naar zoekt.

In sommige situaties kan het initiatief wellicht wel een verschil maken, aldus Dankers. Bijvoorbeeld bij haar eigen onderzoek naar de toepassing van synthetische bloedvaten bij patiënten met vaatproblemen. ‘Zulke studies moet je toch al vele malen herhalen. Maar zelfs dan maak je bij iedere herhaling weer kleine of grotere, zeer relevante aanpassingen. Is bijvoorbeeld in een voorgaande studie al eens gekeken naar een korte implantatietijd, dan verleng je die tijd in een nieuwe studie. De eerder bestudeerde korte tijd neem je dan vanzelf mee. Eigenlijk voeg je altijd iets toe aan een studie en doe je daarmee toch weer nieuw onderzoek.’

Mythe

Volgens Frank Miedema, decaan bij het UMC Utrecht en initiatiefnemer van Science in Transition, speelt de mythe dat de wetenschap een zelfreinigend systeem is ons hier parten. Origina­liteit wordt beloond, replicatie niet. ‘Bovendien is écht repliceren extreem moeilijk.’ De immunoloog noemt de aanpak die Binnemans en Dankers beschrijven dan ook ‘slechts toetsen op een indirecte manier’. Niet dat hij ze daarop aankijkt: ‘Onderzoekers borduren vanwege de nieuwheidseis logischerwijs voort op bestaande studies, want in het huidige systeem belonen wij mensen niet voor replicatiestudies en evenmin voor negatieve studies.’

Miedema hoopt dat de pilotstudie van NWO daar verandering in brengt. ‘Replicatie­studies moeten positief gewaardeerd worden in de evaluatie van onderzoek en onderzoekers. Ook subsidiegevers realiseren zich dat onderzoek van matige kwaliteit collega’s op een dwaalspoor zet.’ Maar wie pakt de handschoen op zolang we nog in die transitie zitten? Miedema: ‘Wij als decanen, samen met de financiers, moeten gewoon gaan beginnen dat te waarderen.’

Additioneel leesvoer:

What does research reproducibility mean? van de hand van Steven Goodman,

dossier van Nature over challenges in irreproducible research,

en onderzoek van Lee Ellis naar de reproduceerbaarheid van kankeronderzoek.