C2W presenteert een top veertig van Nederlandse moleculaire wetenschappers, gebaseerd op een nieuwe maatstaf die zowel de kwaliteit als de kwantiteit van wetenschappelijk werk weergeeft: de h-index.

In de wetenschapswereld zijn diverse indicatoren in omloop om inzicht in de kwaliteit van een wetenschapper te vangen in getallen. Elke indicator weegt productie en impact op een eigen manier. Zo is kijken naar het totaal aantal publicaties alleen slechts een schaal voor productiviteit. Dan geven citaties eerder het belang van het werk van een wetenschapper weer. Het totaal hiervan lijkt ook een betere maatstaf. De verschillende auteurs moeten dan wel een gelijkwaardige bijdrage hebben geleverd. Zo weet een van Nederlands meest gerenommeerde biochemici Piet Borst, proefdierpatholoog van een beroemd instituut, die als auteur op elke publicatie staat. Het essentiële maar routinematige werk dat de man levert, maakt hem de meest geciteerde werknemer van het instituut. Zonder twijfel is hij belangrijk, maar de originele ideeën of briljante oplossingen komen wellicht niet van zijn hand.

Kunstmatig verhogen

Er zijn allerlei gemiddelden en weegfactoren in omloop. Zo bestaat er, naast de gemiddelde citatie per publicatie, de impactfactor: het gemiddelde aantal citaties per geplaatst artikel. Nature en Science hebben een hogere impactfactor dan bijvoorbeeld een recentelijk opgezet tijdschrift. Sommige wetenschapsbladen proberen echter kunstmatig hun impactfactor te verhogen door veelvuldig overzichtsartikelen te plaatsen. Die krijgen vaak veel citaties en verhogen zo de impactfactor van het blad waarin ze verschijnen.

In de top tien van tijdschriften op basis van impactfactoren staan dan ook zeven tijdschriften die alleen overzichtsartikelen plaatsen (zie tabel). Ook voor wetenschappers zelf zijn reviews een prachtige citatiebron, zonder dat er sprake is van daadwerkelijk nieuwe resultaten of inzichten. Zo meldt Borst: “Als iemand erg ijverig is en schrijftalent heeft, kan hij extra citaties scoren met het schrijven van overzichtsartikelen. Mijn citatiescore zal denk ik ook flink kelderen als de overzichtsartikelen hiervan worden afgetrokken.”

Simpele balans

Ondanks dat menig wetenschapper moe wordt van ‘alle lijstje die rondzwerven’, zoals winnares van de Spinozapremie in 2000 Ewine van Dishoeck het stelt, is er wel de behoefte vanuit de maatschappij om te weten of belastinggeld goed besteed wordt. Hoogleraar Jorge Hirsch van de universiteit van San Diego publiceerde eind vorig jaar een relatief eenvoudige manier om zo’n inzicht in het totale werk en de impact van een onderzoeker te krijgen, de h-index. Deze simpele citation impact integer balanceert de kwantiteit en de kwaliteit op gelijke fout. De Amerikaanse natuurkundige definieert de h-index als volgt:

‘Een wetenschapper heeft index h als h van zijn N artikelen minstens h citaties hebben en de overige (N-h) artikelen elk minder dan h citaties hebben.’

Een h-index van vijftig vertelt ons dat een onderzoeker minimaal vijftig artikelen schreef die elk minstens vijftig keer geciteerd zijn. Dit verkregen enkele getal heeft minder last van de hierboven genoemde nadelen. “Omdat het zowel de breedte als de impact evalueert, is het minder krankzinnig dan de originele citatiescore”, laat de veel geciteerde chemicus Ad Bax uit Washington weten. “Maar als iemand nooit geciteerd wordt ligt hij in zijn vakgebied misschien wel ver voor, of begrijpen zijn collega’s hem niet.”

Erg aantrekkelijk aan de door Hirsch voorgestelde h-index is het gemak waarmee hij te bepalen is. Toegang tot Web of Science van Thomson Scientific is voldoende. Op deze website kun je, na zoeken op auteur, vervolgens sorteren op het aantal citaties en met enig scrollen een goede schatting van de h-index van een onderzoeker maken.

Correctiefactoren

De definitie van de h-index maakt dat de leeftijd een grote rol speelt. Een artikel moet immers de tijd hebben om geciteerd te worden. “Het is bij dit soort lijstjes net als kanker, de score neemt toe met de leeftijd. Mensen die vroeg beginnen en niet van ophouden weten, zoals ik, drijven automatisch naar boven”, aldus Borst. “Hier zou je ook een correctiefactor voor moeten invoeren.” Jammer genoeg gaan met weeg- en correctiefactoren nou juist een van de mooiste punten, de eenvoud van de h-index verloren. In zijn artikel in PNAS stelt Hirsch dat “Wetenschappers met dezelfde h-index qua gehele wetenschappelijke impact vergelijkbaar zijn. Bij vergelijken van wetenschappers van dezelfde wetenschappelijke leeftijd zal degene met de hogere h-index de meer gevierde onderzoeker zijn.”

De natuurkundige waarschuwt voor grote verschillen in h-index per onderzoeksveld. “Citaties zijn in sommige vakgebieden nu eenmaal veel gewoner dan in andere.” Borst geeft aan dat “iemand werkzaam in een veld waarin slechts dertig mensen werkzaam zijn, niet makkelijk aan zestig citaties zal komen.” Zo heeft de hoogst scorende natuurkundige, Edward Witten, een h-index van 110, terwijl de neurowetenschapper Solomon Snyder op 193 uitkomt. Zulke grote verschillen suggereren de noodzaak tot een wegingsfactor per vakgebied, iets waar Braziliaanse onderzoekers al een voorstel voor hebben gedaan. Volgens Borst is dat misschien niet genoeg. “Zelfs binnen eenzelfde vakgebied is het veld waarin je werkt van grote invloed. Zo scoor je met aids hoger dan met de biochemie van de erwt.”

Toegankelijkheid

Negatievere signalen komen uit Leiden van de pen van hoogleraar Ton van Raan, directeur van het Centrum voor Wetenschap en Technologie Studies. Hij vindt in een artikel waarin de h-index met bibliometrische indicatoren wordt vergeleken “het onverstandig om de beoordeling van wetenschappers in één enkele maat te forceren. Het is noodzakelijk om de verschillende aspecten van onderzoeksverrichtingen van wetenschappers te verlichten in een consistente set indicatoren.”

Van Raan, hét aanspreekpunt op het gebied van citatieanalyses, hanteert zeer uitgebreide indicatoren die onder meer rekening houden met impactfactoren, zelfcitaties en citatiegemiddelden. Deze getallen worden gebruikt als hulpmiddel bij de beoordeling van onderzoeksgroepen. Maar in tegenstelling tot de h-index is de gebruikte methode moeilijk toegankelijk en voor alledaagse wetenschappers zijn die indicatoren moeilijk zelf op te zoeken.

Lijstaanvoerder

Van een aantal Nederlandse en in Nederland werkzame onderzoekers in het gebied van chemie en life sciences heeft het C2W de h-index bepaald. Koploper van de lijst, Ad Bax, laat weten dat hij eigenlijk helemaal niet op de lijst thuishoort, aangezien de tot Amerikaan genaturaliseerde zijn Nederlandse paspoort heeft laten verlopen. Toch vindt Bax het “als oud-wielrenner wel prettig vooraan in het peloton te zitten. Nummer één zijn is natuurlijk fantastisch! Wel doet vergelijken van je H-index me denken aan toen ik acht jaar was en is het alleen leuk als de ander zich er druk over maakt. Zo kunnen mijn collega’s ruziën over wat het wel of niet betekent, terwijl ik lekker aan het werk ben. Maar eigenlijk is zo’n lijst alleen zinvol als statistiek en niet om de kwaliteit van iemands wetenschappelijk werk te evalueren.”

Over zijn zilveren positie laat Borst weten: “De willekeur op dit soort lijstjes maakt het altijd lastig. Ik ben toch meer bioloog dan chemicus, ondanks dat ik altijd met plezier gewerkt heb in de werkgemeenschap nucleïnezuren van het gebied chemische wetenschappen.” De credits geeft Borst bij het uitsluiten van een telfout en naast de al eerder genoemde overzichtsartikelen vooral aan de goede promovendi en postdocs die hij onder zich heeft gehad. “En zelf heb ik ook nog wel eens een aardig idee en iets op eigen kracht ontdekt.”

Een misschien wel pijnlijke constatering is het kleine aantal vrouwen op deze lijst. Volgens astrochemicus Ewine van Dishoeck zijn er twee verklaringen voor te geven. “Enerzijds is er natuurlijk een achterstand van vrouwen op de vaste posities en daardoor een tijdsvertraging naar het verschijnen van deze vrouwen op dergelijk lijsten. Daarnaast is het zo dat veel bestuurs- en beleidsfuncties erg veel tijd kosten en dus tijd wegnemen van wetenschappelijk onderzoek. Aangezien veel commissies toch graag in ieder geval één vrouw in de gelederen zien, hebben de meeste vrouwen één of meer van dit soort tijdrovende functies. Vrouwen kunnen wel minstens net zo goed scoren als mannen op dit soort lijsten en naarmate er meer vrouwen langer werkzaam zijn in de wetenschap zal dit ook wel gebeuren”, aldus de Leidse hoogleraar.

Complexe realiteit

Decaan van de bètafaculteit en hoogleraar organische chemie Gerard van Koten is naar eigen zeggen “niet zo’n lijstjesman, alhoewel het best aardig is als je er dan toch op staat. Maar er zijn verschillende lijsten met elk hun eigen aanpak. Wel kun je stellen dat in al die lijstjes veelal dezelfde spelers voorkomen op vergelijkbare posities. Het is natuurlijk wel aangenaam dat ik zelf al lange tijd op een leuke plek sta, maar ik realiseer me dat dit gezien mijn leeftijd wel snel zal veranderen. Dat is maar goed ook, want anders zou dit betekenen dat de jongeren niet goed bezig zijn. Laten we in ieder geval hopen dat de in Nederland toch al spaarzame prijzen niet aan de hand van dit soort lijsten worden uitgekeerd. Ook voor het toekennen van subsidies moet men kijken naar de uitdagendheid van het voorstel en de kwaliteit van voorgaande onderzoeken.”

Volgens Chris Peels, directeur van de QANU, de organisatie verantwoordelijk voor de externe beoordeling van universiteiten, hoeft Van Koten daar niet angstig voor te zijn. “De h-index is erg aantrekkelijk in zijn eenvoud. Als zodanig mogen we de h-index dan ook beschouwen als een plezierige aanwinst in de gereedschapskist van de kwaliteitszorg. Maar we kunnen de rest van de instrumenten nu niet weggooien. Dat zou zijn alsof we beslissen om alle meubelen voortaan met een hamer te produceren. We moeten dan ook niet proberen om met de h-index een kwaliteitsoordeel in elkaar te timmeren”, aldus Peels. “Wij hopen dat de h-index alleen zal worden gezien als een leuk, simpel en zeer beperkt hulpmiddeltje in de complexe realiteit van kwaliteitsmetingen.”

Top tien tijdschriften op impactfactor 2004.

Disclaimer:

Ondanks aanzienlijke inspanning kan niet verwacht worden dat deze lijst volledig en foutloos is. Zo is het niet uit te sluiten dat we iemand zijn vergeten. Tevens is het ondoenlijk om zeker te zijn van de compleetheid van de artikelen en citaties van de mensen die wel in de lijst zijn opgenomen. De hierbij gepubliceerde h-indexen zijn in de maanden januari en februari 2006 bepaald en kunnen het best als schatting worden gezien. De tabel is niet geschikt om wetenschapsbeleid op te baseren. (Copyright C2W)

Referentie

Hirsch, J.E. (2005). An index to quantify an individual’s research output. PNAS 46 (102), 16569-16572.

Toegankelijk via http://arxiv.org/PS_cache/physics/pdf/0508/0508025.pdf