Nooit van de h-index of h-factor gehoord? Dan ben je geen wetenschapper. Voor onderzoekers anno 2012 is de h-index een niet meer weg te denken begrip. Zelden is een meetlat zo snel ingeburgerd als de index die natuurkundige Jorge Hirsch in 2005 introduceerde. Zijn h-index is gebaseerd op citatie-analyse. Dat wil zeggen: het aantal keren dat een wetenschappelijke publicatie wordt aangehaald . Een wetenschapper met een h-factor van tien heeft tien publicaties op zijn naam staan die elk minstens tien keer zijn geciteerd. De index vertaalt impact (het aantal citaties) en omvang (het aantal artikelen) van het werk van een wetenschapper in een eenvoudig getal. Een simpel, maar briljant idee, zo bleek.
Hoe hoger, hoe beter
Zeven jaar na dato is de h-index een factor van belang geworden. Het gewicht van onderzoekers wordt gemeten aan hun h-score. Geen wetenschappelijk cv kan meer zonder. Veelzeggend is misschien wel het volgende. Speciaal voor dit verhaal heeft de redactie een lijst samengesteld van Wageningse wetenschappers met de hoogste h-factor. Naar de tientallen betrokken onderzoekers is een mail gestuurd om de gegevens te controleren. Binnen vijf minuten stroomden de eerste reacties binnen. In minder dan een etmaal had vrijwel iedereen gereageerd. Vanuit Wageningen, Hanoi, Zuid-Afrika of waar dan ook. Om de cijfers bij te stellen, de index toe te lichten of te becommentariëren of gewoon uit nieuwsgierigheid naar de positie op de ranglijst. De h-index, kortom, die doet ertoe. En hoe hoger, hoe beter. Het beste wat Wageningen UR in huis heeft is Willem de Vos (h=77). Hij voert de top 20 aan, met een neuslengte voorsprong op Daan Kromhout. Is Willem de Vos dus de beste Wageningse wetenschapper? ‘Zo kun je het uitleggen. Ik doe het niet slecht’, reageert hij bescheiden. Maar De Vos is de eerste om er forse kanttekeningen bij te plaatsen. ‘Het is maar een getalletje. Er zijn allerlei manieren om er naar te kijk. Die h-factor is vooral erg in trek bij de bureaucraten. Het zegt iets over citaties, maar het is niet de belangrijkste factor om het belang van een wetenschapper aan af te meten. Het gaat natuurlijk om de inhoud van je publicaties.’ De Vos heeft wel een paar verklaringen voor zijn hoge score. Leeftijd speelt een belangrijke rol. De h-index kan uit de aard van het concept alleen maar toenemen. Eens geciteerd, altijd geciteerd. ‘Ik ben zelf jong begonnen, had mijn eerste publicatie als eerste auteur toen ik 25 was en werd hoogleraar op mijn 32ste. Dat helpt. Ik heb bovendien in een aantal nieuwe vakgebieden gewerkt. Dat scheelt ook. Je bent een pionier en dus worden je artikelen veel aangehaald. En je doet het niet alleen hé, dat moet je ook meenemen. Ik heb een grote groep mensen waar ik mee werk.’ Om te corrigeren voor leeftijd wordt volgens De Vos vaak gekeken naar de h-factor gedeeld door het aantal jaren na promotie. ‘Dat moet dan ruim twee zijn, als je een beetje goed bent. Bij mij is dat bijna drie.’ Just Vlak (h=46) wijst op een andere methode, de zogeheten Eigen-factor. Dat is de h-index gedeeld door het aantal jaren dat iemand actief is. ‘De h-index is een goed maat voor performance, maar niet zaligmakend. Je kunt ook kijken naar hoe recent de top tien van iemands best geciteerde publicaties is. Dat geeft een beter beeld van hoe actueel de wetenschappelijke bijdrage nog is. Wetenschappers met een hoge h-waarde, maar vooral veel citaties uit de 80-er en 90-er jaren, werken kennelijk niet meer aan de leading edge.’
Inconsistenties
Vrijwel iedere benaderde ‘topper’ wijst op de beperkingen van de h-index. Daan Kromhout (h= 76) wijst op het meelift-effect: auteurs die wel de credits krijgen, maar nauwelijks hebben bijgedragen aan een artikel. Dat speelt volgens Kromhout vooral bij artikelen over grote epidemiologische onderzoeken, grote genetische onderzoeken en meta-analyses. ‘Een groot aantal onderzoekers krijgt zo een indrukwekkend aantal citaties en een hoge h-index zonder een belangrijke intellectuele bijdrage te leveren aan die artikelen.’ En dan is er nog de onbetrouwbaarheid van het systeem. ‘Helaas is een van mijn best geciteerde artikelen niet opgenomen’, reageert Willem Norde (h=53). ‘Om de een of andere reden mist Web of Science de eerste twee jaargangen van Colloids and Surfaces B: Biointerfaces.’ Dat kost Norde een vol punt. Anderen hebben soortgelijke ervaringen Een uitgesproken tegenstander van het gebruik van de h-index is het Centrum voor Wetenschap en Technologie Studies (CWTS) van de Universiteit Leiden. Het centrum is gespecialiseerd in bibliometrisch onderzoek en deed onlangs een bericht de deur uit waarin gewaarschuwd wordt voor de gevaren van de index. Volgens scientometrist Ludo Waltman (h=9) leidt het concept van de h-index tot ‘rare resultaten’. ‘Wij noemen dat de inconsistentie van de h-index. Als twee onderzoekers die afzonderlijk een h-index van 9 en 10 hebben, samen een artikel schrijven, kan het dat hun h-index omdraait. Dus die van 9 stijgt naar 11 en die van 10 blijft op 10. De volgorde draait om, terwijl ze samen een artikel publiceren.’ De vraag is natuurlijk of die inconsistenties vaak voorkomen. ‘Dat is moeilijk te beantwoorden. Maar daar gaat het ons ook niet om. Punt is dat er inconsistenties zíjn.’ Volgens Waltman benadeelt de h-index bovendien onderzoekers die heel selectief zijn in hun publicatiestrategie. ‘De h-index is een combinatie van kwaliteit en kwantiteit. Maar mensen die heel erg op kwantiteit focussen, zijn in het voordeel. Wie echt iets bijzonders wil leveren, publiceert weinig en is dus in het nadeel. De h-index focust teveel op kwantiteit.’ Naast die theoretische bezwaren heeft het CWTS ook bedenkingen bij het praktische gebruik van de h-index. Het is volgens Waltman moeilijk in beeld te krijgen hoe de h-index in het beleid van universiteiten en instellingen wordt toegepast. ‘Daar maken we ons zorgen over. Bij vacatures voor hoogleraarposities wordt steeds meer naar de h-index van kandidaten gekeken. Dat is op zichzelf niet slecht, maar de h-index vat alles samen in een getal, terwijl de onderliggende complexiteit van iemands wetenschappelijke betekenis weinig aandacht krijgt. Er wordt veel te mechanistisch naar die h-index gekeken.’
Appels en peren
Rector Martin Kropf (h=31) bestrijdt dat beeld met klem. ‘Als ik een hoogleraar aanstel, wil ik weten hoe hoog zijn of haar h-index is. Dat klopt. Maar daar hoort dan wel een verhaal bij. We verwachten dat iemand serieus publiceert en geciteerd wordt. Maar er wordt bijvoorbeeld ook naar de publicaties zelf gekeken, in welke tijdschriften dat gebeurt.’ Het maakt daarnaast volgens Kropff nogal uit om wat voor soort aanstelling het gaat. ‘Bij een persoonlijk hoogleraar draait het puur om de wetenschap. Maar een leerstoelhouder moet veel meer kunnen. Hij moet een groep kunnen leiden, moet een goede docent zijn, moet anderen kunnen inspireren en tot grotere hoogten brengen. Iemand met een hoge h-index heeft veel impact. Maar dat zegt niet alles. In Wageningen is daarnaast het multidisciplinair werken, het werken in teams belangrijk. Dát is onze kracht. Het gaat bij ons bovendien niet alleen om de wetenschap zelf, maar ook om de impact van onze wetenschap. En soms is het beter om juist jonge mensen aan te stellen en die hebben per definitie lagere h-factor. Een hoge h-index wint het dus niet bij voorbaat.’ ‘De h-index is belangrijk, maar het is maar een van de middelen die we gebruiken en zeker niet allesbepalend’, beaamt talent scout Henrieke de Ruiter (h=..). ‘Je moet er echt heel voorzichtig mee omgaan.’ Volgens De Ruiter moet je het getal vooral spiegelen aan het vakgebied. Anders vergelijk je appels met peren. ‘Je moet weten wat voor h-index de top heeft in dat gebied. In het ene gebied behoor je met een h-index van 30 tot de top 5, terwijl je in een ander gebied met een h-index van 40 niet eens in de top 20 komt.’ Kropff wijst daarnaast op het grote verschil in publicatiecultuur tussen vakgebieden. ‘In de sociale wetenschappen is er van oudsher een cultuur om boeken te schrijven in plaats van artikelen. En die worden in de berekening van de h-factor niet meegenomen. In ons tenure-tracksysteem doen we dat overigens wel. Daar krijg je ook punten voor het schrijven van boeken. Mijn eigen best geciteerde publicatie ooit is een boek en die komt dus niet voor in de citatielijsten. Daarnaast werken in het ene vakgebied veel meer mensen dan in het andere. Dat levert dus meer publicaties en meer citaties op. In de moleculaire biologie bijvoorbeeld wordt heel veel gepubliceerd.’
HCP-index
Kritiek op de h-index is er al zolang (beter: zo kort) het concept bestaat. De literatuur kent tientallen varianten die op de een of andere manier tegemoetkomen aan de veronderstelde gebreken. Ook Waltman waagt zich aan een poging met zijn vinding: de HCP-index. HCP staat voor highest cited publications. ‘Dat betekent dat je alleen kijkt naar het aantal artikelen met een bepaalde ondergrens aan citaties. Die ondergrens kun je bijvoorbeeld leggen bij de bovenste 20 procent van de meest geciteerde artikelen in een vakgebied. Daarin zit het hetzelfde idee als van de h-index: een artikel telt alleen mee als het boven een bepaalde grens uit komt. Maar de HCP heeft niet de inconsistenties van de h-index. De bevoordeling van kwantiteit boven kwaliteit verdwijnt en je kunt vakgebieden onderling beter met elkaar vergelijken.’ Maar Waltman maakt zich weinig illusies dat zijn vinding de h-index van zjin voetstuk gaat stoten. Het ding is simpelweg te populair. Het is vechten tegen de bierkaai. ‘Ik zie hier net weer een vacature voorbij komen voor een wetenschappelijke positie, waarbij gevraagd wordt ook de h-index te vermelden.’
Welke h?
Dé h-index bestaat niet. Het ligt er maar net aan welke database je gebruikt: Web of Science (van ISI), Scopus (Elsevier) of Google Scholar (Google). Web of Science kijkt terug tot begin vorige eeuw, terwijl Scopus pas begint te tellen in tijdschriften vanaf 1996. Beide diensten gebruiken bovendien hun eigen selectie uit de naar schatting 6000 wetenschappelijke tijdschriften die er zijn. Dat levert aanmerkelijke verschillen op. Zeker voor wetenschappers die al voor 1996 actief waren. Een voorbeeld: runner-up Daan Kromhout heeft bij WoS een h-index van 76, maar bij Scopus moet hij het met een score van 60 doen. Dat is liefst 16 punten minder. Google Scholar is een paar maanden in de lucht en moet zich nog bewijzen. De zoekdienst neemt ook rapporten, wetenschappelijke boeken, proefschriften, etc. mee. Dat leidt tot aanzienlijk hogere h-indices. Google Scholar is daarnaast als enige van de drie publiek toegankelijk.