Microbioloog Erwin Zoetendal hoeft niet te piekeren of de maatschappij zijn werk wel opmerkt. Sinds hij hielp bewijzen dat transplantatie van de darmflora – poep dus – hardnekkige darminfecties geneest, krijgt hij regelmatig mails van patiënten, scholieren en nieuwsgierigen. En die grote maatschappelijke belangstelling valt met cijfers te onderbouwen: 41 krantenartikelen, 31 blogposts, 1086 tweets en 87 facebookposts haalden zijn studie inmiddels aan. Meer dan enige andere Wageningse publicatie van de afgelopen jaren.
Bijhouden hoe wetenschappelijke publicaties het doen in de (sociale) media is een nieuwe methode om te beoordelen of een publicatie impact heeft. Momenteel wordt er volop geëxperimenteerd met zulke alternatieve beoordelingssystemen, beter bekend als alternative metrics, of altmetrics. Voorvechters zien daarin een aanvulling op verbetering van de huidige impactmetingen.
Al decennia worden onderzoekers afgerekend op het aantal keren dat hun werk wordt aangehaald door collega’s (citaties) en wat de impact factor – het gemiddeld aantal citaties per artikel – is van de tijdschriften waarin ze publiceren. Deze, en hier van afgeleide, cijfers bepalen sterk wie beurzen en banen binnenslepen en zo carrière maken in de academische wereld. Maar traditionele meetmethodes hebben zo hun tekortkomingen. Die werden nog eens op een rijtje gezet in een manifest voor altmetrics dat vier onderzoekers publiceerden in 2010. Zo vertelt de impact factor nauwelijks iets over de kwaliteit van individuele artikelen maar wordt deze hier toch voor gebruikt. Verder is het aantal citaties dat iemand krijgt volgens de criticasters eenvoudig te manipuleren. Zo’n citatie vertelt bovendien niets over de waardering voor het aangehaalde werk. ‘Lees de onzin in deze paper’ is net zo goed een citatie als ‘bekijk deze belangrijke bijdrage’.
Voordelen
Altmetrics zouden allerlei voordelen hebben ten opzichte van dat systeem. Zo zie je sneller of een artikel invloedrijk zal worden en wordt impact breder ingevuld dan alleen het oordeel van collega-wetenschappers. Dat wil echter niet zeggen dat altmetrics geen eigenaardigheden hebben. Ook media-impact is immers te manipuleren. Methodes die nu gebruikt worden om commerciële berichten in de sociale media te pushen, kunnen op deze manier straks een rol gaan spelen in de wetenschap. De nadruk op media-aandacht zorgt bovendien dat medialogica – met zijn aandacht voor opvallende en vreemde vindingen – een rol gaat spelen bij het beoordelen van wetenschappelijke impact. Het is hierbij illustratief dat in de Altmetric-top twintig van 2014 naast artikelen over ebola en stamcellen ook aandacht is voor tijdreizigers op het internet, piemels bij vrouwtjesinsecten en alcoholmisbruik door James Bond.
Altmetrics staan dan ook nog maar aan het begin van hun ontwikkeling, zegt Wouter Gerritsma, informatiespecialist bij de WUR-bibliotheek. Er wordt van alles uitgeprobeerd zonder dat duidelijk is wat goede maatstaven zijn. Bedrijven als Altmetric en Plum analytics zijn nieuwkomers die het aantal vermeldingen bijhouden in (sociale) media en op academische platforms. Maar ook de vertrouwde wetenschappelijke titels experimenteren naast hun conventionele citatiescores al met gedetailleerde statistieken, bijvoorbeeld over het aantal keren dat een artikel is bekeken of gedownload. En Gerritsma ziet dit slechts als het begin. Volgens hem kun je nog veel specifiekere informatie genereren. Zoals bijhouden hoe vaak artikelen worden aangehaald rond een wetgevingsproces. Zo kan bijvoorbeeld de invloed van Alterra-rapporten beter worden becijferd.
Donut
Hoewel er sprake is van een wereldwijde beweging, zijn altmetrics nog tamelijk onbekend onder wetenschappers. De microbioloog Zoetendal vindt het bijvoorbeeld leuk te horen dat zijn artikel hoog scoort, maar heeft zijn statistieken nooit zelf bekeken. Toch zijn er ook in Wageningen onderzoekers die een scherp oog hebben voor hun score op de altmetrics-lijsten. Colin Khoury, promovendus bij het Centre for Crop Systems Analysis, ontdekte altmetrics toen hij een artikel publiceerde in PNAS. Dit blad werkt samen met het bedrijf Altmetric dat voor elk wetenschappelijk artikel – net als voor Zoetendal – aandacht in allerlei media en op platforms bijhoudt. Op de site van PNAS staat naast elk artikel een ‘donut’ met daarin de impactscore. Deze drukt de publieke aandacht uit in één getal. Hierbij heeft niet elke vermelding hetzelfde gewicht: Science telt zwaarder dan twitter.
Khoury is erg enthousiast over de nieuwe meetlat. ‘Het is een ideaal middel’, mailt hij vanuit Colombia waar hij zijn promotie uitvoert. ‘Ik en de andere auteurs hebben de methode gebruikt om onze sociale media-impact aan te tonen in bijvoorbeeld onderzoeksvoorstellen.’ In de applicatie van Altmetric ziet hij niet alleen één totaalscore maar ook welke media hem exact aanhalen. Bovendien komt hij meer te weten over zijn lezers, zoals hun herkomst, beroepsachtergrond en hun plek in de academische pikorde. Overigens valt er voor de meeste onderzoekers niet zoveel te grasduinen als Khoury. Zijn artikel ging de hele wereld over en kreeg ontzettend veel aandacht. De bijbehorende altmetricscore is dan ook een hoogvlieger, zelfs voor PNAS. Ook bij andere groepen dan de wetenschappers zelf begint de belangstelling langzaam op te komen. ‘Je ziet dat universiteiten er nu van beginnen te horen’, zegt Gerritsma. Zo gaf hij zelf onlangs een presentatie aan de secretarissen van de Wageningse onderzoeksscholen. Daar wordt nagedacht of altmetrics in de toekomst kunnen helpen om maatschappelijke relevantie zo eerlijk mogelijk te meten.
Kinderziektes
Gerritsma wil kinderziektes in het nieuwe systeem niet wegwuiven maar hij denkt dat verdere ontwikkeling van altmetrics veel gaat verhelpen. ‘Deze ontwikkeling heeft gewoon tijd nodig. We gaan de komende jaren zien wat werkt en wat niet.’ Ondertussen gaan de altmetrics door met hun langzame opmars in Wageningen. De bibliotheek hoopt dat binnenkort op de website gebruiksvriendelijk zichtbaar is hoe vaak Wageningse artikelen bekeken en gelezen worden. En ook Zoetendal lijkt voorzichtig warm te worden. ‘Misschien moet ik mijn scores toch maar eens gaan bekijken.’
Illustratie: Yvonne Kroese
Ben je onderzoeker en benieuwd hoe altmetrics uitpakt voor jouw artikelen?
Kijk dan op resource-online.nl onder ‘altmetrics’. Hier vind je ook een ranglijst met de populairste Wageningse artikelen van de afgelopen jaren en nuttige links.