Foto credit: Jvleis
Voordat je een wetenschappelijk artikel publiceert, wordt het eerst beoordeeld door twee á drie anonieme vakbroeders. Deze peer review moet werken als een filter tegen ondermaats werk, en zorgt dat papers die net te kort schieten – al dan niet opbouwend – commentaar krijgen. Reviewers leveren hierbij meestal goed werk, reageert Krause per mail, ‘maar er zijn ook signalen dat hun werk niet altijd goed genoeg is.’ In vergelijking met andere criticasters drukt hij zich hiermee overigens mild uit over peer review.
In een betoog dat hij onlangs publiceerde in Trends in ecology and evolutionstelt Krause als oplossing voor om ieder blad een review kwaliteitsindex (RQI) te geven. Hij wil dat tijdschriften (enkele) artikelen openbaar maken, plus de bijbehorende commentaren en het oordeel van de reviewers. Wetenschappers kunnen vervolgens met een cijfer of aantal sterren aangeven of er goed werk is geleverd. Het uiteindelijke gemiddelde helpt onderzoekers te kiezen voor bladen met zorgvuldige peer review. Zo moet in minder gevallen, zegt Krause, ‘goede wetenschap worden afgewezen vanwege slechte redenen.’
Online vinden er momenteel al experimenten plaats met het beoordeelen van reviewers. ‘Dit wordt momenteel op vijf plekken wereldwijd gedaan,’ zegt Wouter Gerritsma, informatiespecialist bij de WUR-bibliotheek. Het initiatief dat hijzelf het best kent, is ‘quality of open access market’ (QOAM). Deze website vraagt wetenschappers naar hun ervaringen met specifieke open access-bladen en bekijkt hoe transparant bladen zijn over hun reviewproces. Met deze scores worden bladen ingedeeld in vier kwaliteitscategorieën.
Het is mijn ervaring dat onderzoekers wars zijn van elk extra werk dat op hun pad komt
Wouter Gerritsma
Het welslagen van een initiatief als QOAM staat of valt met de motivatie van hun publiek. De oordelen leunen namelijk geheel op crowdsourcing; het vrijwillig bijdragen van een anonieme massa die samen voor betrouwbare informatie zorgen. Zoals de gebruikers van IMDB en Amazon die respectievelijk films en boeken beoordelen.
Momenteel zitten de reviewbeoordelaars nog in een pioniersstadium waar nog maar weinig bladen een waardering hebben. De crowd van wetenschappers moet flink groeien om QOAM en co kritische massa te geven. Gerritsma is hierover sceptisch: ‘Ik hoop echt dat het lukt, maar het is mijn ervaring dat onderzoekers wars zijn van elk extra werk dat op hun pad komt.’