<b>Bijsluiter</b>. De hyperlink naar het originele document werkt niet meer. Daarom laat Woogle de tekst zien die in dat document stond. Deze tekst kan vreemde foutieve woorden of zinnen bevatten en de opmaak kan verdwenen of veranderd zijn. Dit komt door het zwartlakken van vertrouwelijke informatie of doordat de tekst niet digitaal beschikbaar was en dus ingescand en vervolgens via OCR weer ingelezen is. Voor het originele document, neem contact op met de Woo-contactpersoon van het bestuursorgaan.<br><br>====================================================================== Pagina 1 ======================================================================

<pre>Duiden van kwaliteiten
van wetenschap
</pre>

====================================================================== Einde pagina 1 =================================================================

<br><br>====================================================================== Pagina 2 ======================================================================

<pre>                Tweede Kamer der Staten-Generaal
                T.a.v. mevrouw drs. V.A. Bergkamp
                Voorzitter
                Postbus 20018
                2500 EA Den Haag
                datum:       19 december 2022                                      bijlage:   --
                betreft:     Duiden van de kwaliteiten van wetenschap              e-mail:     t.vanviegen@awti.nl
                kenmerk:     038/22/sk                                             uw kenmerk: Uw brief d.d. 28 juni 2022
                Geachte mevrouw Bergkamp,
                Introductie en aanleiding
                Wetenschap zorgt voor nieuwe kennis, maakt het mogelijk fenomenen in de wereld om ons heen te duiden
                en te verklaren, helpt ons met het vinden van antwoorden op complexe maatschappelijke vraagstukken,
                draagt bij aan het ontwikkelen van aankomend talent en zorgt voor versterking van het innovatie- en
                verdienvermogen van onze economie. Onder wetenschappers, bestuurders van wetenschappelijke
                instellingen, subsidieverstrekkers, beleidsmakers en politici is er veel aandacht voor de kwaliteit en
                waarde van wetenschap en wetenschappers. Met deze brief gaat de AWTI in op het verzoek van de vaste
                commissie voor Onderwijs, Cultuur en Wetenschap om inzichtelijk te maken hoe de kwaliteit van
                wetenschap vastgesteld kan worden.1
                De kwaliteit en waarde van wetenschap zijn van belang voor de betekenis die de wetenschap heeft voor
                de samenleving, voor de kwaliteit van besluitvorming en voor het maatschappelijk vertrouwen. Daarnaast
                is het duiden van de kwaliteit van wetenschap bepalend voor:
                      -    de loopbaan van wetenschappers;
                      -    de verdeling van financiering voor wetenschap;
                      -    de aantrekkelijkheid van Nederlandse wetenschap voor internationale samenwerkingspartners;
                           en
                      -    het overheidsbeleid gericht op wetenschap en innovatie.2
                De vraag rijst hoe de kwaliteit van wetenschap vastgesteld kan worden op een manier die recht doet
                aan de aard van de wetenschap, de verschillende typen wetenschappelijk onderzoek, de verschillende
                typen activiteiten en rollen die wetenschappers vervullen, de beoogde doelen en het gebruik van
                wetenschappelijke activiteiten. In deze brief schetst de Adviesraad voor wetenschap, technologie en
                innovatie (AWTI) de verschillende manieren waarop de kwaliteit van wetenschap vastgesteld kan
                worden, wat daarvan voor- en nadelen zijn en welke nieuwe ontwikkelingen daarin gaande zijn.
                1
                  Bergkamp, V. (2022). Brief aan de voorzitter van de Adviesraad voor wetenschap, technologie en innovatie (AWTI)
                over een adviesvraag over het objectief vaststellen van de kwaliteit van wetenschap, nr. 2022Z12914, 28 juni 2022.
                2
                  Adviesraad voor het Wetenschaps- en Technologiebeleid (2014). Boven het Maaiveld – focus op wetenschappelijke
                zwaartepunten [link].
Bezoekadres:
Adviesraad voor wetenschap, technologie en innovatie                                                                 t. +31 (0) 70 311 0920
Prins Willem-Alexanderhof 20                                                                                        e. secretariaat@awti.nl
2595 BE Den Haag                                                                                                             w. www.awti.nl
</pre>

====================================================================== Einde pagina 2 =================================================================

<br><br>====================================================================== Pagina 3 ======================================================================

<pre>Wetenschap is een mondiale activiteit: een stevige internationale positie doet ertoe
Samenwerking met internationale wetenschappers, maatschappelijke organisaties en bedrijven is van
groot belang. Zo verleggen onderzoekers in internationale samenwerkingen de grenzen van de
wetenschap en verrijken ze de kennisbasis. Bij internationale samenwerking circuleert kennis sneller en
krijgt kennis meer impact door toepassing in hoogwaardige producten, processen en diensten.
Internationale samenwerking is daarnaast van belang om antwoorden te vinden op mondiale
maatschappelijke vraagstukken en om het innovatie- en verdienvermogen van een kenniseconomie zoals
de Nederlandse te versterken.
Een stevige internationale positie van de Nederlandse wetenschap is van belang omdat Nederland een
aantrekkelijke samenwerkingspartner wil zijn voor de internationale wetenschappelijke gemeenschap,
maatschappelijke organisaties en het internationale bedrijfsleven.3,4 Internationale topuniversiteiten,
instituten en bedrijven werken wereldwijd steeds nauwer samen en selecteren daarbij de partners die in
hoge mate gewaardeerd worden door andere wetenschappers. De beschikbaarheid van
wetenschappelijk talent (wetenschappers en studenten) is een belangrijke factor bij de vestiging van R&D-
intensieve en hoogtechnologische bedrijven. Dat talent beweegt zich steeds meer over grenzen heen en
Nederland kan als aantrekkelijke samenwerkingspartner internationaal talent aantrekken en vasthouden.
Ook investeringen in R&D zijn steeds meer grensoverschrijdend. Als aantrekkelijke
samenwerkingspartner kan Nederland R&D-investeringen hierheen halen en op hoog niveau onderzoek
doen dat meer financiering vergt dan nationaal beschikbaar is. Aantrekkelijkheid als
samenwerkingspartner is veelal gebaseerd op reputatie en internationale erkenning van de kwaliteit van
de Nederlandse wetenschap.
Kwaliteit van wetenschap gaat over kwaliteiten van wetenschap
Kwaliteit van wetenschap heeft te maken met waarden die aan bepaalde wetenschappelijke activiteiten
worden toegedicht. Het is dan ook beter te speken van kwaliteiten van wetenschap. Zo doelt de
‘intrinsieke’ waarde van wetenschap op de manier van wetenschapsbeoefening. Wetenschappelijke
kennis wordt op een systematische manier vergaard volgens de principes eerlijkheid, zorgvuldigheid,
transparantie, onafhankelijkheid en verantwoordelijkheid, zoals opgenomen in de Nederlandse
gedragscode wetenschappelijke integriteit.5 De ‘extrinsieke’ waarde van wetenschap gaat over de impact
van wetenschappelijke kennis op wetenschap, onderwijs, samenleving en economie. 6,7,8,9 Deze waarde
heeft te maken met de betekenis die wetenschappelijke activiteiten hebben voor de wetenschap zelf, via
verrijking van de kennisbasis; voor het onderwijs, door goed opgeleide studenten en onderzoekers; en
voor de samenleving en economie, via toepassing van kennis in nieuwe producten, processen, diensten
en oplossingen voor maatschappelijke vraagstukken.
De kwaliteiten van wetenschap verschillen tussen verschillende typen onderzoek en typen profielen van
wetenschappers. Bij fundamenteel wetenschappelijk onderzoek zal de kwaliteit van wetenschap meer
gaan over wetenschappelijke impact, ofwel de bijdrage die de wetenschappelijke resultaten leveren aan
de verrijking van de kennisbasis. Bij toepassingsgericht wetenschappelijk onderzoek zal eerder gekeken
worden naar de bijdrage die de resultaten hebben voor toepassingen in nieuwe producten, processen of
3
   AWTI (2017). WTI-diplomatie – offensief voor internationalisering van wetenschap, technologie en innovatie [link].
4
   Ministerie van Onderwijs, Cultuur en Wetenschap (2019). Nieuwsgierig en Betrokken. De waarde van wetenschap
[link].
5
   KNAW, NFU, NWO, TO2, Vereniging Hogescholen en VSNU (2018). Nederlandse gedragscode wetenschappelijke
integriteit [link].
6
   Ministerie van Financiën (2014). IBO Wetenschappelijk onderzoek [link].
7
   Rathenau Instituut (2020). Balans van de wetenschap 2020. Den Haag (auteurs: Koens, L. et al.) [link].
8
   CPB (2016). Kansrijk wetenschapsbeleid. Den Haag: Centraal Planbureau, p. 51 [link].
9
   KNAW (2018). Maatschappelijke impact in kaart, Amsterdam, KNAW [link].
                                                           2
</pre>

====================================================================== Einde pagina 3 =================================================================

<br><br>====================================================================== Pagina 4 ======================================================================

<pre>diensten. Bij wetenschappers die ook onderwijs geven of veel samenwerken met bedrijfsleven zijn andere
kwaliteiten van belang zoals de bijdrage aan de ontwikkeling van nieuw onderwijsmateriaal en de
kundigheid om aan specifieke vragen van het bedrijfsleven te werken. Welke kwaliteiten van belang zijn,
is dus afhankelijk van het geheel aan activiteiten die wetenschappers uitvoeren en de rollen die zij
vervullen.
Bovendien wordt de weging van de kwaliteiten van wetenschap beïnvloed door ontwikkelingen in de
wetenschap en de samenleving. Een belangrijke drijvende kracht hierin is de ontwikkeling van open
science,10,11 omdat wetenschap bedrijven volgens de principes van open science andere eisen aan
wetenschappers stelt. Het vergt van wetenschappers meer tijd en aandacht voor aanvullende
activiteiten.12 Zo schrijft open science bijvoorbeeld voor dat data verzameld en opgeslagen moet worden
volgens de FAIR principes.13 Dit heeft invloed op de intrinsieke waarde van wetenschap. Andere aspecten
van open science zoals meer participatieve vormen van onderzoek hebben juist effect op de extrinsieke
waarde van wetenschap. Een toenemende focus op maatschappelijke uitdagingen in de financiering van
wetenschap leidt tot meer aandacht voor de maatschappelijke impact van wetenschap. De snelle
verspreiding van informatie en de opkomst van fake news via sociale media onderstrepen het belang van
transparantie, zorgvuldigheid, onafhankelijkheid en eerlijkheid en daarmee van de kwaliteit van de
wetenschapsbeoefening.
Kwantitatieve evaluatie van wetenschap kreeg de overhand
Het evalueren van wetenschap en onderzoek is geen recente ontwikkeling, en stamt uit de tijd waarin
wetenschap werd geïnstitutionaliseerd, zo rond het midden van de 17 e eeuw. Met de opkomst van nieuwe
structuren die wetenschap organiseerden, verspreidde de praktijk van evalueren van wetenschap zich
naar plekken als laboratoria, departementen en universiteiten. 14 Gedurende de 20e eeuw raakte ook de
overheidsfinanciering voor onderzoek steeds meer geïnstitutionaliseerd, bijvoorbeeld met de oprichting
van de stichting voor Fundamenteel Onderzoek der Materie (FOM) in 1946, en de voorloper van de NWO,
de Nederlandse Organisatie voor Zuiver-Wetenschappelijk Onderzoek (ZWO) vier jaar later. Evaluatie
van wetenschap werd vanaf toen ook ingezet voor de selectie van onderzoeksvoorstellen en de
toekenning van onderzoeksfinanciering.
Gedurende een lange tijd was evaluatie van wetenschap gebaseerd op peer review. Peer review heeft
als belangrijk voordeel dat andere experts in het veld (of in een gerelateerde discipline) een inhoudelijk
oordeel kunnen vellen over de kwaliteit van een wetenschappelijk artikel, onderzoeksvoorstel,
beursaanvraag of loopbaan. Ook in de huidige wetenschapsbeoordeling speelt peer review een
belangrijke rol, maar peer review kent ook een aantal nadelen. Peer reviewers hebben moeite om risicovol
en interdisciplinair onderzoek op waarde te schatten, waardoor dit soort onderzoek vooral bij de
beoordeling van beursaanvragen benadeeld wordt.15 Peer reviewers zijn het vaak met elkaar oneens, wat
laat zien dat peer reviews subjectief zijn.16 Peer reviewers blijken gevoelig voor de namen van
prestigieuze wetenschappers en instellingen17 en zij oordelen positiever over publicaties van mensenwaar
10
   De mondiale beweging om wetenschappelijke kennis meer toegankelijk, vrijelijk beschikbaar, toegankelijk en
herbruikbaar te maken door middel van een meer open en inclusieve manier van het uitvoeren, publiceren en
evalueren van wetenschappelijk onderzoek.
11
   UNESCO (2021). UNESCO Recommendation on Open Science [link].
12
   Rathenau Instituut (2021). Samen verder met open science – Op weg naar betekenisvolle publieke betrokkenheid
bij onderzoek [link].
13
   FAIR staat voor ‘findable, accessible, interoperable and reusable’ [link].
14
   Gingras, Y. (2014). Bibliometrics and Research Evaluation. Uses and Abuses. MIT Press, p. 56.
15
   Langfeldt, L. (2006). The policy challenges of peer review: managing bias, conflict of interests and interdisciplinary
assessments. Research Evaluation, Volume 15, Issue 1, April 2006, p. 31–41.
16
   Cole, Cole and Simon (1981). Chance and Consensus in Peer Review. Science, Vol 214, Issue 4523 p. 881-886
17
   Langfeldt, L. (2006).
                                                            3
</pre>

====================================================================== Einde pagina 4 =================================================================

<br><br>====================================================================== Pagina 5 ======================================================================

<pre>ze bekend mee zijn.18,19 Peer review is dus gevoelig voor subjectiviteit en vooroordelen. Desondanks
wordt peer review gezien als de gouden standaard voor het beoordelen van kwaliteit bij het publiceren
van artikelen en het toekennen van onderzoeksfinanciering.
In de jaren twintig en dertig van de 20e eeuw deden kwantitatieve, in het bijzonder bibliometrische,
indicatoren hun intrede. Door de enorme groei in het aantal wetenschappelijke artikelen werd het
onmogelijk voor wetenschappers om de resultaten van nieuw onderzoek goed bij te houden.
Bibliometrisch onderzoek nam een vlucht om wetenschappers te helpen ontwikkelingen in hun vakgebied
beter in beeld te krijgen. Naarmate het gebruik van bibliometrisch onderzoek in de jaren zestig toenam,
nam ook het aantal toepassingen toe.20 Managers van instellingen in het hoger onderwijs zagen
bibliometrie bijvoorbeeld als een instrument om de eerder genoemde subjectiviteit van het peer review
systeem te kunnen ondervangen. Hierbij rijst overigens de vraag in hoeverre het een probleem is dat er
subjectiviteit bestaat wanneer peers elkaar beoordelen op haalbaarheid en consistentie. Ook
bibliometrische gegevens zijn namelijk niet neutraal. Ondanks dat werden bibliometrische indicatoren
steeds vaker gebruikt om bij aanvragen voor onderzoeksfinanciering de wetenschappelijke impact van de
indiener te beoordelen. Het gebruik van bibliometrische indicatoren voor de evaluatie van de impact van
wetenschap kent echter een aantal nadelen.
Zo zijn er grote verschillen tussen wetenschapsgebieden en -disciplines waardoor bibliometrische
indicatoren niet vergelijkbaar zijn tussen deze gebieden en disciplines. De omvang van vakgebieden
verschilt en er is sprake van verschillen in publicatie- en citatiegewoonten tussen vakgebieden. In de
geesteswetenschappen wordt bijvoorbeeld vaker een boek gepubliceerd en is Engels niet altijd de
voertaal. Dit is lastig te vergelijken met disciplines waarin korte onderzoeksartikelen de meest gebruikte
output vormen. Het is wel mogelijk om bibliometrische indicatoren te corrigeren voor verschillen tussen
disciplines, maar dit gebeurt niet bij indicatoren als de journal impact factor en de h-index. Ondanks deze
beperking worden vooral deze twee indicatoren veelvuldig gebruikt als kernindicator voor de evaluatie
van de loopbaan en onderzoeksvoorstellen van wetenschappers.21 Daarnaast kennen beide indicatoren
nog een aantal nadelen, waardoor ze ongeschikt zijn voor de evaluatie en vergelijking van de prestaties
van individuele wetenschappers (zie kader).22,23
   Nadelen van de journal impact factor en h-index
   De journal impact factor (JIF) is een index gebaseerd op het aantal citaties van artikelen die in een
   bepaald tijdschrift zijn verschenen.24 De JIF wordt gebruikt omdat het een voorspellende waarde van
   de impact van wetenschappelijke publicaties zou hebben. Artikelen die in een tijdschrift met een hoge
   JIF verschijnen zouden meer citaties opleveren dan artikelen die elders verschijnen. Daarnaast zou bij
   de tijdschriften met een hoge JIF de lat hoger liggen. Een artikel dat in zo’n tijdschrift verschijnt zou
   dan zeker van hoge kwaliteit zijn. De JIF heeft een hogere waarde voor disciplines waarin veel wordt
18
   Teplitskiy, M. et al. (2018). The sociology of scientific validity: How professional networks shape judgement in peer
review. Research Policy, Volume 47, Issue 9, November 2018, p. 1825-1841.
19
   Waarbij kennen gedefinieerd is op basis van nabijheid in een co-auteurschapsnetwerk.
20
   Gingras, Y. (2014). Bibliometrics and Research Evaluation. Uses and Abuses. MIT Press, p. 56.
21
   Leydesdorff, L. et al. (2016). Professional and citizen bibliometrics: complementarities and ambivalences in the
development and use of indicators – a state-of-the-art report. Scientometrics, Volume 109, October 2016, p. 2129-
2150.
22
   Zie voor een overzicht van de discussie over de journal impact factor Larivière, V en C.R. Sugimoto (2019). The
Journal Impact Factor: A brief history, critique, and discussion of adverse effects. in: Glänzel, W. et al. (Eds.):
Handbook of science and technology indicators. Springer. 2019; 3–24;
23
   Zie bijvoorbeeld voor een overzicht van de discussie over de h-index Bornmann, L. en H.-D. Daniel (2009). The
state of h index research. Is the h index the ideal way to measure research performance? EMBO reports, 10(1), 2-6.
doi:10.1038/embor.2008.233.
24
   De journal impact factor van een wetenschappelijk tijdschrift is een index die duidt op het jaarlijks gemiddelde
aantal citaties van artikelen die in de voorgaande twee jaar in het tijdschrift zijn verschenen.
                                                               4
</pre>

====================================================================== Einde pagina 5 =================================================================

<br><br>====================================================================== Pagina 6 ======================================================================

<pre>   geciteerd en waarin vooral recente artikelen worden geciteerd. Ook wordt de JIF beïnvloed door review
   papers die vaker geciteerd worden dan onderzoeksartikelen. 25 Daarnaast is het onduidelijk hoe
   tijdschriften hun JIF berekenen, omdat tijdschriften niet transparant zijn over hun berekeningen.
   Bovendien veranderen wetenschappers hun gedrag omdat ze worden beoordeeld op de JIF, waardoor
   ze gestuurd worden om in een tijdschrift met hoge impact factor te publiceren. Zo kiezen ze
   bijvoorbeeld onderwerpen waarvan ze denken dat die makkelijker te publiceren zijn in dat soort
   tijdschriften. Tenslotte heeft de JIF betrekking op de reputatie van een tijdschrift en is deze niet
   ontworpen om de kwaliteit van een individuele wetenschapper te beoordelen, terwijl deze daar vaak
   wel voor wordt gebruikt.
   De h-index26 meet de wetenschappelijke impact van iemands publicaties gedurende zijn of haar
   loopbaan. Ook de h-index heeft gebreken, omdat deze gevoelig is voor leeftijd en ervaring, waardoor
   jonge wetenschappers altijd een lagere h-index hebben dan oudere onderzoekers. Er is dan ook geen
   eerlijke vergelijking mogelijk tussen wetenschappers in verschillende stadia van hun carrière.
   Daarnaast is het met de h-index onmogelijk om vergelijkingen te maken tussen verschillende
   wetenschappelijke disciplines (soms geeft de h-index zelfs tussen wetenschappelijke velden binnen
   een discipline een vertekend beeld), omdat citatie-gewoontes tussen wetenschappelijke disciplines
   verschillen.27,28
   Citatie-gebaseerde indicatoren kunnen ook gemanipuleerd worden door wetenschappers die een
   editorrol of reviewerrol vervullen. Als een wetenschapper systematisch aangeeft dat zijn artikelen
   geciteerd moeten worden, vervuilt dat de indicatoren die gebaseerd zijn op citaties.
Een ander probleem met de focus op eenzijdig gebruik van bibliometrische indicatoren in de beoordeling
van wetenschappers is dat andere kwaliteiten van wetenschappers onvoldoende in beeld komen. Zo
wordt er bijvoorbeeld geen rekening gehouden met bijdragen die wetenschappers doen aan beleid, omdat
hier geen bruikbare indicatoren voor zijn29, terwijl die bijdrage aan beleid ook impact is van wetenschap.
De wetenschapper die meer tijd besteedt aan andere activiteiten zoals onderwijs of kennisdeling met
beleidsmakers en mogelijk minder aan het publiceren van wetenschappelijke artikelen, zal door eenzijdig
gebruik van bibliometrische indicatoren per definitie benadeeld worden.
Ranglijsten zijn populair, maar zeggen weinig
Kwantitatieve indicatoren, waaronder bibliometrische indicatoren, worden steeds meer als meetlat
gebruikt om universiteiten en ook wetenschappers met elkaar te vergelijken en op volgorde van hun
scores in ranglijsten op te nemen. Die ranglijsten van universiteiten (vaak rankings genoemd) tonen in
een oogopslag wie of wat het hoogste scoort en worden daarom veel gebruikt. Studenten en hun ouders
gebruiken ze om te bepalen waar te gaan studeren en wetenschappers gebruiken ze om hun loopbaan
25
    Een belangrijk argument van tegenstanders van het gebruik van de journal impact factor in de beoordeling van
beursaanvragen en loopbanen is de scheve distributie van citaties: een klein aantal artikelen heeft een heel hoog
aantal citaties, waaronder vaak review artikelen. Echter, Waltman en Traag (2021) hebben met computersimulaties
laten zien dat dit statistische argument niet altijd stand houdt. De JIF is in bepaalde specifieke situaties een betere
voorspeller van wetenschappelijke impact dan het aantal citaties van een individueel artikel. Zo hebben recent
gepubliceerde artikelen vaak nog maar weinig citaties. Waltman en Traag stellen dat de JIF dus niet om statistische
redenen als slechte maat moet worden afgeschilderd. Desalniettemin, geven de auteurs aan dat het gebruik van de
JIF in wetenschapsevaluatie onwenselijk is omdat de indicator gevoelig is voor manipulatie en er problemen zijn met
transparantie en calculatie van de indicatorwaarden. Waltman, L. en V.A. Traag (2021). Use of the journal impact
factor for assessing individual articles: Statistically flawed or not? F1000 Research,
https://doi.org/10.12688/f1000research.23418.2.
26
    Een wetenschappelijk onderzoeker heeft index h als h van de in totaal N publicaties ten minste h maal geciteerd
en de andere (N-h) publicaties allen minder dan h maal geciteerd zijn.
27
    Lariviere, V. en C.R. Sugimoto (2019) p. 34.
28
    Rijcke, de, S. et al. (2021). Halt the h-index, Blogpost op www.leidenmadtrics.nl, 19 mei 2021 [link].
29
    Benedictus, R. et al. (2016). ‘Fewer numbers, better science’. Nature, volume 538, p. 453–455.
                                                               5
</pre>

====================================================================== Einde pagina 6 =================================================================

<br><br>====================================================================== Pagina 7 ======================================================================

<pre>vorm te geven. Ze worden echter ook gebruikt voor de ontwikkeling van strategie en beleid en voor het
nemen van investeringsbeslissingen door bedrijven, overheden en universiteiten zelf. 30
Het gebruik van ranglijsten is echter problematisch, want deze negeren de complexiteit van de
werkelijkheid. Wetenschappelijke instellingen voeren verschillende activiteiten in verschillende
wetenschapsgebieden en in verschillende omgevingen uit. Door alles langs één en dezelfde meetlat te
leggen, worden appels met peren vergeleken. Ranglijsten van universiteiten gebruiken om landen met
elkaar te vergelijken is ook problematisch, want landen verschillen in het aantal universiteiten, in de
specialisatie in wetenschapsgebieden en disciplines, en in type universiteiten (meer onderwijs/meer
onderzoek, algemeen/technisch, etc.). Deze verschillen worden veronachtzaamd in een enkele index of
indicator. Bovendien is de manier waarop veel van deze ranglijsten tot stand komen ondoorzichtig. De
onderliggende data zijn beïnvloedbaar door degenen die de data aanleveren. Verder zegt een
verandering in de positie op ranglijsten niets over de verandering in de prestaties van instellingen en ook
landen. De positie wordt namelijk sterk beïnvloed door veranderingen in aantallen deelnemende
instellingen en in de methodologie.
Groeiende behoefte aan anders evalueren van de kwaliteiten van wetenschap
Sinds het begin van deze eeuw ontstaat er steeds meer onvrede met de sterke focus op de kwantitatieve
beoordeling van de kwaliteit van wetenschap en de eenzijdige aandacht voor de resultaten van
onderzoek: publicaties en citaties. Tegelijkertijd komt er meer aandacht voor de impact die
wetenschappelijke resultaten, wetenschappers en kennisinstellingen hebben op onderwijs, beleid,
maatschappelijke vraagstukken en het innovatie- en verdienvermogen.
Deze ontwikkelingen vormen de aanleiding voor VSNU (nu UNL), NFU, KNAW, NWO en ZonMw om in
2019 ‘Ruimte voor ieders talent’ te publiceren.31 De organisaties breken een lans voor een nieuwe manier
van ‘erkennen en waarderen’ in de wetenschap, waarbij een aantal kerndomeinen onderscheiden worden:
onderwijs, onderzoek, impact, leiderschap en (voor umc’s) patiëntenzorg. Allereerst, zou ‘het nieuwe
erkennen en waarderen’ ruimte moeten bieden aan loopbaandiversificatie. Het zou dan ook mogelijk
moeten zijn om een mix van kerndomeinen te kiezen waardoor het profiel van wetenschappers
diversifieert. Ten tweede, zou er meer aandacht moeten komen voor bijdragen die individuele
wetenschappers leveren aan gezamenlijk werk, waarmee het zwaartepunt van individu naar het team
verschuift. Zodoende komt er meer waardering voor team science. Ten derde is het voornemen de focus
op kwantitatieve gegevens, zoals de eerder genoemde bibliometrische gegevens, te verschuiven naar
‘kwaliteit’. Kwantitatieve gegevens kunnen wel degelijk informatief zijn over kwaliteit, maar in de publicatie
‘Ruimte voor ieders talent’ wordt bedoeld dat meer aandacht zou moeten worden besteed aan inhoud,
wetenschappelijke integriteit, creativiteit en impact, rekening houdend met de context en het profiel van
de wetenschapper. Ten vierde wordt er ingezet op de waardering van activiteiten die bijdragen aan open
science. Tenslotte, zou academisch leiderschap langs de gehele academische, hiërarchische ladder
gestimuleerd moeten worden.
In navolging van de publicatie ‘Ruimte voor ieders talent’ heeft UNL het universitair functie-
ordeningssysteem (UFO) herijkt en samen met NWO en KNAW het strategie evaluatie protocol (SEP),
waarmee onderzoeksunits worden beoordeeld, herzien.32,33 Zo is in de herijkte UFO het profiel voor Data
Steward opgenomen, die zorgt voor de beschikbaarheid en veiligheid van online opgeslagen data.
30
   Çakır, M.P. et al. (2015). A comparative analysis of global and national university ranking systems. Scientometrics,
vol. 103(3), p. 813-848.
31
   VSNU, NFU, KNAW, NWO en ZonMw (2019). Ruimte voor ieders talent [link].
32
   UNL (2021). Eerste aanpassingen Erkennen & Waarderen in functieprofielen wetenschappers [link].
33
   VSNU, KNAW, NWO (2020). Strategy Evaluation Protocol 2021-2027 [link].
                                                            6
</pre>

====================================================================== Einde pagina 7 =================================================================

<br><br>====================================================================== Pagina 8 ======================================================================

<pre>Daarnaast is er in de aangepaste profielen voor Universitair Docent, Universitair Hoofddocent en
Hoogleraar meer aandacht voor onderwijs, impact, open science en leiderschap. Het herziene SEP van
2021-202734 let nadrukkelijk op de kwaliteit van het onderzoek, de maatschappelijke relevantie van het
onderzoek en de toekomstbestendigheid van de onderzoeksunits. De units worden daarnaast beoordeeld
op de specifieke aspecten: open science, academische cultuur, HR-beleid en promotiebeleid. Voor het
SEP schrijft de onderzoeksunit een narratief argument ondersteund met kwantitatieve indicatoren die de
onderzoeksunit zelf mag kiezen. Echter, er wordt afgeraden om de journal impact factor of de h-index te
gebruiken.
Wetenschapsfinanciers NWO en ZonMw hebben de principes van het nieuwe erkennen en waarderen
geïmplementeerd in hun beoordelingssystematiek voor het selecteren van onderzoeksvoorstellen. Deze
financiers hanteren een bredere definitie van impact, waarbij ook open science en team science worden
meegenomen. In toenemende mate maken NWO en ZonMw gebruik van een narratief of evidence-based
cv, dat bestaat uit:
      -    een academisch profiel, waarin onderzoekers uiteenzetten wat voor wetenschapper zij zijn: wat
           is de onderzoeksfocus, ‐ agenda en ‐ visie van de onderzoeker? Wat hebben zij gedaan om die
           visie te verwezenlijken?; en
      -    een selectie van de meest relevante ‘output’ (dit is breder dan alleen publicaties en omvat
           bijvoorbeeld ook scripts en datasets).
Onderzoekers kunnen de kwaliteit van hun ‘output’ onderbouwen aan de hand van meerdere indicatoren,
zowel kwantitatief als kwalitatief, zolang deze ieder betrekking hebben op slechts één output item. De
journal impact factor, h-index of andere indicatoren en omschrijvingen die verwijzen naar een tijdschrift,
uitgever, publicatieplatform of optellingen en gemiddelde van citaties zijn daarom niet toegestaan.35 Het
is dus wél toegestaan om te zeggen dat een artikel X verschenen is in tijdschrift Y en dat artikel X, Z
aantal citaties heeft. Echter, het is níet toegestaan om te zeggen dat artikel X is verschenen in het
toonaangevende tijdschrift Y met JIF 42, wat zou suggereren dat artikel X op basis van de citatiescore
van het tijdschrift, een buitengewoon goed artikel is. De indicatoren en beschrijvingen moeten dus direct
betrekking hebben op de specifieke output. NWO werkt aan een format voor het evidence-based cv dat
zowel indieners als beoordelaars meer structuur biedt en meer duidelijkheid geeft over welke typen
onderbouwing wel en niet toegestaan zijn. Daarmee verbetert de vergelijkbaarheid tussen de aanvragen
en wordt het beoordelingsproces meer gestroomlijnd.
Breder erkennen en waarderen van de verschillende aspecten van het werk van wetenschappers wordt
door veel wetenschappers omarmd, maar er is onvrede over de veranderingen in het meten van
wetenschappelijke impact. Vanuit het programma ‘erkennen en waarderen’ hebben de ondertekenaars
aangekondigd de journal impact factor en de h-index niet meer te gebruiken in de beoordeling van
beursaanvragen en wetenschappelijke loopbanen. Volgens critici van deze veranderingen wordt te veel
belang gehecht aan peer review, terwijl peer review ook tekortkomingen kent (zie ‘Kwantitatieve evaluatie
van wetenschap kreeg de overhand’). Zonder deze indicatoren zouden peer reviewers, volgens de critici,
onvoldoende in staat zijn de kwaliteit van het wetenschappelijke werk te beoordelen. De journal impact
factor en de h-index zijn echter ongeschikt om individuele wetenschappers of onderzoeksvoorstellen te
beoordelen en te vergelijken. Het voordeel van peer review is dat mede-wetenschappers een inhoudelijk
oordeel kunnen vellen over de kwaliteit van een wetenschappelijk artikel, een onderzoeksvoorstel of een
promotie. Een beschrijvend én onderbouwd cv waarbij de wetenschapper duidelijk maakt wat zijn
wetenschappelijk profiel is, welke wetenschappelijke activiteiten en resultaten waarom van belang zijn,
34
   De herziening ging ook gepaard met een naamsverandering van standaard evaluatie protocol naar strategie
evaluatie protocol.
35
   Zie https://www.nwo.nl/erkennen-en-waarderen; zie ook uitwerking in bijvoorbeeld NWO-Talentprogramma Vidi
2022 Call for proposals [link].
                                                        7
</pre>

====================================================================== Einde pagina 8 =================================================================

<br><br>====================================================================== Pagina 9 ======================================================================

<pre>helpt daarbij. Daarin kan gebruik gemaakt worden van kwantitatieve indicatoren die onderbouwing geven,
maar minder beperkingen kennen.
Daarnaast is het bij kwalitatieve evaluaties door peer reviewers van belang dat zij op basis van hun kennis
en expertise een oordeel kunnen vellen over het werk van wetenschappers in hetzelfde of nauw verwante
vakgebied. Peer reviewers moeten steeds vaker over de grens van hun eigen vakgebied het werk van
andere wetenschappers beoordelen doordat bij financiers en onderzoeksinstellingen wetenschappelijke
domeinen zich verbreden en multidisciplinariteit toeneemt. Hierbij kunnen bibliometrische analyses, o.a.
door machine learning, peer reviewers van dienst zijn mits ze op een verstandige manier ingezet worden
voor de beoordeling van de kwaliteiten van wetenschap. Bibliometrische analyses kunnen duiden wat
belangrijke ontwikkelingen in vakgebieden zijn, hoe wetenschappelijke netwerken in elkaar zitten en wat
de plaats van individuele wetenschappers en instituten daarin is. Door deze inzichten aan te reiken kan
bibliometrie peer review versterken en peer reviewers helpen een zorgvuldige beoordeling te maken.
Gezamenlijke ontwikkeling van pluriform palet van methoden en indicatoren nodig
Het anders evalueren van de kwaliteiten van de wetenschap is vooral een cultuurverandering.
Cultuurveranderingen duren vaak lang en kennen weerstand. Het is van belang stap voor stap
aanpassingen te doen, iedereen in de wetenschap te betrekken en in gesprek te blijven over de vragen,
behoeftes, zorgen en mogelijkheden. Door te experimenteren, de ontwikkelingen nauwgezet te volgen en
de effecten in kaart te brengen is het mogelijk te leren wat wel of niet werkt en aanpassingen te doen.
Daarbij is leidend dat er niet één kwaliteit van wetenschap is. Om de pluriformiteit van kwaliteiten van
wetenschap en wetenschappers te kunnen duiden is een rijk en genuanceerd palet van kwantitatieve en
kwalitatieve methoden en indicatoren nodig. Deze indicatoren moeten passen bij de eigenschappen en
behoeften van verschillende vakgebieden, verschillende kerndomeinen van wetenschap en verschillende
profielen van wetenschappers. Zowel kwalitatieve als kwantitatieve methodes hebben elk hun waarde en
moeten elkaar aanvullen. En hoewel het programma van ‘Erkennen en Waarderen’ zich richt op de
universiteiten hebben ook hogescholen behoefte aan een pluriform palet van methoden en indicatoren.
Ook docenten en onderzoekers aan hogescholen dragen op verschillende manieren bij aan de kwaliteiten
van onderzoek en onderwijs.
Naast de universiteiten, universitaire medische centra (umc’s) en onderzoeksfinanciers die ‘Ruimte voor
ieders talent’ schreven, hebben de Nederlandse Levensbeschouwelijke Universiteiten (NLU) en De Jonge
Akademie een visie gepubliceerd die aansluit bij de visie van het nieuwe erkennen en waarderen. 36,37 Bij
de kennisinstellingen zijn commissies aan het werk gegaan om de voornemens en aanbevelingen van
‘Ruimte voor ieders talent’ te implementeren en af te stemmen op de context van de eigen instelling. Hoe
verschillend de implementatie uiteindelijk zal zijn bij de verschillende instellingen is nog niet te bepalen.
UNL organiseert bijeenkomsten via het landelijk programma ‘Erkennen en Waarderen’ om good practices
uit te wisselen om tot convergentie te komen bij de verschillende instellingen. 38
Het is van belang dat de methodes en indicatoren valide zijn en passen bij de doelen van een
onderzoeksfonds of -programma, of van een profiel en loopbaan van een wetenschapper. Verdere
ontwikkeling van deze methodes en indicatoren voor de kerndomeinen onderwijs, leiderschap,
patiëntenzorg en impact verdient prioriteit. De Nederlandse kennisinstellingen, inclusief hogescholen,
moeten dit gezamenlijk ontwikkelen en hierin van elkaar kunnen leren. Ook binnen een kennisinstelling
hoeft niet iedere faculteit of unit het wiel opnieuw uit te vinden als de dialoog hierover goed georkestreerd
wordt. Gezamenlijk optrekken voorkomt ook te grote verschillen in de manieren van erkennen en
36
   NLU (2020). Visie van de NLU commissie ‘Erkennen en Waarderen’ op de universiteit waar medewerkers het goed
kunnen doen en het goed hebben [link].
37
   De Jonge Akademie (2020). Goed voorbeeld doet goed volgen [link].
38
   Zie https://recognitionrewards.nl/wp-content/uploads/2022/11/Programme-plan_RR_ENG.pdf
                                                          8
</pre>

====================================================================== Einde pagina 9 =================================================================

<br><br>====================================================================== Pagina 10 ======================================================================

<pre>waarderen tussen kennisinstellingen. Te grote verschillen zouden de mobiliteit van wetenschappers en
daarmee hun loopbanen in Nederland kunnen belemmeren.
Nederland is voorloper in een mondiale beweging
De ontwikkeling van andere manieren om de kwaliteiten van wetenschap te evalueren is internationaal in
gang gezet en Nederland is daarin een voorloper. De beweging naar open science, de groeiende
aandacht voor de maatschappelijke impact van wetenschap en de onvrede met de eenzijdige focus op
het meten van wetenschappelijke output speelt ook buiten Nederland. Zo werd in 2012 de Declaration on
Research Assessment (DORA)39 in San Francisco opgesteld waarbij afstand werd genomen van de
journal impact factor. Inmiddels (stand 26 september 2022) is de DORA ondertekend door 2633 instanties
en 19531 individuen uit 159 verschillende landen. Naast DORA zijn er verschillende andere manifesten
en principes gepubliceerd, waaronder het Leiden Manifesto (2015)40, The Metric Tide (2015)41 en de Hong
Kong principes (2020).42 Deze manifesten wijzen op de verkeerde toepassing van bibliometrische
indicatoren en concentreren zich daarom op verantwoord gebruik van indicatoren, transparante
communicatie van onderzoeksresultaten, open science, waardering van verschillende typen onderzoek
en het erkennen van alle bijdragen aan onderzoek en academische activiteiten. Alle initiatieven zijn het
erover eens dat de veelgebruikte journal impact factor en de h-index ongeschikt zijn voor de beoordeling
van individuele wetenschappers.
Europa zet stappen
Inmiddels zijn er op Europees niveau, in verschillende Europese landen en bij grote internationale fondsen
voor wetenschappelijk onderzoek acties en programma’s in gang gezet om andere manieren van
evaluatie van wetenschap te ontwikkelen en toe te passen. Zo hebben de Europese Commissie, Science
Europe en de European University Association (EUA) onlangs het verdrag ‘Agreement on reforming
research assessment’ (RRA) gelanceerd.43 In dit verdrag staan afspraken over hoe op een verantwoorde
manier onderzoeksresultaten te beoordelen. Inmiddels hebben meer dan 360 organisaties uit meer dan
40 landen de RRA ondertekend.44 NWO, KNAW, UNL en een deel van de universiteiten en universitaire
medische centra hebben het verdrag ondertekend. In de RRA wordt opgeroepen tot een kwalitatief
oordeel, waarbij peer review centraal staat en kwantitatieve indicatoren op een verantwoorde manier
gebruikt worden. Zo wordt er in de RRA opgeroepen om af te stappen van tijdschrift- en publicatie-
gebaseerde maten en wordt er nauwelijks stilgestaan bij mogelijke nadelen van peer review. Een balans
tussen kwantitatieve en kwalitatieve maten is nodig om tot een geschikt instrument voor het duiden van
wetenschappelijke kwaliteit te komen. Volgens de RRA impliceert kwaliteit dat wetenschappelijk
onderzoek volgens transparante onderzoeksprocessen en -methodologieën uitgevoerd wordt en waarbij
de onderzoeksdata dusdanig onderhouden worden dat ze makkelijk hergebruikt kunnen worden.
Zodoende dragen openheid en resultaten die verifieerbaar en reproduceerbaar zijn, sterk bij aan de
kwaliteit. In deze definitie wordt de kwaliteit van wetenschap verbonden aan wetenschapsbeoefening.
39
   Zie https://sfdora.org/read/.
40
   Hicks, D. et al. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature. Issue 520, Page 429-431.
https://doi.org/10.1038/520429a.
41
   Research England (2015). The Metric Tide [link]. In 2022 is gestart met The Metric Tide Revisited, een review om
te bezien in hoeverre de aanbevelingen uit 2015 zijn overgenomen en of verdere aanbevelingen nodig zijn voor een
verantwoord gebruik van indicatoren in de volgende ronde van het Research Excellence Framework.
42
   Moher, D. et al. (2020). ‘The Hong Kong Principles for assessing researchers: Fostering research integrity’. PLoS
Biology 18(7): e3000737. https://doi.org/10.1371/journal.pbio.3000737.
43
   Zie https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf.
44
   Zie https://coara.eu/agreement/signatories/.
                                                            9
</pre>

====================================================================== Einde pagina 10 =================================================================

<br><br>====================================================================== Pagina 11 ======================================================================

<pre>De League of European Research Universities (LERU) heeft in januari 2022 een paper gepresenteerd
om handvatten te verschaffen voor een nieuwe manier van erkennen en waarderen. 45 Volgens LERU
wordt te veel aandacht besteed aan het debat over bibliometrische indicatoren, zonder voldoende
alternatieven te bieden om multidimensionale academische carrières te beoordelen. Ook voor het
Nederlandse initiatief is dit een belangrijk aandachtspunt (zie ‘Groeiende aandacht aan anders evalueren
van de kwaliteiten van wetenschap’).46 Evenals in het hierboven genoemde RRA wordt opgeroepen
kwantitatieve indicatoren alleen ter ondersteuning te gebruiken voor een kwalitatief oordeel.
Naast Nederland hebben Finland47, Noorwegen48 en het Verenigd Koninkrijk49 position papers
gepubliceerd en programma’s en toolboxes gelanceerd. Allen stellen ze dat kwantitatieve indicatoren
enkel ter ondersteuning van een gedegen kwalitatief oordeel moeten dienen. In het Verenigd Koninkrijk
gaat het om de noodzaak van diversificatie en inclusiviteit in het onderzoeksveld om zo mensen van
verschillende achtergronden aan te kunnen trekken om het aanstaande tekort aan wetenschappers op te
kunnen vangen. Het Britse ministerie voor economie, energie en industriële strategie (BEIS) neemt het
initiatief, terwijl het initiatief in Nederland, Finland en Noorwegen vanuit de wetenschap zelf is gestart. De
Britse overheid wil een verbreding van de carrièrepaden en meer stabiliteit voor onderzoekers, waarbij
het makkelijker moet worden om uitstapjes te maken en tijdelijk buiten de academische wereld te werken.
Ook leiderschapskwaliteiten krijgen speciale aandacht, net als in de Noorse en Nederlandse aanpak.
Daarnaast noemt de Britse strategie een narratief cv waarin meer aandacht is voor het waarderen van
een breder scala aan ervaringen en doelstellingen. In overeenstemming hiermee hebben de Britse
subsidieverstrekkers in 2021 een intentieverklaring ondertekend om het narratief cv in te voeren.50
De initiatieven in Noorwegen en Finland worden net als in Nederland gekoppeld aan de beweging naar
open science. Vergelijkbaar met Nederland krijgen de Finse en Noorse universiteiten ruimte om hun eigen
richtlijnen op te stellen, maar de documenten in Finland en Noorwegen zijn gedetailleerder. Hierdoor
wordt vanuit het landelijke paper meer gestuurd op de implementatie op het niveau van de
kennisinstellingen.51 Zowel Finland als Noorwegen besteden veel aandacht aan de transparantie van het
beoordelingsproces. Daarnaast bieden Noorwegen en Finland ook een nationaal model voor een cv en
onderzoeksportfolio. De Noorse toolbox gaat nog een stapje verder met een ‘automagisch’ cv: een
systeem waarin een onderzoeker op een gebruiksvriendelijke manier de benodigde informatie kan
verkrijgen en waarbij niet voor elke instelling een andere opmaak van het cv verzorgd hoeft te worden.
Opvallend is dat het Nederlandse kerndomein patiëntenzorg in de Finse en Noorse aanpak niet is
opgenomen. Dit heeft vermoedelijk te maken met hoe in Nederland de patiëntenzorg nauw verweven is
met het wetenschappelijk onderzoek bij umc’s en hoe in Nederland de umc’s geïntegreerd zijn in de
universitaire structuur.
45
   LERU (2022). A Pathway towards Multidimensional Academic Careers [link].
46
   Zo zou de mobiliteit en de carrière van wetenschappers in gevaar komen als op de ene universiteit
onderwijskwaliteit geëvalueerd wordt op studentenevaluaties, terwijl op de andere universiteit geëvalueerd wordt op
het aantal ontwikkelde en online gedeelde onderwijsmaterialen.
47
   Working group for responsible evaluation of a researcher (2020). Good practice in researcher evaluation.
Recommendation for the responsible evaluation of a researcher in Finland [link].
48
   Universities Norway (2021). NOR-CAM – A toolbox for recognition and rewards in academic careers [link].
49
   Department for Business, Energy & Industrial Strategy (2021). R&D People and Culture Strategy [link].
50
   Alzheimer’s Research UK, British Heart Foundation, Cancer Research UK, National Institute for Health Research,
Royal Academy of Engineering, UK Research and Innovation and Wellcome Trust (2019). Funders joint statement:
Exploring a shared approach towards a narrative CV [link].
51
   Zo heeft de Noorse toolbox een matrix die aangeeft welk competentiegebied langs welke assen beoordeeld moet
worden.
                                                          10
</pre>

====================================================================== Einde pagina 11 =================================================================

<br><br>====================================================================== Pagina 12 ======================================================================

<pre>Internationale onderzoeksfondsen onderschrijven de principes
Anders evalueren van de kwaliteiten van wetenschap is ook ingevoerd bij diverse internationale
onderzoeksfondsen. Nederlandse wetenschappers maken hiervan ook gebruik: ongeveer 5% van de
totale financiering van universiteiten is afkomstig van buitenlandse organisaties (cijfers 2018), waarvan
zo’n 80 tot 90% uit het Europees kaderprogramma komt.52,53 Het Europees kaderprogramma volgt de
richtlijnen van de RRA. Een andere belangrijke Europese financier is de European Research Council
(ERC) die wetenschappelijke excellentie in Europa stimuleert door onderzoekers in alle domeinen met
elkaar te laten concurreren om beurzen voor startende, gevestigde en zeer ervaren onderzoekers. ERC
gebruikt een omvangrijk peer review proces om beursaanvragen te beoordelen en te selecteren. ERC
heeft DORA ondertekend en in subsidievoorstellen wordt dan ook geen gebruik gemaakt van de journal
impact factor. Daarnaast kunnen indieners maximaal tien (vijf voor de Starting Grant) ‘outputs’ noemen.
Bibliometrische indicatoren die relevant zijn voor het onderzoeksveld waar de onderzoeker in opereert
mogen wel genoemd worden. De ERC gaat de RRA niet ondertekenen, omdat de ERC het onduidelijk
vindt wat de RRA toevoegt aan de peer review methode die de ERC volgt.54
DORA is ook ondertekend door diverse internationale fondsen die open zijn voor wetenschappers uit
andere landen zoals Bill & Melinda Gates Foundation, VolkswagenStiftung en Wellcome Trust. De twee
vooraanstaande Amerikaanse fondsen National Science Foundation (NSF) en National Institute of Health
(NIH) die ook buitenlandse wetenschappers financieren (vooral NIH), hebben DORA niet ondertekend.
NSF schrijft echter wel de instructies voor subsidieaanvragen te hebben aangepast in lijn met de principes
van DORA.55 Zo is de header van publicaties aangepast naar producten waar o.a. publicaties, patenten,
datasets, software en copyrights mee bedoeld worden. De NIH maakt gebruik van een peer review
systeem waarbij peer reviewers een biosketch van de aanvrager beoordelen. De biosketch mag een
maximaal aantal producten en bijdragen bevatten. Daarnaast bevat de biosketch een alinea met de meest
relevante wetenschappelijke bijdrage en een verwijzing naar een online publicatieoverzicht. Dit zou
geïnterpreteerd kunnen worden als een aanmoediging voor peer reviewers om zich niet blind te staren
op de journal impact factor of andere indicatoren.56
Effect op de internationale positie van Nederland is onbekend
Vasthouden van de sterke internationale positie van Nederland is belangrijk zoals eerder betoogd (zie
‘Wetenschap is een mondiale activiteit: een stevige internationale positie doet ertoe’). Critici van het
nieuwe ‘erkennen en waarderen’ hebben zorgen dat de internationale positie van de Nederlandse
wetenschap zal verzwakken. Zij zijn bang dat de reputatie van de Nederlandse wetenschap aangetast
wordt als in de evaluatie van wetenschap andere kwaliteiten dan alleen wetenschappelijke impact een rol
gaan spelen en veel gebruikte impactindicatoren zoals de journal impact factor en h-index niet meer
gebruikt mogen worden. In fundamenteel wetenschappelijk onderzoek in bepaalde gebieden zoals de
natuurwetenschappen zou dit vooral van toepassing zijn.
Om de internationale positie van de Nederlandse wetenschap te duiden zijn ranglijsten van universiteiten
weinig informatief (zie ‘Ranglijsten zijn populair, maar zeggen weinig’). Een veel gebruikte manier om de
wetenschappelijke impact van vakgebieden te duiden is door de publicatie en citatie-impactscores te
berekenen van die vakgebieden als geheel. Zo behoren Nederlandse wetenschappers tot de meest
52
   Rathenau Instituut (2020). Ontwikkeling derde geldstroom en beïnvloeding van wetenschappelijk onderzoek – Een
data- en literatuuronderzoek ter beantwoording van de motie-Westerveld.
53
   In de verschillende jaaroverzichten van Nederlandse universiteiten worden geen inzichten gegeven in waar de
buitenlandse financiering precies vandaan komt.
54
   Zie https://erc.europa.eu/news-events/news/research-excellence-quo-vadis.
55
   Zie U.S. National Science Foundation | DORA (sfdora.org).
56
   Zie U.S. National Institutes of Health | DORA (sfdora.org).
                                                           11
</pre>

====================================================================== Einde pagina 12 =================================================================

<br><br>====================================================================== Pagina 13 ======================================================================

<pre>geciteerde wetenschappers ter wereld. Nederland heeft over alle wetenschapsgebieden een gewogen
citatie-impactscore57 die ruim boven het mondiale gemiddelde ligt in de periode 2017-2020 (citatieperiode
tot 2021). De citatiescore van publicaties waarbij internationaal samengewerkt wordt is het hoogst in
Nederland. Zowel in de top 1% als in de top 10% meest geciteerde publicaties scoort Nederland hoog.
Alleen Singapore, Zwitserland en het VK scoren hoger. Nederland behoort ook in alle
wetenschapsgebieden tot de top-5 van referentielanden met de hoogste citatie-impactscore. Geen enkel
ander land staat in alle gebieden in de top-5.58 In de afgelopen 10 tot 20 jaar is deze relatieve positie van
de Nederlandse wetenschap stabiel.59,60
Naast bovenstaande kwantitatieve indicatoren kan voor de bepaling van de internationale positie van de
Nederlandse wetenschap gekeken worden naar financiering van wetenschappers in Nederland door
Europese onderzoeksfondsen. Zo werken wetenschappers in Nederland veel internationaal samen en
weten ze ook relatief veel financiering vanuit de Europese kaderprogramma’s en de ERC te verkrijgen.
Nederland is de zesde ontvanger van financiering uit Horizon 2020. In geen enkel ander Europees land
is de beschikbare financiering uit Horizon 2020 per onderzoeker (uit de publieke sector) hoger dan in
Nederland. Wetenschappers uit Nederland zijn met name succesvol op het gebied van excellente
wetenschap en onderzoek voor maatschappelijke uitdagingen.61 Nederland staat op de vierde plek van
de top-10 met landen die de meeste ERC-beurzen toegekend kregen in de periode 2007-2020. Ten
opzichte van het Europees gemiddelde scoort Nederland in de afgelopen jaren goed in de domeinen
'Physical Sciences & Engineering' en 'Social Sciences & Humanities'; het Nederlandse
honoreringspercentage ligt gemiddeld 6% hoger dan in Europa. Ook in het Life Sciences-domein is het
honoreringspercentage de laatste twee jaar gestegen.62
Er zijn vooralsnog geen indicaties dat het anders evalueren van wetenschap en wetenschappers invloed
heeft op de internationale positie van de Nederlandse wetenschap, uitgedrukt door bovenstaande
indicatoren. Daar zou het ook te vroeg voor zijn, want de initiatieven om op een andere manier de
kwaliteiten van wetenschap te evalueren zijn van recente datum en nog volop in ontwikkeling. De periode
is te kort, want er zit nu eenmaal behoorlijk wat tijd tussen het verkrijgen van financiering, het doen van
onderzoek, het indienen van een wetenschappelijk artikel, de uiteindelijke publicatie en eventuele citaties
door peers.
Wel zijn er de afgelopen jaren andere ontwikkelingen geweest in de wetenschap, zoals open access
publiceren, die mogelijk invloed hebben kunnen gehad. Echter, ook van de vlucht die open access
genomen heeft (in 2021 was 82% van de peer reviewed publicaties van Nederlandse universiteiten open
access)63 is geen effect te zien op de internationale positie van de Nederlandse wetenschap, gemeten
volgens de bovenstaande indicatoren. Het is onwaarschijnlijk dat een stijging van 82 naar 100% open
access ervoor zorgt dat die effecten wel zichtbaar worden.
57
   De citatie-impactscore geeft weer hoe vaak een publicatie geciteerd wordt, vergeleken met andere publicaties uit
hetzelfde vakgebied en jaar (MNCS). Daarbij is het wereldwijde gemiddelde per vakgebied gelijk gesteld aan 1. Een
citatie-impactscore van 2 betekent bijvoorbeeld dat een publicatie tweemaal zo vaak wordt geciteerd als de
gemiddelde publicatie uit hetzelfde vakgebied.
58
   Zie https://www.rathenau.nl/nl/wetenschap-cijfers/output/publicaties/ontwikkeling-van-het-wetenschappelijk-
onderzoeksprofiel-van.
59
   Zie https://www.rathenau.nl/nl/wetenschap-cijfers/output/publicaties/ontwikkeling-citatie-impact-van-nederlandse-
publicaties-wos.
60
   De Geesteswetenschappen zijn niet opgenomen, omdat een relatief klein deel van de citaties bij deze gebieden in
Web of Science (WoS) voorkomt, aangezien het in dit veld gebruikelijk is om ook op andere wijzen te publiceren.
61
   Zie https://www.rathenau.nl/nl/wetenschap-cijfers/nederland-en-horizon-2020.
62
   Zie https://www.rathenau.nl/nl/wetenschap-cijfers/werking-van-de-wetenschap/excellentie/toekenningen-erc-land-
universiteit-en.
63
   Zie https://www.universiteitenvannederland.nl/nl_NL/nieuws-detail/nieuwsbericht/875-p-nederland-zet-weer-grote-
stap-naar-100-open-access-nbsp-p.html.
                                                          12
</pre>

====================================================================== Einde pagina 13 =================================================================

<br><br>====================================================================== Pagina 14 ======================================================================

<pre>Bij open access speelt een vergelijkbare discussie over de effecten op de impact van wetenschap en
wetenschappers, vertaald in citatie-impactscores. Critici stellen dat:
      -     open access tijdschriften een lager aanzien hebben, waardoor andere wetenschappers moeite
           zullen hebben om open access artikelen en tijdschriften op waarde te schatten; en
      -    in sommige vakgebieden er weinig open access mogelijkheden zijn, waardoor
           wetenschappelijke resultaten minder zichtbaar zijn en daarmee minder geciteerd worden.
Hierdoor zou het ook onaantrekkelijk zijn voor wetenschappers om te gaan werken bij
onderzoeksinstellingen waar open access de norm is.64 Tegelijkertijd zijn er studies die laten zien dat de
citatie-impact van open access publicaties groter is en zelfs de journal impact factor stijgt.65 Er zijn ook
studies die citatievoordeel noch -nadeel laten zien bij open access publicaties.66 Overigens beïnvloedt
open access de mondiale wetenschap ook negatief. Zo konden wetenschappers uit de Derde Wereld in
de jaren ’90 en ’00 bijdragen middels wetenschappelijke publicaties, maar wetenschappelijke artikelen
vaak niet lezen. Nu is er een situatie gecreëerd waarin deze wetenschappers artikelen kunnen lezen,
maar niet publiceren vanwege de vaak hoge publicatiekosten.
Op basis van deze inzichten valt niet te concluderen dat een andere vorm van wetenschapsevaluatie de
internationale positie of de reputatie van de Nederlandse wetenschap bedreigt. Bovendien blijkt uit de
internationale beweging die al gaande is dat een andere manier van erkennen en waarderen
onvermijdelijk is. Nederland loopt daarin voorop, maar niet alleen. Voorop lopen biedt kansen om de
richting te bepalen. Samenwerking in de ontwikkeling van andere manieren van evalueren is ook in
internationaal perspectief van belang. Kennis en ervaring uitwisselen en in internationaal verband nieuwe
aanpakken ontwikkelen en implementeren zorgt ervoor de Nederlandse wetenschap aansluiting houdt
met het internationale veld en tegelijkertijd richting kan blijven geven aan de beweging van het anders
evalueren van de kwaliteiten van wetenschap. Mogelijk maakt meer aandacht en waardering voor de
verschillende kwaliteiten van wetenschap Nederland juist aantrekkelijker voor nieuw wetenschappelijk
talent, wetenschappelijke samenwerkingspartners, maatschappelijke organisaties en het internationale
bedrijfsleven.
Met vriendelijke groet,
dr. E.E.W. Bruins                                                 P.W.J. Essers
voorzitter                                                        Secretaris
64
   Zie https://www.prio.org/publications/11146.
Zie overzicht in Huang, C. et al. (2019). The effect of open access on journal impact factors: A causal analysis of
medical journals. Physica A: Statsitical Mechanics and its Applications, Volume 533, 1 November 2019.
65
   Zie overzicht in Momeni, F. et al. (2021). What happens when a journal converts to open access? A bibliometric
analysis. Scientometrics, Volume 126, pp. 9811-9827.
66
   Liskiewicz, T. et al. (2021). Factors affecting the citations of papers in tribology journals. Scientometrics, Volume
126, pp. 3321–3336.
                                                              13
</pre>

====================================================================== Einde pagina 14 =================================================================

<br><br>====================================================================== Pagina 15 ======================================================================

<pre>De Adviesraad voor wetenschap, technologie en innovatie (AWTI) brengt gevraagd
en ongevraagd advies uit aan regering en parlement. Zijn onafhankelijke adviezen zijn
strategisch van aard en gaan over de hoofdlijnen van wetenschaps-, technologie- en
innovatiebeleid. De leden van de AWTI zijn afkomstig uit kennisinstellingen en het
bedrijfsleven. De AWTI doet zijn werk vanuit de overtuiging dat het belang van kennis,
wetenschap en innovatie voor economie en samenleving groot is en in de toekomst
nog verder zal toenemen.
De raad is als volgt samengesteld:
dr. E.E.W. (Eppo) Bruins (voorzitter)
dr. ir. S. (Sjoukje) Heimovaara (vice-voorzitter)
dr. ir. J.P.H. (Jos) Benschop
prof. dr. ir. K. (Koenraad) Debackere
prof. dr. J. (Jolanda) Kluin
prof. dr. E.H.M. (Ellen) Moors
C. (Chokri) Mousaoui
drs. J.L. (Anka) Mulder
dr. h.c. M. (Marleen) Stikker
prof. dr. V. (Vinod) Subramaniam
P.W.J. (Patrick) Essers (secretaris)
Het secretariaat is gevestigd te:
Prins Willem-Alexanderhof 20
2595 BE Den Haag
t. 070 3110920
e. secretariaat@awti.nl
w. www.awti.nl
</pre>

====================================================================== Einde pagina 15 =================================================================

<br><br>