Evaluatie van onderzoek: leidraad voor verantwoord evalueren

 

Elke evaluatie van onderzoek aan de Universiteit Gent voldoet aan acht principes, die er samen voor zorgen dat onderzoek op een verantwoorde en kwaliteitsvolle manier kan worden geëvalueerd.

Meer over Verantwoord evalueren van onderzoek

 

1. De evaluatie is nodig

V  Het is nodig, nuttig en zinvol dat de UGent deze evaluatie op dit moment organiseert

X  De evaluatie wordt niet georganiseerd uit gewoonte of omdat andere organisaties een gelijkaardige evaluatie organiseren

2. De evaluatie heeft een duidelijk doel

De doelstelling van de evaluatie wordt voor de start van de evaluatie expliciet bepaald

De evaluatie is geen doel op zich

X  Het doel van de evaluatie is niet (louter) het aanmoedigen (dan wel ontmoedigen) van bepaald onderzoeksgedrag dat beter op andere manieren kan worden gestimuleerd (ontmoedigd)

3. De evaluatiemethodes, -criteria en -indicatoren stemmen overeen met de doelstelling van de evaluatie

Elke gebruikte methode, elk criterium en elke (kwantitatieve en kwalitatieve) indicator draagt bij tot het doel van de evaluatie, en dus tot de kwaliteit en de impact van de evaluatie

Alle methodes, criteria en indicatoren samen zorgen ervoor dat de doelstelling van de evaluatie wordt bereikt

X  Er worden geen methodes, criteria of indicatoren gebruikt die niet nodig of relevant zijn voor de evaluatie 

X  Er worden geen methodes, criteria of indicatoren gebruikt enkel en alleen omdat andere instellingen dat ook doen, uit gewoonte, of omdat de methodes, criteria of indicatoren gemakkelijk te gebruiken of te vinden zijn

4. Er worden enkel kwaliteitsvolle evaluatiemethodes, -criteria en -indicatoren gebruikt

Elke gebruikte methode, elk criterium en elke (kwantitatieve en kwalitatieve) indicator is voldoende robuust en in de mate van het mogelijke evidence-based

De gehanteerde methodes, criteria en indicatoren zijn zoveel als mogelijk bestand tegen gaming, en goal discplacement wordt zoveel als mogelijk vermeden

De gebruikte methodes, criteria en indicatoren zijn transparant, zodat de resultaten van een evaluatie kunnen worden gecontroleerd en geverifieerd (ook door degenen die worden geëvalueerd)

X  Er worden geen (nieuwe) methodes, criteria of indicatoren gebruikt waarvan niet voldoende is aangetoond dat ze de nodige kwaliteitsgaranties bieden

5. De evaluatie houdt rekening met de complexiteit van het onderzoek en met de diversiteit tussen onderzoekers

De evaluatie houdt rekening met de betekenis(sen) die aan kwaliteit en impact wordt (worden) gegeven in de context van het onderzoek dat / de onderzoeker(s) die wordt (worden) geëvalueerd

De evaluatie houdt rekening met verschillen tussen disciplines (bv. op het vlak van publicatiecultuur, citatiegedrag)

De evaluatie houdt rekening met verschillen in loopbaanpaden en -fasen

In overeenstemming met het aggregatieniveau van de evaluatie, worden diverse evaluatiemethodes, -criteria en -indicatoren gecombineerd om de veelzijdigheid van het onderzoek zichtbaar te maken

X  Onderzoek en onderzoekers worden niet gereduceerd tot één enkele (kwalitatieve of kwantitatieve) indicator

X  De gebruikte evaluatiecriteria, -methodes en -indicatoren leiden er niet toe dat bepaalde disciplines, groepen onderzoekers e.d. (ongewild) worden benadeeld

X  Bias en (onbedoelde) neveneffecten van de gekozen evaluatiecriteria, -methodes en -indicatoren worden indien mogelijk gecorrigeerd (genormaliseerd)

6. De evaluatie is haalbaar

De doelstelling van de evaluatie, gekozen evaluatiecriteria, -methodes en -indicatoren en de benodigde inzet van mensen en middelen die hieruit volgt, zijn in verhouding tot het belang en de omvang van de evaluatie

Er is voldoende expertise beschikbaar om de gekozen evaluatiecriteria, -methodes en -indicatoren kwaliteitsvol in te zetten in de evaluatie

Waar mogelijk wordt voor de evaluatie gebruik gemaakt van informatie die reeds beschikbaar is (bv. in institutionele databanken als GISMO, Biblio, SAP, OASIS, ...)

X  Er wordt geen informatie bijeengebracht (laat staan gevraagd aan de personen of onderzoekseenheden die worden geëvalueerd) die niet wordt gebruikt voor de evaluatie

7. De evaluatie gebeurt door experten

Bij het ontwerpen van de evaluatie zijn onderzoekers en experten met de nodige kennis op het vlak van onderzoeksevaluatie betrokken

De evaluatie gebeurt door vakexperten die in staat zijn om de kwaliteit en impact van het onderzoek (en eventuele andere aspecten) adequaat te beoordelen; dit geldt in het bijzonder voor peer reviewers

De evaluatoren hebben voldoende kennis van de gebruikte evaluatiecriteria, -methodes en -indicatoren

De evaluatiecommissie is evenwichtig samengesteld op het vlak van wetenschappelijke discipline, ervaring, expertise, gender etc.

Wanneer relevant worden externe experten bij de evaluatie betrokken (bv. buitenlandse onderzoekers, vertegenwoordigers van het brede maatschappelijke veld)

De evaluatoren treden op in alle onafhankelijkheid en vermijden elke vorm van conflict of interest

De evaluatoren dragen de volle verantwoordelijkheid voor de evaluatie die ze uitvoeren

De evaluatoren engageren zich ertoe om de principes voor de UGent-visie op het evalueren van onderzoek in de praktijk om te zetten

8. De evaluatie verloopt in alle openheid en transparantie

Waar mogelijk wordt de evaluatie ontworpen in samenspraak met de personen of onderzoekseenheden die zullen worden geëvalueerd

De evaluatiemethodes, -criteria en -indicatoren worden vooraf vastgelegd en aan alle betrokkenen meegedeeld

De personen of onderzoekseenheden die worden geëvalueerd en de evaluatoren hebben volledige inzage in de informatie die uit databanken e.d. wordt gehaald om te worden gebruikt in de evaluatie; zij kunnen deze informatie controleren en verifiëren

Waar mogelijk wordt aan de personen of onderzoekseenheden die worden geëvalueerd de mogelijkheid tot wederwoord geboden

De personen of onderzoekseenheden krijgen feedback – minstens na afloop van de evaluatie en desgevallend ook reeds tijdens het evaluatieproces

X  Er worden in de loop van het evaluatieproces geen bijkomende methodes, criteria of indicatoren geïntroduceerd

X  Openheid en transparantie impliceren niet dat de vertrouwelijkheid van het evaluatieproces en van de dossiers mag worden geschonden

 

 

Meer tips

Vertaalde tips


Laatst aangepast 6 mei 2024 09:15