• Articles
• admin

research quality assessment exercises

evaluatie en beoordeling van onderzoek en wetenschap zijn niet nieuw. Zelfs de wetenschappelijke debatten van het zesde-eeuwse Athene omvatten beoordeling, en die beoordeling was gebaseerd op de vraag of de retoriek het publiek overtuigde of niet. De traditie van peer review die bestaat sinds de wetenschappelijke verenigingen is een andere vorm van evaluatie en beoordeling. Wat nieuw is aan de huidige onderzoekskwaliteits-en beoordelingsoefeningen is dat prestaties worden beoordeeld ten opzichte van andere individuen, en elke instelling wordt beoordeeld ten opzichte van andere instellingen in hun land. De relatieve kwaliteit wordt gebruikt om het niveau, indien van toepassing, van overheidsgeld te bepalen dat elke instelling zal ontvangen. In de meeste landen zal de kwaliteit van een individuele onderzoeker waarschijnlijk op institutioneel niveau worden beoordeeld, aangezien instellingen proberen hun aandeel in beperkte financiële middelen te maximaliseren. Hoewel deze kwaliteitsbeoordelingen van het onderzoek beperkt zijn tot individuele landen, dient het gebruik van universitaire ranking systemen zoals het Times Higher Education Supplement system en het Jiao Tong systeem om de kwaliteitsbeoordeling van het onderzoek wereldwijd te maken.

deze kwaliteitsbeoordelingen zijn het onderwerp geweest van veel wetenschappelijk debat. Aan de ene kant wordt gesteld dat “Evaluatiebeoordeling en waarborging van academische kwaliteit intrinsiek is voor het hoger onderwijs” (Brown, 2004: x) en, zo luidt het argument, zorgen dergelijke beoordelingsoefeningen ervoor dat alleen kwaliteitsonderzoek wordt ondersteund met overheidsfinanciering. Aan de andere kant rijzen er vragen over de beperkte visie op de kwaliteit die bij dergelijke oefeningen wordt gebruikt. Het omstreden karakter van wat als kwaliteitsmaatregelen geldt, heeft geleid tot discussies waaruit uit verschillende kwaliteitsoefeningen over de hele wereld kan worden afgeleid dat ‘kwaliteit’ ‘verantwoording’ betekent en dat kwaliteitskaders een middel zijn om toewijzing van beperkte middelen te rechtvaardigen. Het algemene principe van de kwaliteitsbeoordeling van onderzoek is dat instellingen die publieke financiering ontvangen meer verantwoording zullen afleggen voor de ontvangst van die financiering, en de transparantie die via deze beoordelingen ontstaat, zal instellingen de capaciteit geven om het concurrentievermogen op de wereldwijde onderwijsmarkt te waarborgen.De research assessment exercise (RAE) in het Verenigd Koninkrijk is een voorbeeld van dit soort twist. De RAE geeft beoordelingen van bepaalde maatregelen die door de overheid worden beschouwd als representatief voor de kwaliteit van het onderzoek dat in instellingen voor hoger onderwijs wordt uitgevoerd. De ratings worden gebruikt om de selectieve toewijzing van fondsen te informeren (Roberts, 2003). Roberts zegt dat een van de redenen voor de ontwikkeling van dit systeem was om de kwaliteit van het onderzoek te bevorderen en ervoor te zorgen dat de universiteiten die kunnen aantonen dat zij produceren het hoogste percentage (kwantiteit) van dergelijke kwaliteit onderzoek zou het grootste deel van de beschikbare financiering ontvangen. Dit zijn inderdaad nobele idealen, en het zou moeilijk zijn om te beweren dat verantwoording afleggen voor het gebruik van publieke middelen niet in het algemeen belang is. Met dergelijke idealen lijken deze beoordelingsoefeningen – met standaardmaatregelen die ogenschijnlijk transparant zijn-buiten het gevestigde belang van individuen of instellingen te vallen. Wat in dergelijke oefeningen wordt gemaskeerd, is dat de maatregelen die zij omvatten, door verschillende belangengroepen zijn gesteund.

winnen in deze hoogwaardige financieringsmodellen betekent veel geld. In Australië bijvoorbeeld is 23 procent van de concurrerende financiering aan universiteiten bestemd voor onderzoek en onderzoekstraining. Terwijl instellingen voor hoger onderwijs over de hele wereld strijden om grotere plakjes van hun nationale financieringstaart, moeten ze kijken naar de auteurs van de gemeten resultaten, de geleerden, om bij te dragen aan verbeteringen en/of het behoud van hoge ratings. Welke reeks maatregelen ook worden opgenomen in de kwaliteitsbeoordelingen van de verschillende landen, de heersende maatstaf is die van de’ impactfactor ‘zoals berekend door het Instituut voor wetenschappelijke informatie (Isi). Dit als maatstaf gebruiken betekent dat het niet voldoende is voor wetenschappers om te publiceren in peer-reviewed tijdschriften; ze moeten het aantal artikelen dat ze publiceren in Isi-tijdschriften maximaliseren.

binnen deze context kunnen wetenschappelijke of scheidsrechterlijke tijdschriften (merk op dat niet alle peer-reviewed tijdschriften in de ISI-ranglijsten voorkomen) worden onderzocht. Het begrijpen van de huidige plaats van het refereed journal binnen de wetenschappelijke activiteit is belangrijk, omdat veranderingen in tijdschriften, zowel technologische als economische, een directe impact hebben op de manier waarop wetenschappers werken. Veranderingen in tijdschriften kunnen worden beoordeeld in relatie tot hoe ze de huidige wetenschappelijke cultuur ondersteunen, evenals hun vermogen om een verandering in die cultuur te ondersteunen. Dit biedt de ingrediënten van een ander scenario. Niet alle geleerden zullen een wetenschappelijk boek publiceren, maar alle geleerden zijn verplicht om regelmatig te publiceren in peer-reviewed tijdschriften, en de trend is nu dat de beloningen stromen naar degenen die publiceren in Isi tijdschriften. Zo zal het wetenschappelijke isi tijdschrift waarschijnlijk een bevoorrechte positie innemen in de selectie en archivering van wetenschappelijke literatuur. Het is redelijk om te suggereren dat op dit moment het wetenschappelijke tijdschrift, in plaats van het boek, de belangrijkste opslagplaats van kennis binnen academische disciplines is, en dat in de toekomst een klein aantal van dergelijke tijdschriften zal tellen. Men kan zich dan voorstellen welke veranderingen mogelijk en waarschijnlijk zijn met betrekking tot de productie, verspreiding en archivering van wetenschappelijk werk in de toekomst.

de huidige belangrijkste drijfveren voor academisch werk, de research quality exercises en isi-publicatie, maken het mogelijk om een beeld te krijgen van toekomstige scenario ‘ s. Wetenschappelijke publicaties die begonnen met de Royal Society als een manier om informatie te verspreiden, verhuisden gedurende de twintigste en eenentwintigste eeuw naar een positie waar geleerden werden beloond in een systeem dat is opgebouwd rond wetenschappelijke publicatie via het wetenschappelijke boek of de blinde, peer-reviewed tijdschrift publicatie. De beloningen zijn prestige, ambtstermijn, promotie en financiering. Ondanks de twist over kwaliteitsmaten en beoordelingsoefeningen en kwesties rond disciplinespecifieke peer-of expert review, zal in de tweede en derde decennia van de eenentwintigste eeuw de beoordeling van onderzoek en de bijdrage van het individu aan de ranking van een instelling de sterkste externe drijfveer van wetenschappelijk werk blijven-het isi – tijdschrift zal waarschijnlijk het middel zijn waarmee wetenschappers prestige, aanstelling, promotie en financiering kunnen veiligstellen.

wanneer de kwantiteit, zoals gedefinieerd in onderzoeksevaluaties, de maatstaf is geweest voor wetenschappelijke prestaties, zijn er problemen ontstaan voor wetenschappers die niet in staat waren hun werk te laten publiceren. Het beperkte aantal isi tijdschriften kan het prestige van die tijdschriften verhogen, maar het gevolg voor de onderzoeker is dat de beperkte ruimte betekent dat er intense concurrentie is voor publicatie. Wetenschappers kunnen zich onderwerpen aan andere tijdschriften in de hoop dat het werk tenminste ergens wordt gepubliceerd, zolang dit ergens een refereed journal is. Met de verschuiving naar kwaliteit, zelfs met kwantiteit en kwaliteit maatregelen, kan men verwachten dat wetenschappers kijken naar manieren die de blootstelling van hun werk te maximaliseren. De internationale maatstaf voor kwaliteit is impact: het aantal keren dat een paper door anderen wordt aangehaald. Voor de geleerde betekent de trend naar een citatie-gebaseerd systeem dat ze veel mensen nodig hebben om hun werk te lezen, niet alleen een kleine groep scheidsrechters die hun werk lezen en accepteren in een dagboek. Citaties kunnen ontstaan uit niet-refereed materiaal, wat mogelijkheden biedt om zelf te publiceren. In een klimaat van publish-and-be-cited-or-perish zien geleerden web-based publishing als een aantrekkelijk alternatief.

er ontstaat een spanning tussen de behoefte van wetenschappers om hun werk zo breed mogelijk te verspreiden en de behoefte van de uitgever om de winst te maximaliseren door informatie te verspreiden onder degenen die ervoor betalen. Een andere overweging is de noodzaak van de bibliotheek om toegang te bieden tot informatie die nodig is door de wetenschappers die zij ondersteunen. Terwijl Harnad (1996), Singleton (1993) en Oppenheim et al. (2000) frame deze spanning in relatie tot gevestigde belangen van geleerden, uitgevers en bibliothecarissen, is er geen bewijs dat een van deze partijen handelt uit harteloos eigenbelang. Integendeel, het bewijsmateriaal wijst erop dat elke partij probeert te handelen in het belang van de productie, opslag en verspreiding van kennis, maar dit binnen verschillende parameters doet.

het accepteren van de stelling dat geleerden bibliotheken gebruiken als de primaire bron voor het ophalen van bestaande kennis en de primaire repository voor nieuw wetenschappelijk werk, is het mogelijk om futures voor geleerden te positioneren op basis van sommige scenario ‘ s over bibliotheken. Sommige mogelijkheden voor de toekomst van de wetenschap kunnen in kaart worden gebracht aan de hand van technologische ontwikkelingen binnen bibliotheken. Er is een scala van bibliotheken experimenteren met parameters van mogelijke futures, en dezelfde bibliotheken kunnen worden geïdentificeerd als het verstrekken van informatie die wordt getrokken door geleerden, of ze academische, corporate, overheid, K–12, militaire, openbare of speciale bibliotheken (zie Andrews, 2007). Speciale bibliotheken zijn een twintigste-eeuws fenomeen alleen in naam, want ze zijn in werking voor 1.000 jaar of meer als repositories van medische werken zoals die van Hippocrates en Galen, en verslagen van kruidengeneesmiddelen geraadpleegd door monnik botanisten. In de zin van dit soort specialisatie, nemen ze verschillende soorten kennis toegang activiteiten vanwege hun gegeven brandpunten, en zijn steeds belangrijker geworden als wetenschappelijke methode heeft opgedaan in de wetenschap. De toenemende kennis en specialismen op gebieden als geneeskunde en chirurgie, bijvoorbeeld, vereisen onmiddellijke toegang van professionals op die gebieden tot het meest relevante en actuele beschikbare materiaal. Een in toenemende mate omstreden publiek heeft verder onderstreept het belang van kennisvaluta, die kan worden bestraft als wanpraktijken. Rechtsprofessionals vertrouwen op het raadplegen van schriftelijke documenten; handel vereist onmiddellijke toegang tot documenten; wetenschappers en technologen vereisen vergelijkbare snelle toegang tot wat momenteel beschikbaar is in hun vakgebied. Bijzondere bibliotheken hebben zich met name ingespannen om nieuwe technologieën aan te passen als een centrale factor voor hun bestaansreden, “om de dure professionele kenniswerkers effectiever te maken in wat ze doen” (Lerner, 1999: 182), maar wat de wetenschappelijke activiteiten betreft, ligt de nadruk meer op de academische bibliotheek dan op andere typen. De toekomst van de wetenschap met betrekking tot de productie en verspreiding van informatie, de archivering van die informatie en de mogelijke gevolgen van dergelijke vormen van opslag is nauw verbonden met de toekomst van dergelijke bibliotheken, die niet kunnen worden beschouwd als uitdagende traditionele activiteiten van wetenschappers en hun huidige afhankelijkheid van de bibliotheek, maar als het verschaffen van mechanismen die aanleiding kunnen geven tot nieuwe vormen van poortwachterij van kennis. Gezien de hoeveelheid materiaal die is gepubliceerd als onderdeel van eenentwintigste-eeuwse brieven, wordt de rol van de bibliothecaris nog belangrijker bij het verschaffen van toegang tot wat is gepubliceerd-er is veel te veel om privé – eigendom toe te staan door wetenschappers in hun privécollecties. Als Lerner (ibid.) zet het, de rol van de bibliothecaris prioriteit toegang boven eigendom van wat wordt gepubliceerd.

er is een huidige trend voor bibliotheken om over te stappen van boeken en tijdschriften in de schappen naar een systeem waar ze communiceren met digitale repositories van uitgevers, dus het zijn niet langer de bibliotheken die fungeren als de werkelijke repositories. Zij kunnen het intellectuele kapitaal van de faculteit blijven verzamelen, opslaan, bewaren, indexeren en delen in de vorm van hun wetenschappelijke publicaties en lesmateriaal (Hayes, 2005), maar het zijn de uitgeverijen die nu fungeren als digitale repositories voor die aspecten van wetenschappelijk werk die als publicaties tellen. Zodra deze zijn opgeslagen, de volgende technologische kwestie is hoe die informatie moet worden opgehaald. De trend naar digitale productie en publicatie brengt risico ‘ s met zich mee, met name in verband met de archivering van elektronische publicatie. Manguel (2008: 75-6) geeft het voorbeeld van het in 1986 door de BBC gefinancierde project van £2,5 miljoen om het elfde-eeuwse Domesday Book elektronisch te bewaren. Bij dit project waren meer dan 1 miljoen mensen betrokken die werkten aan het bewaren van de informatie op 12-inch laserschijven die zou worden gelezen door een speciale BBC-microcomputer. Het was een enorm project, maar tegen 2002 kon geen van de informatie op deze schijven worden benaderd omdat de hardware verouderd was. Het origineel bevindt zich in het Kew Public Records Office, en is nog steeds de enige manier om toegang te krijgen tot de waardevolle informatie die het bevat. Het Domesday Project belicht de problemen die ontstaan door snel veranderende technologieën in verband met archivering van materiaal op manieren die permanent leesbaar en dus toegankelijk blijven voor iedereen in de toekomst.

zoals Lerner (1999) opmerkt, speelt de snelle veroudering van technologische software en hardware een al te belangrijke rol bij beslissingen over wat al dan niet digitaal wordt opgeslagen. We hebben honderden jaren de tijd gehad om eerdere systemen voor opslag en opvraging van bibliotheekvoorraden te evalueren en te beoordelen, maar zeer weinig tijd om dit te doen met gedigitaliseerde benaderingen van informatiewetenschap. Toch nemen we beslissingen zonder de tijd te hebben gehad om het soort dingen te ervaren dat het Domesday Project zou kunnen voorbode. Veel werken gingen verloren met de overgang van rollen naar codexen, en dat was in een tijd dat de overvloed aan publicaties van de moderne tijd niet hoefde te worden behandeld. Het behoud van de technologie die digitaal boeken bewaart is een extra dimensie aan het probleem dat de vooruitgang in de informatiewetenschap aanwezig. In 1996 kopieerde de library of Congress niet alleen, maar verving het grootste deel van de collectie van haar late negentiende en vroege twintigste-eeuwse kranten door microfilms, waardoor de originelen als onderdeel van het proces werden vernietigd. Het was het begin van een trend in bibliotheken in de Verenigde Staten en Groot-Brittannië. De collectie kranten van de British Library die het bombardement van de Tweede Wereldoorlog had overleefd, werd systematisch op microfilm gezet en vervolgens werden de originelen vernietigd (Manguel, 2008). In dergelijke gevallen is de afhankelijkheid van de capaciteit van microfilm, een relativiteit ongecompliceerde technologie, om te verdragen inderdaad zwaar. Maar we weten nog niet hoe betrouwbaar de laatste ontwikkelingen kunnen zijn in het uitvoeren van die enorme onderneming van bibliotheken beschreven door Lerner (1999: 200), om de plaat van menselijke prestaties en verbeelding te verzamelen en te bewaren en ‘om deze plaat in de handen te leggen van degenen die het zouden gebruiken’. Verschillende biblioclasmen uit het verleden hebben erop gewezen dat dit nooit een gebied van zekerheid is.Het verlies van boeken uit de kloosters die in de vijftiende eeuw ontbonden werden door Hendrik VIII en de verspreiding van kloostercollecties tijdens de Franse Revolutie, waar boeken een bedreiging vormden voor de positie van de autoriteiten. Censuur is een ander belangrijk bewijs hiervan. De boekenverbranding van de nazi ‘ s in de jaren 1930 wordt universeel veroordeeld voor hun aanval op het nastreven van kennis, toen honderden Joodse bibliotheken werden afgebrand, samen met persoonlijke en openbare collecties, en Specifieke geleerden en schrijvers werden verboden. Een zeer gruwelijk aspect hiervan is het te laat herinneren van Heinrich Heine’ s ‘dire warning’ uit 1820: ‘waar ze boeken verbranden, zullen uiteindelijk ook mensen verbranden.’Peter Drucker was een van de auteurs die de nazi’ s als gevaarlijk beschouwden, omdat zijn vroege boeken verbrand werden. Zelfs wat het onschuldige werk van Vera Brittain (1979) lijkt te zijn, met haar herinneringen aan de Grote Oorlog in Testament of Youth, en zij zelf in het geval van Nazi-succes over Groot-Brittannië, werden gemarkeerd voor vernietiging (Brittain, 1980). De Sovjets vernietigden bibliotheken in de Sovjet-Unie op hetzelfde moment dat het Amerikaanse House Committee on Un-American Activities een bijna hysterische controle uitoefende over wat gepubliceerd, gelezen of in een script gezet kon worden om in de film of op het podium gespeeld te worden. Onder invloed van Joe McCarthy en zijn aantijgingen van communisten in de Verenigde Staten werden boeken uit de schappen gehaald van 200 Amerikaanse bibliotheken van de International Information Administration (IIA), die algemeen werden afgekeurd als het equivalent van boekenverbrandingen (Cremin, 1988: 465). Geen wonder dus dat Ray Bradbury (1997) in 1953 geïnspireerd werd om zijn Fahrenheit 451 te schrijven, waar de ‘brandweerman’ van de toekomst een brander is van die boeken die het conformistische denken in de Amerikaanse burgerij negatief kunnen beïnvloeden. Dit werd beschouwd als een gevaarlijke zaak, een concept helemaal niet nieuw in de geschiedenis van de boekproductie. Blijkbaar is 451 ° F de temperatuur waarbij het verbranden van boeken het meest efficiënt gebeurt.Barthes ‘ (1988) concept van de dood van de auteur is een abstract uit de twintigste-eeuwse vraagstelling van de macht-kennis nexus als manifest in boeken, een visie die alle kennis positioneert als relatief en de creatie ervan zowel over de lezer van een boek als over de auteur. Het is een idee dat een reeks onderzoeksactiviteiten in de literaire kritiek heeft gegenereerd, maar het heeft bredere toepassingen met betrekking tot de wetenschap als een kwestie van het ontwarren van de inhoud van een boek meer dan het interpreteren ervan. Lezers zijn in dit geval niet op de hoogte van wat ze lezen, maar van de manier waarop ze zelf, zonder tussenkomst van enig auteurswerk, betekenis geven aan wat er geschreven is. Zo ’n abstract concept heeft veel bijgedragen aan de wetenschappelijke discussie over de aard van kennis en haar relatie tot wetenschap, maar het soort dood dat Barthes voor ogen had, een idee dat Foucault (1977) ook naar voren bracht in zijn eigen vraag:’ Wat is een auteur?’, is een abstracte. Zo is de waargenomen kracht van boeken dat de dood van auteurs zeer reëel en fysiek zijn geweest door de westerse geschiedenis heen en tot op de dag van vandaag.Zie de gevolgen voor Salman Rushdie in relatie tot een boek dat hij schreef. Getuige ook het geval van Roberto Saviano, beschreven door Chenery (2009). Eind 2008 protesteerden duizenden mensen in heel Italië met Spartacus-achtige T-shirts versierd met ‘Io sono Saviano’ (Ik ben Saviano) ter ondersteuning van deze auteur, die onder een zeer reële doodsbedreiging stond, maar niet uit een religieuze of ideologische bron: de bron van gevaar voor hem is de maffia, want zoals hij zegt, ‘zich tegen de clans keren wordt een overlevingsoorlog’ (ibid.: 26). Wat had hij gedaan? Hij had een boek geschreven genaamd Gomorra: Italy ‘ s Other Mafia. Misschien wel het meest sprekende punt is wat Chenery zegt Saviano zelf wijst, dat ‘ zijn boek heeft een eigen leven in de wereld. De Camorra kan een boek niet doden ‘ (ibid.: 27). Hij zit ondergedoken, als gevangene die geen misdaad heeft begaan die wij zouden herkennen, en de persoonlijke tol daarvan is enorm. In deze dagen van digitale tekstproductie en massaproductie van gedrukte exemplaren die zijn opgeslagen in bibliotheken en hun archieven over de hele wereld, worden auteurs bedreigd, zelfs als hun boeken overleven. Het is juist het feit van het schrijven van hun boeken dat het soort vijandige reacties uitlokt die de onverminderd kracht van het boek onderstrepen.