• Articles
• admin

Research quality assessment exercises

Evaluation and assessment of research and scholarship are not new. 500-luvun Ateenan tieteellisiin väittelyihinkin sisältyi arviointia, ja tämä arvio perustui siihen, vakuuttiko retoriikka yleisöä vai ei. Tieteellisistä yhteiskunnista lähtien vallinnut vertaisarvioinnin perinne on toinen arvioinnin ja arvioinnin muoto. Uutta nykyisissä tutkimuksen laatu-ja arviointiharjoituksissa on se, että suorituksia arvioidaan suhteessa muihin yksilöihin ja jokaista laitosta arvioidaan suhteessa muihin oman maan laitoksiin. Suhteellista laatua käytetään määritettäessä, minkä verran julkista rahaa kukin toimielin saa. Useimmissa maissa yksittäisen tutkijan laatu arvioidaan todennäköisesti institutionaalisella tasolla, kun oppilaitokset pyrkivät maksimoimaan osuutensa rajallisista rahoitusvaroista. Vaikka nämä tutkimuksen laadunarvioinnit on rajattu yksittäisiin maihin, yliopistojen ranking-järjestelmien, kuten Times Higher Education Supplement Systemin ja Jiao Tong-järjestelmän, käyttö auttaa tekemään tutkimuksen laadunarvioinnista maailmanlaajuista.

näistä laatuarvioinneista on käyty paljon tieteellistä keskustelua. Yhtäältä väitetään, että ”arvioinnin arviointi ja akateemisen laadun varmistaminen on olennainen osa korkeakouluopetusta” (Brown, 2004: x), ja niin väitetään, että tällaisilla arviointitoimilla varmistetaan, että vain laadukasta tutkimusta tuetaan julkisin varoin. Toisaalta herää kysymyksiä tällaisissa harjoituksissa käytetystä suppeasta laatukäsityksestä. Laatutoimenpiteiden kiistanalaisuus on johtanut keskusteluihin, joista eri puolilla maailmaa on mahdollista päätellä, että ”laatu” tarkoittaa ”vastuullisuutta” ja että laatukehykset ovat keino perustella rajallisten resurssien kohdentaminen. Tutkimuksen laadunarviointien yleinen periaate on, että julkista rahoitusta saavat laitokset ovat vastuullisempia rahoituksen saamisesta, ja näiden arviointien kautta saatava avoimuus antaa laitoksille valmiudet varmistaa kilpailukyky globaaleilla koulutusmarkkinoilla.

Yhdistyneen kuningaskunnan research assessment exercise (RAE) on esimerkki tällaisesta väitteestä. RAE antaa arvosanoja erityistoimista, joiden hallitus katsoo edustavan korkeakouluissa tehtävän tutkimuksen laatua. Luokitusten avulla ilmoitetaan varojen valikoivasta kohdentamisesta (Roberts, 2003). Roberts sanoo, että yksi syy järjestelmän kehittämiseen oli edistää laadukasta tutkimusta ja varmistaa, että ne yliopistot, jotka voivat osoittaa tuottavansa suurimman osan (määrän) tällaisesta laadukkaasta tutkimuksesta, saisivat suurimman osan käytettävissä olevasta rahoituksesta. Nämä ovat todellakin jaloja ihanteita, ja olisi vaikea väittää, että vastuu julkisten varojen käytöstä ei ole yleisen edun mukaista. Tällaisten ihanteiden vallitessa nämä arviointitoimet-näennäisesti avoimine vakiotoimenpiteineen-näyttävät ylittävän yksilöiden tai instituutioiden oman edun. Näissä harjoituksissa peitellään sitä, että eri eturyhmät ovat tukeneet niiden upottamia toimenpiteitä.

näissä laadukkaissa rahoitusmalleissa voittaminen tarkoittaa isoa rahaa. Esimerkiksi Australiassa yliopistojen kilpaillusta rahoituksesta 23 prosenttia menee tutkimukseen ja tutkijakoulutukseen. Vaikka korkeakoulut ympäri maailmaa kilpailevat suurempia siivuja niiden kansallisen rahoituksen pie, niiden on katsottava laatijat mitatut tulokset, tutkijat, edistää parannuksia ja / tai ylläpitää korkeita luokituksia. Riippumatta siitä, sisältyvätkö eri maiden laatuarvioinnit toimenpidekokonaisuuteen, vallitsevana mittarina käytetään ISI: n laskemaa vaikutustekijää. Kun Tätä käytetään mittarina, ei riitä, että tutkijat julkaisevat vertaisarvioiduissa lehdissä; niiden on maksimoitava julkaisemiensa artikkelien määrä ISI: n lehdissä.

tässä yhteydessä voidaan tarkastella tieteellisiä tai referoituja lehtiä (huomaa, että kaikki vertaisarvioidut lehdet eivät ole ISI: n rankingissa). Referoidun lehden nykyisen paikan ymmärtäminen tieteellisessä toiminnassa on tärkeää, sillä muutokset sekä teknisiin että taloudellisiin lehtiin vaikuttavat suoraan tutkijoiden työskentelytapoihin. Lehdissä tapahtuvia muutoksia voidaan arvioida sen perusteella, miten ne tukevat nykyistä tieteellistä kulttuuria, samoin kuin niiden kykyä tukea kyseisen kulttuurin muutosta. Tämä tarjoaa toisen skenaarion ainekset. Kaikki tutkijat eivät julkaise tieteellistä kirjaa, mutta kaikkien tutkijoiden on julkaistava säännöllisesti vertaisarvioiduissa lehdissä, ja suuntaus on nyt, että palkkiot virtaavat niille, jotka julkaisevat ISI-lehdissä. Näin ollen tieteellisellä ISI-lehdellä on todennäköisesti etuoikeutettu asema tieteellisen kirjallisuuden valinnassa ja arkistoinnissa. On kohtuullista väittää, että tällä hetkellä akateemisten tieteenalojen pääasiallinen tietovarasto on tieteellinen lehti eikä kirja, ja että tulevaisuudessa vain pieni valikoima tällaisia lehtiä lasketaan. Voidaan sitten kuvitella, mitkä muutokset ovat mahdollisia ja todennäköisiä suhteessa tieteellisen työn tuottamiseen, levittämiseen ja arkistointiin tulevaisuudessa.

akateemisen työn nykyiset Keskeiset ajurit, tutkimuksen laatuharjoitukset ja ISI: n julkaisu, mahdollistavat tulevaisuuden skenaarioiden mielikuvituksen aloittamisen. Royal Societyn aloittamat tieteelliset julkaisut tiedon levittämiseksi siirtyivät kahdennenkymmenennen ja kahdennenkymmenennenensimmäisen vuosisadan aikana asemaan, jossa tutkijat palkittiin järjestelmässä, joka on rakennettu tieteellisen julkaisun ympärille tieteellisen kirjan tai sokean, vertaisarvioidun lehtijulkaisun kautta. Palkkioina ovat arvovalta, virka-asema, ylennys ja rahoitus. Huolimatta kiista laatutoimenpiteistä ja arviointiharjoituksista ja kysymyksistä tieteenalakohtaisen vertaisarvioinnin ympärillä, 2000-luvun toisella ja kolmannella vuosikymmenellä tutkimuksen arviointi ja yksilön panos laitoksen rankingiin on edelleen vahvin ulkopuolinen tieteellisen työn tekijä-ISI – lehti on todennäköisesti keino, jolla tutkijat voivat varmistaa arvovallan, hallintaoikeuden, ylennyksen ja rahoituksen.

jos tutkimuksen arviointiharjoituksissa määritelty määrä on ollut tieteellisten saavutusten mitta, on syntynyt ongelmia tutkijoille, jotka eivät ole kyenneet julkaisemaan työtään. ISI: n lehtien rajallinen määrä voi lisätä näiden lehtien arvostusta, mutta tutkijalle tästä seuraa, että rajallinen tila merkitsee kovaa kilpailua julkaisemisesta. Tutkijat voivat alistua muihin lehtiin siinä toivossa, että teos julkaistaisiin edes jossain, kunhan tämä jossain on referoitu lehti. Kun siirrytään laatuun, jopa määrään ja laatumittareihin, voidaan odottaa oppineiden etsivän keinoja, jotka maksimoivat heidän työnsä näkyvyyden. Kansainvälinen laadun mittari on vaikuttavuus: muut mainitsevat, kuinka monta kertaa paperi on. Stipendiaatti-pohjainen järjestelmä tarkoittaa, että he vaativat monia ihmisiä lukemaan työnsä, ei vain pieni ryhmä erotuomareita lukemassa ja hyväksymässä työnsä päiväkirjaan. Sitaatit voivat syntyä vertaisarvioimattomasta materiaalista, mikä avaa mahdollisuuksia omakustanteelle. Tutkijat pitävät verkkopohjaista julkaisemista houkuttelevana vaihtoehtona tilanteessa, jossa julkaistaan ja mainitaan tai tuhoutuu.

syntyy jännite oppineiden tarpeen saada työnsä mahdollisimman laajaan levitykseen ja kustantajan tarpeen maksimoida tuottonsa levittämällä tietoa niille, jotka siitä maksavat. Lisäksi pohditaan kirjaston tarvetta tarjota tukea saavien oppineiden tarvitsemaa tietoa. While Harnad (1996), Singleton (1993) ja Oppenheim et al. (2000) kehystää tämä jännite suhteessa oppineiden, kustantajien ja kirjastonhoitajien omiin etuihin, ei ole todisteita siitä, että mikään näistä osapuolista toimisi tunteettoman oman edun vuoksi. Todisteet viittaavat pikemminkin siihen, että kukin osapuoli pyrkii toimimaan tiedon tuottamisen, varastoinnin ja levittämisen hyväksi, mutta tekee sen eri parametrien puitteissa.

hyväksymällä väitteen, että tutkijat käyttävät kirjastoja ensisijaisena lähteenä olemassa olevan tiedon hakemiseen ja ensisijaisena arkistona uudelle tieteelliselle työlle, on mahdollista asettaa tutkijoille futuurit joidenkin kirjastoja koskevien skenaarioiden perusteella. Joitakin tulevaisuuden mahdollisuuksia voidaan kartoittaa kirjastoissa tapahtuvaa teknologista kehitystä vasten. On olemassa joukko kirjastoja, jotka kokeilevat mahdollisten tulevaisuuksien parametreja, ja nämä samat kirjastot voidaan tunnistaa tarjoavan tietoa, jota tutkijat hyödyntävät, olivatpa ne akateemisia, yritys–, hallitus -, K-12 -, sotilas -, julkinen-tai erikoiskirjastoja (katso Andrews, 2007). Erikoiskirjastot ovat kahdennenkymmenennen vuosisadan ilmiö vain nimellisesti, sillä ne ovat olleet toiminnassa 1000 vuotta tai kauemmin sellaisten lääketieteellisten teosten kuin Hippokrateen ja Galenoksen arkistoina ja munkkien kasvitieteilijöiden konsultoimina rohdosvalmisteina. Tällaisen erikoistumisen merkityksessä he harjoittavat erilaisia tiedonsaantitoimia, koska heille on annettu painopisteitä, ja niiden merkitys on kasvanut sitä mukaa kuin tieteellinen menetelmä on saanut vaikutusvaltaa oppineisuudessa. Esimerkiksi lääketieteen ja kirurgian kaltaisten alojen lisääntynyt tietämys ja erikoisalat ovat edellyttäneet, että näiden alojen ammattilaiset ovat saaneet käyttöönsä mahdollisimman ajankohtaista ja ajankohtaista aineistoa. Yhä käräjöivä yleisö on entisestään korostanut osaamisvaluutan merkitystä, sillä siitä voidaan rangaista väärinkäytöksenä. Lakiammattilaiset turvautuvat kirjallisten asiakirjojen konsultointiin; kauppa edellyttää asiakirjojen saatavuutta; tutkijat ja teknologiat edellyttävät samanlaista nopeaa pääsyä siihen, mitä heidän alallaan on tällä hetkellä saatavilla. Erikoiskirjastot ovat olleet erityisen innokkaita mukauttamaan uutta teknologiaa keskeiseksi ainoaksi olemassaolonsa syyksi, ”kalliiden ammattitietotyöntekijöiden tehostamiseksi työssään” (Lerner, 1999: 182), mutta tieteellisessä toiminnassa painotetaan enemmän akateemista kirjastoa kuin muita. Tiedon tuottamiseen ja levittämiseen, tiedon arkistointiin ja tällaisten tallennustapojen mahdollisiin seurauksiin liittyvä oppineisuuden tulevaisuus liittyy läheisesti tällaisten kirjastojen tulevaisuuteen, jota ei voida pitää oppineiden perinteisen toiminnan ja heidän nykyisen kirjastoon tukeutumisensa haasteena vaan mekanismina, joka voi synnyttää uusia tiedon portinvartioinnin muotoja. Kun otetaan huomioon 2000-luvun episteemien osana julkaistun aineiston määrä, kirjastonhoitajan rooli tulee entistäkin tärkeämmäksi julkaistun Aineiston saatavuudessa-sitä on aivan liian paljon, jotta tutkijat voisivat omistaa yksityiskokoelmansa. Nimellä Lerner (ibid.) asettaa sen, rooli kirjastonhoitaja priorisoi pääsy yli omistus mitä julkaistaan.

nykysuuntaus on, että kirjastot siirtyvät hyllyillä olevista kirjoista ja lehdistä järjestelmään, jossa ne ovat yhteydessä kustantajien digitaalisiin arkistoihin, joten varsinaisina arkistoina eivät enää toimi kirjastot. He voivat jatkaa tiedekunnan henkisen pääoman keräämistä, tallentamista, säilyttämistä, indeksointia ja jakamista tieteellisten julkaisujensa ja opetusmateriaalinsa muodossa (Hayes, 2005), mutta kustantamot toimivat nyt digitaalisina arkistoina niille tieteellisen työn osa-alueille, jotka lasketaan julkaisuiksi. Kun ne on tallennettu, seuraava teknologinen kysymys on se, miten ne tiedot haetaan. Digitaaliseen tuottamiseen ja julkaisemiseen suuntautuminen tuo mukanaan riskejä erityisesti sähköiseen julkaisemiseen liittyvän arkistoinnin osalta. Manguel (2008: 75-6) antaa esimerkin 1986 BBC: n rahoittamasta 2,5 miljoonan punnan hankkeesta säilyttää yhdennentoista vuosisadan Domesday Book sähköisesti. Tähän projektiin osallistui yli 1 miljoonaa ihmistä, jotka pyrkivät säilyttämään 12-tuumaisten laserlevyjen tiedot, joita BBC: n mikrotietokone lukisi. Se oli valtava projekti, mutta vuoteen 2002 mennessä noiden levyjen sisältämiin tietoihin ei ollut pääsyä, koska laitteisto oli vanhentunut. Alkuperäinen on Kew Public Records Office, ja edelleen on ainoa tapa päästä arvokasta tietoa se sisältää. Domesday Project tuo esiin ongelmat, joita syntyy nopeasti muuttuvista teknologioista, jotka liittyvät aineiston arkistointiin tavoilla, jotka pysyvät pysyvästi luettavissa ja siten kaikkien saatavilla tulevaisuudessa.

kuten Lerner (1999) huomauttaa, teknologian ohjelmistojen ja laitteistojen nopea vanhentuminen on liian tärkeässä asemassa päätettäessä siitä, mitä voidaan tallentaa digitaalisesti tai ei. Meillä on ollut satoja vuosia aikaa arvioida ja arvioida aikaisempia kirjastojen säilytys-ja hakujärjestelmiä, mutta hyvin vähän aikaa tehdä tätä informaatiotieteen digitalisoiduilla lähestymistavoilla. Silti teemme päätöksiä ilman, että meillä on ollut aikaa kokea sellaisia asioita, joita Domesday Project saattaa vain ennustaa. Monet teokset katosivat siirryttäessä kirjakääröistä koodekseihin, ja se tapahtui aikana, jolloin ei tarvinnut käsitellä nykyajan julkaisujen runsautta. Kirjoja digitaalisesti säilyttävän teknologian säilyttäminen on lisäulottuvuus informaatiotieteen kehittyvään ongelmaan. Vuonna 1996 Kongressin kirjasto ei ainoastaan kopioinut, vaan itse asiassa korvasi suurimman osan 1800-luvun lopun ja 1900-luvun alun sanomalehtikokoelmistaan mikrofilmeillä, tuhoten alkuperäiset osana prosessia. Siitä alkoi trendi kirjastoissa ympäri Yhdysvaltoja ja Britanniaa. British Libraryn toisen maailmansodan pommituksista selvinneiden sanomalehtien kokoelma laitettiin systemaattisesti mikrofilmille ja alkuperäiset tuhottiin sitten (Manguel, 2008). Tällaisissa tapauksissa luottamus mikrofilmin, suhteellisuusteorian mutkattoman teknologian, kestokykyyn on todella raskasta. Emme kuitenkaan vielä tiedä, kuinka luotettavia viimeisimmät kehitysvaiheet voivat olla Lernerin (1999) kuvaaman kirjastojen valtavan urakan toteuttamisessa.: 200), kerätä ja säilyttää kirjaa ihmisen aikaansaannoksista ja mielikuvituksesta ja ”antaa tämä ennätys niiden käsiin, jotka sitä käyttävät”. Eri biblioklasmat ovat viitanneet siihen, että kyseessä ei ole koskaan varmuuden alue.

todistavat Henrik VIII: n aikana lakkautettujen luostarien kirjojen katoamista 1500-luvulla ja luostarien kirjastokokoelmien hajaantumista Ranskan vallankumouksen aikana, jolloin kirjat olivat uhka viranomaisten asemille. Sensuuri on toinen tärkeä osoitus tästä. Natsien kirjanpolttotoiminta 1930-luvulla tuomittiin yleisesti heidän hyökkäyksestään tiedon tavoittelua vastaan, kun satoja juutalaisia kirjastoja poltettiin sekä henkilökohtaisia ja julkisia kokoelmia ja tietyt tutkijat ja kirjailijat kiellettiin. Kauhistuttavinta tässä on Heinrich Heinen 1820-luvulla kirjoittaman ”dire warning” – kirjan liian myöhäinen muistelu: missä tahansa he polttavat kirjoja, he lopulta polttavat myös ihmisiä.”Peter Drucker oli yksi kirjailijoista, joita natsit pitivät vaarallisina, koska hänen varhaiset kirjansa poltettiin. Jopa se, mikä voi tuntua harmittomalta, Vera Brittain (1979) muisteli nuoruuden testamentissa käytyä suurta sotaa ja hän itse natsien menestyessä Britanniassa, merkittiin tuhottavaksi (Brittain, 1980). Neuvostoliittolaiset tuhosivat kirjastoja ympäri Neuvostoliittoa samaan aikaan, kun Us House Committee on Un-American Activities käytti lähes hysteeristä kontrollia siitä, mitä voitaisiin julkaista tai lukea tai laittaa käsikirjoitukseen näyteltäväksi elokuvassa tai näyttämöllä. Joe McCarthyn ja hänen kommunisteja arvostelevien tuomioidensa vaikutuksesta kirjoja poistettiin 200 US International Information Administration (IIA) – kirjaston hyllyiltä, ja niitä arvosteltiin laajalti kirjojen polttamisen vastineina (Cremin, 1988: 465). Ei siis ihme, että vuonna 1953 Ray Bradbury (1997) innostui kirjoittamaan teoksensa Fahrenheit 451, jossa tulevaisuuden ’palomies’ on sellaisten kirjojen polttaja, jotka saattavat vaikuttaa haitallisesti mukautuvaan ajatteluun Yhdysvaltain kansalaisissa. Tätä pidettiin vaarallisena asiana, käsitteenä, joka ei ole lainkaan Uusi kirjantuotannon historiassa. Ilmeisesti 451 °F on lämpötila, jossa kirjojen polttaminen tapahtuu tehokkaimmin.

Barthesin (1988) käsitys kirjailijan kuolemasta on abstrakti, joka on syntynyt 2000-luvulla kirjoissa ilmenneen vallan ja tiedon välisen yhteyden kyseenalaistamisesta, näkemys, joka pitää kaikkea tietoa suhteellisena ja sen luomista yhtä paljon kirjan lukijasta kuin kirjoittajastakin. Se on ajatus, joka on synnyttänyt runsaasti tutkimustoimintaa kirjallisuuskritiikissä, mutta sillä on laajempia sovelluksia suhteessa stipendiin, koska kyse on enemmän kirjan sisällön disentanglaamisesta kuin niiden tulkinnasta. Lukijat eivät ole tässä tapauksessa tietoisia siitä, mitä he lukevat, vaan siitä, miten he itse, ilman kenenkään kirjailijan työn sovittelua, tekevät merkitystä sille, mitä on kirjoitettu. Tällainen abstrakti käsite on suuresti avannut akateemista keskustelua tiedon luonteesta ja sen suhteesta oppineisuuteen, mutta Barthesin kaavailema kuoleman muoto, jota Foucault myös (1977) on pohtinut käsitellessään omaa kysymystään ” mikä on tekijä?”, on abstrakti. Kirjojen koettu voima on sellainen, että kirjailijoiden kuolemat ovat olleet hyvin todellisia ja fyysisiä läpi länsimaisen historian ja aina nykypäivään asti.

Todista Salman Rushdielle hänen kirjoittamansa kirjan seuraukset. Witness too the case of Roberto Saviano, described by Chenery (2009). Loppuvuodesta 2008 tuhannet ihmiset osoittivat mieltään eri puolilla Italiaa ”Io sono Saviano” (minä olen Saviano)-nimisellä Spartacus-tyyppisellä t-paidalla varustetuissa vaatteissa tukeakseen tätä kirjailijaa, joka oli hyvin todellisen kuoleman uhan alla, mutta ei minkään uskonnollisen tai ideologisen lähteen taholta: vaaran lähde hänelle on Mafia, sillä kuten hän sanoo, ”asettuminen klaaneja vastaan muuttuu selviytymissodaksi” (ibid.: 26). Mitä hän oli tehnyt? Hän oli kirjoittanut kirjan nimeltä Gomorrah: Italy ’ s Other Mafia. Ehkä kuvaavin kohta on se, mitä Chenery sanoo Savianon itse huomauttaneen, että ’ hänen kirjallaan on oma elämänsä tuolla maailmassa. Camorra ei voi tappaa kirjaa” (ibid.: 27). Hän elää piilossa vankina, joka ei ole syyllistynyt mihinkään rikokseen, jonka me tunnustaisimme, ja tämä on valtava henkilökohtainen veronsa. Näinä digitaalisen tekstintuotannon ja kirjastoihin ja niiden arkistoihin eri puolilla maailmaa tallennettujen massatuotettujen painokappaleiden päivinä kirjailijat huomaavat olevansa uhattuina, vaikka heidän kirjansa säilyisivät. Juuri se seikka, että he kirjoittavat kirjansa, herättää sellaisia vihamielisiä reaktioita, jotka korostavat kirjan heikentymätöntä voimaa.