• Articles
• admin

Research quality assessment exercises

Evaluation und Bewertung von Forschung und Wissenschaft sind nicht neu. Sogar die wissenschaftlichen Debatten des Athens des sechsten Jahrhunderts beinhalteten eine Bewertung, und diese Bewertung basierte darauf, ob die Rhetorik das Publikum überzeugte oder nicht. Die seit den wissenschaftlichen Gesellschaften bestehende Tradition des Peer Reviews ist eine weitere Form der Evaluation und Bewertung. Neu an aktuellen Forschungsqualitäts- und Bewertungsübungen ist, dass die Leistung im Verhältnis zu anderen Personen und jede Institution im Verhältnis zu anderen Institutionen in ihrem Land beurteilt wird. Die relative Qualität wird verwendet, um die Höhe der öffentlichen Gelder zu bestimmen, die jede Institution erhalten wird. In den meisten Ländern wird die Qualität eines einzelnen Wissenschaftlers wahrscheinlich auf institutioneller Ebene bewertet, da die Institutionen versuchen, ihren Anteil an begrenzten Finanzierungsmitteln zu maximieren. Während diese Forschungsqualitätsbewertungen auf einzelne Länder beschränkt sind, dient die Verwendung von Hochschulrankingsystemen wie dem Times Higher Education Supplement System und dem Jiao Tong System dazu, die Bewertung der Forschungsqualität global zu gestalten.

Diese Qualitätsbeurteilungen waren Gegenstand vieler wissenschaftlicher Debatten. Einerseits wird argumentiert, dass die Bewertung und Sicherung der akademischen Qualität der Hochschulbildung inhärent ist (Brown, 2004: x), und dass solche Bewertungsübungen sicherstellen, dass nur qualitativ hochwertige Forschung durch öffentliche Mittel unterstützt wird. Auf der anderen Seite stellen sich Fragen bezüglich der engen Sichtweise von Qualität, die in solchen Übungen verwendet wird. Der strittige Charakter dessen, was als Qualitätsmaßnahmen gilt, hat zu Diskussionen geführt, aus denen aus verschiedenen Qualitätsübungen auf der ganzen Welt hervorgeht, dass ‚Qualität‘ ‚Rechenschaftspflicht‘ bedeutet und dass Qualitätsrahmen ein Mittel sind, um die Zuweisung begrenzter Ressourcen zu rechtfertigen. Die allgemeine Lehre von Forschungsqualitätsbewertungsübungen ist, dass Institutionen, die öffentliche Mittel erhalten, stärker für den Erhalt dieser Mittel verantwortlich sind, und die Transparenz, die durch diese Bewertungen entsteht, wird den Institutionen die Fähigkeit geben, die Wettbewerbsfähigkeit auf dem globalen Bildungsmarkt sicherzustellen.

Die Research Assessment Exercise (RAE) in Großbritannien ist ein Beispiel für diese Art von Streit. Der RAE bewertet bestimmte Maßnahmen, die von der Regierung als repräsentativ für die Qualität der an Hochschulen durchgeführten Forschung angesehen werden. Die Ratings werden verwendet, um die selektive Zuweisung von Mitteln zu informieren (Roberts, 2003). Roberts sagt, dass einer der Gründe für die Entwicklung dieses Systems darin bestand, Qualitätsforschung zu fördern und sicherzustellen, dass diejenigen Universitäten, die nachweisen können, dass sie den höchsten Anteil (Quantität) dieser Qualitätsforschung produzieren, den größten Anteil der verfügbaren Mittel erhalten. Dies sind in der Tat edle Ideale, und es fällt einem schwer zu argumentieren, dass es nicht im öffentlichen Interesse liegt, für die Verwendung öffentlicher Mittel verantwortlich zu sein. Mit solchen Idealen scheinen diese Bewertungsübungen – mit Standardmaßnahmen, die scheinbar transparent sind – außerhalb des berechtigten Interesses von Einzelpersonen oder Institutionen zu liegen. Was bei solchen Übungen maskiert wird, ist, dass die darin enthaltenen Maßnahmen von verschiedenen Interessengruppen unterstützt wurden.

In diesen Qualitätsfinanzierungsmodellen zu gewinnen bedeutet viel Geld. In Australien zum Beispiel sind 23 Prozent der Wettbewerbsförderung für Universitäten für Forschung und Forschungsausbildung bestimmt. Während Hochschulen auf der ganzen Welt um größere Teile ihres nationalen Finanzierungskuchens wetteifern, müssen sie sich an die Autoren der gemessenen Ergebnisse, die Wissenschaftler, wenden, um zur Verbesserung und / oder Aufrechterhaltung hoher Bewertungen beizutragen. Unabhängig von der Bandbreite der Maßnahmen, die in den Qualitätsbewertungen der verschiedenen Nationen enthalten sind, ist das vorherrschende Maß der vom Institut für wissenschaftliche Information (ISI) berechnete Impact Factor. Die Verwendung dieser Maßnahme bedeutet, dass es für Wissenschaftler nicht ausreicht, in Peer-Review-Zeitschriften zu veröffentlichen; sie müssen die Anzahl der Artikel, die sie in ISI-Zeitschriften veröffentlichen, maximieren.

In diesem Zusammenhang können die wissenschaftlichen oder referierten Zeitschriften (beachten Sie, dass nicht alle Peer-Review-Zeitschriften in den ISI-Rankings erscheinen) untersucht werden. Das Verständnis des aktuellen Platzes, den die referierte Zeitschrift innerhalb der wissenschaftlichen Tätigkeit einnimmt, ist wichtig, da Änderungen an Zeitschriften, sowohl technologisch als auch wirtschaftlich, direkte Auswirkungen auf die Arbeitsweise von Wissenschaftlern haben. Änderungen an Zeitschriften können in Bezug darauf bewertet werden, wie sie die aktuelle wissenschaftliche Kultur unterstützen, ebenso wie ihre Fähigkeit, einen Wandel in dieser Kultur zu unterstützen. Dies bietet die Voraussetzungen für ein anderes Szenario. Nicht alle Wissenschaftler werden ein wissenschaftliches Buch veröffentlichen, aber alle Wissenschaftler müssen regelmäßig in Peer-Review-Zeitschriften veröffentlichen, und der Trend geht jetzt dahin, dass die Belohnungen an diejenigen fließen, die in ISI-Zeitschriften veröffentlichen. Damit dürfte die wissenschaftliche ISI-Zeitschrift eine privilegierte Stellung bei der Auswahl und Archivierung wissenschaftlicher Literatur einnehmen. Es ist vernünftig anzunehmen, dass derzeit die wissenschaftliche Zeitschrift und nicht das Buch das wichtigste Wissensspeicher innerhalb akademischer Disziplinen ist, und dass es in Zukunft eine kleine Auswahl solcher Zeitschriften sein wird, die zählen werden. Man kann sich dann vorstellen, welche Veränderungen in Bezug auf die Produktion, Verbreitung und Archivierung wissenschaftlicher Arbeit in der Zukunft möglich und wahrscheinlich sind.

Aktuelle Triebfedern der wissenschaftlichen Arbeit, die Übungen zur Forschungsqualität und die ISI-Publikation, erlauben den Beginn einer Imagination von Zukunftsszenarien. Wissenschaftliche Zeitschriftenveröffentlichungen, die mit der Royal Society als Mittel zur Verbreitung von Informationen begannen, bewegten sich im zwanzigsten und einundzwanzigsten Jahrhundert in eine Position, in der Gelehrte in einem System belohnt wurden, das um wissenschaftliche Veröffentlichungen über das wissenschaftliche Buch oder die blinde, von Experten begutachtete Zeitschriftenveröffentlichung herum aufgebaut wurde. Die Belohnungen sind Prestige, Amtszeit, Beförderung und Finanzierung. Jahrhunderts die Bewertung der Forschung und der Beitrag des Einzelnen zum Ranking einer Institution weiterhin der stärkste externe Treiber wissenschaftlicher Arbeit sein – die ISI-Zeitschrift dürfte das Mittel sein, mit dem Wissenschaftler Prestige, Amtszeit, Beförderung und Finanzierung sichern können.

Wo Quantität, wie in Forschungsbewertungsübungen definiert, das Maß der wissenschaftlichen Leistung war, haben sich Probleme für Wissenschaftler ergeben, die ihre Arbeit nicht veröffentlichen konnten. Die begrenzte Anzahl von ISI-Zeitschriften kann das Prestige dieser Zeitschriften erhöhen, aber die Konsequenz für den Gelehrten ist, dass aufgrund des begrenzten Platzes ein intensiver Wettbewerb um die Veröffentlichung besteht. Wissenschaftler können sich bei anderen Zeitschriften einreichen, in der Hoffnung, dass die Arbeit zumindest irgendwo veröffentlicht wird, solange dies irgendwo eine referierte Zeitschrift ist. Mit der Verlagerung zur Qualität, auch mit Quantität und Qualitätsmaßnahmen, kann man erwarten, dass Wissenschaftler nach Wegen suchen, um die Exposition ihrer Arbeit zu maximieren. Das internationale Maß für die Qualität ist die Wirkung: die Anzahl der Male, die ein Papier von anderen zitiert wird. Für den Gelehrten bedeutet der Trend zu einem zitationsbasierten System, dass viele Menschen ihre Arbeit lesen müssen, nicht nur eine kleine Gruppe von Schiedsrichtern, die ihre Arbeit in einer Zeitschrift lesen und akzeptieren. Zitate können aus nicht referiertem Material entstehen, was Möglichkeiten zur Selbstveröffentlichung eröffnet. In einem Klima von Publish-and-be-cited-or-perish sehen Wissenschaftler webbasiertes Publizieren als attraktive Alternative.

Es entsteht eine Spannung zwischen dem Bedürfnis der Gelehrten, ihre Arbeit so weit wie möglich zu verbreiten, und dem Bedürfnis des Verlegers, den Gewinn zu maximieren, indem er Informationen an diejenigen verbreitet, die dafür bezahlen. Eine weitere Überlegung ist die Notwendigkeit der Bibliothek, Zugang zu Informationen zu bieten, die von den von ihnen unterstützten Wissenschaftlern benötigt werden. Während Harnad (1996), Singleton (1993) und Oppenheim et al. (2000) Angesichts dieser Spannung in Bezug auf Interessen von Wissenschaftlern, Verlegern und Bibliothekaren gibt es keinen Beweis dafür, dass eine dieser Parteien aus gefühllosem Eigeninteresse handelt. Vielmehr legt die Evidenz nahe, dass jede Partei versucht, im Interesse der Wissensproduktion, -speicherung und -verbreitung zu handeln, dies jedoch innerhalb unterschiedlicher Parameter tut.

Wenn man den Satz akzeptiert, dass Wissenschaftler Bibliotheken als primäre Quelle für das Abrufen von vorhandenem Wissen und als primäres Repository für neue wissenschaftliche Arbeiten verwenden, ist es möglich, auf der Grundlage einiger Szenarien über Bibliotheken eine Zukunft für Wissenschaftler zu postulieren. Einige Möglichkeiten für die Zukunft der Wissenschaft können gegen technologische Entwicklungen in Bibliotheken abgebildet werden. Es gibt eine Reihe von Bibliotheken, die mit Parametern möglicher Zukünfte experimentieren, und dieselben Bibliotheken können als Informationen identifiziert werden, auf die Wissenschaftler zurückgreifen, seien es akademische, Unternehmens–, Regierungs-, K-12-, Militär-, öffentliche oder spezielle Bibliotheken (siehe Andrews, 2007). Spezielle Bibliotheken sind ein Phänomen des zwanzigsten Jahrhunderts nur dem Namen nach, denn sie sind seit 1.000 Jahren oder länger in Betrieb, als Aufbewahrungsorte von medizinischen Werken wie denen von Hippokrates und Galen und Aufzeichnungen von pflanzlichen Heilmitteln, die von Mönchsbotanikern konsultiert wurden. Im Sinne einer solchen Spezialisierung betreiben sie aufgrund ihrer Schwerpunkte unterschiedliche Wissenszugriffsaktivitäten und gewinnen zunehmend an Bedeutung, da die wissenschaftliche Methode in der Wissenschaft an Einfluss gewonnen hat. Das zunehmende Wissen und die Spezialisierungen in Bereichen wie Medizin und Chirurgie haben beispielsweise einen sofortigen Zugang von Fachleuten auf diesen Gebieten zu den relevantesten und aktuellsten verfügbaren Materialien erforderlich gemacht. Eine zunehmend streitlustige Öffentlichkeit hat die Bedeutung der Wissenswährung weiter unterstrichen, die als Fehlverhalten bestraft werden kann. Juristen verlassen sich auf die Beratung schriftlicher Dokumente; Der Handel erfordert einen schnellen Zugriff auf Dokumente; Wissenschaftler und Technologen benötigen einen ähnlich schnellen Zugriff auf das, was derzeit auf ihrem Gebiet verfügbar ist. Spezielle Bibliotheken waren besonders eifrig bei der Anpassung neuer Technologien als zentral für ihren alleinigen Existenzgrund, ‚um die teuren professionellen Wissensarbeiter effektiver in dem zu machen, was sie tun‘ (Lerner, 1999: 182), aber was die wissenschaftliche Tätigkeit betrifft, So liegt der Schwerpunkt mehr auf der akademischen Bibliothek als auf anderen Typen. Die Zukunft der Wissenschaft in Bezug auf die Produktion und Verbreitung von Informationen, die Archivierung dieser Informationen und die möglichen Folgen solcher Speichermethoden hängt eng mit der Zukunft solcher Bibliotheken zusammen, die nicht als Herausforderung traditioneller Aktivitäten von Wissenschaftlern und ihrer derzeitigen Abhängigkeit von der Bibliothek angesehen werden können, sondern als Bereitstellung von Mechanismen, die zu neuen Formen der Aufbewahrung von Wissen führen können. Angesichts der Menge an Material, das als Teil der Episteme des einundzwanzigsten Jahrhunderts veröffentlicht wurde, wird die Rolle des Bibliothekars bei der Bereitstellung des Zugangs zu dem, was veröffentlicht wird, noch wichtiger – es gibt viel zu viel, um Privatbesitz von Wissenschaftlern in ihren Privatsammlungen zu ermöglichen. Wie Lerner (ebd. mit anderen Worten, die Rolle des Bibliothekars priorisiert den Zugriff über das Eigentum an dem, was veröffentlicht wird.

Es gibt einen aktuellen Trend für Bibliotheken, sich von Büchern und Zeitschriften in Regalen zu einem System zu bewegen, in dem sie mit den digitalen Repositorien der Verlage verbunden sind, so dass es nicht mehr die Bibliotheken sind, die als eigentliche Repositorien fungieren. Sie können weiterhin das intellektuelle Kapital der Fakultät in Form ihrer wissenschaftlichen Publikationen und Lehrmaterialien sammeln, speichern, bewahren, indexieren und teilen (Hayes, 2005), aber es sind die Verlage, die jetzt als digitale Repositorien für die Aspekte der wissenschaftlichen Arbeit fungieren, die als Publikationen gelten. Sobald diese gespeichert sind, ist die nächste technologische Frage, wie diese Informationen abgerufen werden sollen. Der Trend zur digitalen Produktion und Publikation bringt Risiken mit sich, insbesondere in Bezug auf die Archivierung elektronischer Publikationen. Manguel (2008: 75-6) gibt das Beispiel des 1986 von der BBC finanzierten £ 2.5 Millionen-Projekts zur elektronischen Erhaltung des Domesday Book aus dem elften Jahrhundert. An diesem Projekt beteiligten sich mehr als 1 Million Menschen, die daran arbeiteten, die Informationen auf 12-Zoll-Laserdiscs aufzubewahren, die von einem speziellen BBC-Mikrocomputer gelesen werden sollten. Es war ein enormes Projekt, aber bis 2002 konnte auf keine der auf diesen Discs enthaltenen Informationen zugegriffen werden, da die Hardware veraltet war. Das Original befindet sich im Kew Public Records Office und ist nach wie vor die einzige Möglichkeit, auf die darin enthaltenen unschätzbaren Informationen zuzugreifen. Das Domesday-Projekt beleuchtet die Probleme, die sich aus sich schnell ändernden Technologien in Bezug auf die Archivierung von Material ergeben, das dauerhaft lesbar und damit auch in Zukunft für alle zugänglich bleibt.

Wie Lerner (1999) hervorhebt, spielt die schnelle Veralterung von Technologie-Software und -Hardware eine übermäßig wichtige Rolle bei Entscheidungen darüber, was digital gespeichert werden kann oder nicht. Wir hatten Hunderte von Jahren Zeit, um frühere Systeme der Ein- und Auslagerung von Bibliotheksbeständen zu bewerten und zu bewerten, aber sehr wenig Zeit, dies mit digitalisierten Ansätzen der Informationswissenschaft zu tun. Dennoch treffen wir Entscheidungen, ohne die Zeit gehabt zu haben, die Dinge zu erleben, die das Domesday-Projekt nur ankündigen könnte. Viele Werke gingen mit dem Übergang von Schriftrollen zu Kodexen verloren, und das zu einer Zeit, als die Fülle an Publikationen der Neuzeit nicht behandelt werden musste. Die Erhaltung der Technologie, die Bücher digital aufbewahrt, ist eine zusätzliche Dimension des Problems, das Fortschritte in der Informationswissenschaft darstellen. Im Jahr 1996 die Library of Congress nicht nur kopiert, sondern tatsächlich ersetzt die meisten seiner späten neunzehnten und frühen zwanzigsten Jahrhunderts Zeitungen Sammlung mit Mikrofilmen, die Zerstörung der Originale als Teil des Prozesses. Es war der Beginn eines Trends in Bibliotheken in den Vereinigten Staaten und Großbritannien. Die Sammlung der British Library von Zeitungen, die es geschafft hatten, die Bombardierung des Zweiten Weltkriegs zu überleben, wurde systematisch auf Mikrofilm gebracht und dann die Originale zerstört (Manguel, 2008). In solchen Fällen ist die Abhängigkeit von der Fähigkeit des Mikrofilms, einer relativitätstheoretischen Technologie, zu ertragen, in der Tat schwer. Wir wissen jedoch noch nicht, wie zuverlässig die neuesten Entwicklungen bei der Durchführung des von Lerner (1999) beschriebenen enormen Unterfangens von Bibliotheken sein können: 200), um die Aufzeichnung menschlicher Leistung und Vorstellungskraft zu sammeln und zu bewahren und ‚diese Aufzeichnung in die Hände derer zu legen, die sie verwenden würden‘. Verschiedene Biblioklasmen der Vergangenheit haben gezeigt, dass dies niemals ein Bereich der Gewissheit ist.

Erleben Sie den Verlust von Büchern aus den unter Heinrich VIII. im fünfzehnten Jahrhundert aufgelösten Klöstern und die Zerstreuung der Klosterbibliotheksbestände in der Zeit der Französischen Revolution, in der Bücher die Positionen der Behörden bedrohten. Zensur ist ein weiterer wichtiger Beweis dafür. Die Bücherverbrennungsaktivitäten der Nazis in den 1930er Jahren werden allgemein für ihren Angriff auf das Streben nach Wissen verurteilt, als Hunderte jüdischer Bibliotheken zusammen mit persönlichen und öffentlichen Sammlungen niedergebrannt und bestimmte Gelehrte und Schriftsteller verboten wurden. Ein sehr schrecklicher Aspekt davon ist die etwas zu späte Erinnerung an Heinrich Heines ‚düstere Warnung von 1820: ‚Wo immer sie Bücher verbrennen, werden am Ende auch Menschen verbrennen. Peter Drucker war einer der Autoren, die die Nazis für gefährlich hielten, da seine frühen Bücher verbrannt wurden. Selbst das scheinbar harmlose Werk von Vera Brittain (1979) mit ihren Erinnerungen an den Ersten Weltkrieg in Testament of Youth und sie selbst im Falle eines Nazi-Erfolgs über Großbritannien waren zur Zerstörung bestimmt (Brittain, 1980). Die Sowjets zerstörten Bibliotheken in der gesamten UdSSR zur gleichen Zeit, als der Ausschuss für unamerikanische Aktivitäten des US-Repräsentantenhauses eine fast hysterische Kontrolle darüber ausübte, was veröffentlicht, gelesen oder in ein Drehbuch aufgenommen werden könnte, das in Filmen oder auf der Bühne gespielt werden soll. Unter dem Einfluss von Joe McCarthy und seinen Denunziationen von Kommunisten in den Vereinigten Staaten wurden Bücher aus den Regalen von 200 Bibliotheken der US International Information Administration (IIA) entfernt, die weithin als das Äquivalent von Bücherverbrennungen angeprangert wurden (Cremin, 1988: 465). Kein Wunder also, dass Ray Bradbury (1997) 1953 zu seinem Fahrenheit 451 inspiriert wurde, in dem der ‚Feuerwehrmann‘ der Zukunft ein Brenner jener Bücher ist, die das konformistische Denken der amerikanischen Bürger beeinträchtigen könnten. Dies wurde als gefährlich angesehen, ein Konzept, das in der Geschichte der Buchproduktion überhaupt nicht neu war. Anscheinend ist 451 ° F die Temperatur, bei der das Verbrennen von Büchern am effizientesten durchgeführt wird.

Barthes ‚ (1988) Konzept des Todes des Autors ist eine Abstraktion, die aus der Infragestellung des Macht-Wissens-Nexus, wie er sich in Büchern manifestiert, im zwanzigsten Jahrhundert hervorgegangen ist, eine Sichtweise, die alles Wissen als relativ und seine Schaffung ebenso über den Leser eines Buches wie über den Autor positioniert. Es ist eine Idee, die eine Reihe von Forschungstätigkeiten in der Literaturkritik hervorgebracht hat, aber es hat breitere Anwendungen in Bezug auf die Wissenschaft, da es darum geht, den Inhalt eines Buches mehr zu entwirren als zu interpretieren. Die Leser sind in diesem Fall nicht wegen dem, was sie lesen, sachkundig, sondern wegen der Art und Weise, wie sie selbst, ohne die Vermittlung der Arbeit eines Autors, aus dem Geschriebenen einen Sinn machen. Ein solches abstraktes Konzept hat viel dazu beigetragen, die wissenschaftliche Diskussion über die Natur des Wissens und seine Beziehung zur Wissenschaft zu eröffnen, aber die von Barthes ins Auge gefasste Art des Todes, eine Idee, die auch von Foucault (1977) im Umgang mit seiner eigenen Frage, Was ist ein Autor?‘, ist ein abstraktes. Die wahrgenommene Macht von Büchern ist so groß, dass der Tod von Autoren in der gesamten westlichen Geschichte und bis heute sehr real und physisch war.

Erleben Sie die Konsequenzen für Salman Rushdie in Bezug auf ein Buch, das er schrieb. Erleben Sie auch den Fall von Roberto Saviano, beschrieben von Chenery (2009). Ende 2008 protestierten Tausende von Menschen in Spartakus-ähnlichen T-Shirts mit der Aufschrift ‚Io sono Saviano‘ (Ich bin Saviano) in ganz Italien für diesen Autor, der sehr real vom Tod bedroht war, aber nicht aus religiösen oder ideologischen Gründen: Die Gefahrenquelle für ihn ist die Mafia, denn wie er sagt, ‚Sich gegen die Clans zu stellen, wird zu einem Überlebenskrieg‘ (ebd.: 26). Was hatte er getan? Er schrieb ein Buch mit dem Titel Gomorra: Italiens andere Mafia. Vielleicht ist der aussagekräftigste Punkt, was Chenery sagt Saviano selbst weist darauf hin,, dass ’sein Buch hat ein Eigenleben da draußen in der Welt. Die Camorra kann kein Buch töten (ebd.: 27). Er lebt versteckt, als Gefangener, der kein Verbrechen begangen hat, das wir anerkennen würden, und der persönliche Tribut ist enorm. In diesen Tagen der digitalen Textproduktion und der Massenproduktion von Druckkopien, die in Bibliotheken und ihren Archiven auf der ganzen Welt gespeichert sind, sind Autoren bedroht, selbst wenn ihre Bücher überleben. Es ist die Tatsache, dass sie ihre Bücher schreiben, die die Art von feindseligen Reaktionen hervorruft, die die unverminderte Kraft des Buches unterstreichen.