• Articles
• admin

Ejercicios de evaluación de la calidad de la investigación

La evaluación y valoración de la investigación y las becas no son nuevas. Incluso los debates académicos de la Atenas del siglo VI incluían la evaluación, y esa evaluación se basaba en si la retórica persuadía a la audiencia o no. La tradición de revisión por pares que ha existido desde las sociedades académicas es otra forma de evaluación y valoración. Lo nuevo de los ejercicios actuales de evaluación y calidad de la investigación es que el desempeño se juzga en relación con otros individuos, y cada institución se juzga en relación con otras instituciones dentro de su país. La calidad relativa se utiliza para determinar el nivel, en su caso, de dinero público que recibirá cada institución. En la mayoría de los países, es probable que la calidad de un académico individual se evalúe a nivel institucional, ya que las instituciones intentan maximizar su participación en los limitados recursos de financiación. Si bien estas evaluaciones de la calidad de la investigación se limitan a países individuales, el uso de sistemas de clasificación universitaria como el sistema de Suplemento de Educación Superior Times y el sistema Jiao Tong sí sirve para hacer que la evaluación de la calidad de la investigación sea global.

Estas evaluaciones de calidad han sido objeto de un gran debate académico. Por un lado, se argumenta que «la evaluación, la evaluación y la garantía de la calidad académica son intrínsecas a la educación superior» (Brown, 2004: x) y, según el argumento, tales ejercicios de evaluación garantizan que solo se apoye la investigación de calidad mediante financiación pública. Por otra parte, se plantean cuestiones relativas a la visión estrecha de la calidad utilizada en tales ejercicios. La naturaleza polémica de lo que se considera medidas de calidad ha dado lugar a debates de los que es posible deducir, a partir de diversos ejercicios de calidad en todo el mundo, que «calidad» significa «rendición de cuentas» y que los marcos de calidad son un medio para justificar la asignación de recursos limitados. El principio general de los ejercicios de evaluación de la calidad de la investigación es que las instituciones que reciben financiación pública serán más responsables de la recepción de esa financiación, y la transparencia que se obtiene a través de estas evaluaciones dará a las instituciones la capacidad de garantizar la competitividad en el mercado educativo mundial.

El ejercicio de evaluación de la investigación (RAE) en el Reino Unido es un ejemplo de este tipo de contención. La RAE ofrece calificaciones de las medidas particulares que son vistos por el gobierno como representación de la calidad de la investigación realizada en las instituciones de educación superior. Las calificaciones se utilizan para informar la asignación selectiva de fondos (Roberts, 2003). Roberts dice que una de las razones para el desarrollo de este sistema fue promover la investigación de calidad y garantizar que las universidades que pueden proporcionar pruebas de que están produciendo la mayor proporción (cantidad) de dicha investigación de calidad recibirían la mayor proporción de fondos disponibles. Estos son, en efecto, nobles ideales, y sería difícil argumentar que ser responsable del uso de los fondos públicos no es de interés público. Con tales ideales, estos ejercicios de evaluación – con medidas estándar que son aparentemente transparentes-parecen estar más allá de los intereses creados de individuos o instituciones. Lo que se oculta en estos ejercicios es que las medidas que incorporan han sido apoyadas por diversos grupos de interés.

Ganar en estos modelos de financiación de calidad significa mucho dinero. En Australia, por ejemplo, el 23% de la financiación competitiva de las universidades se destina a la investigación y la capacitación en investigación. Si bien las instituciones de educación superior de todo el mundo compiten por obtener porciones más grandes de su pastel de financiación nacional, deben recurrir a los autores de los resultados medidos, los académicos, para contribuir a mejorar y/o mantener calificaciones altas. Cualquiera que sea la gama de medidas que incorporen las evaluaciones de calidad de los diferentes países, la medida predominante es la del «factor de impacto» calculado por el Instituto de Información Científica (Institute). Usar esto como medida significa que no es suficiente que los académicos publiquen en revistas revisadas por pares; deben maximizar el número de artículos que publican en las revistas I.

En este contexto, se pueden examinar las revistas académicas o arbitradas (tenga en cuenta que no todas las revistas revisadas por pares aparecen en el ranking I). Comprender el lugar que ocupa actualmente la revista arbitrada dentro de la actividad académica es importante, ya que los cambios en las revistas, tanto tecnológicos como económicos, tienen un impacto directo en las formas de trabajo de los académicos. Cualquier cambio en las revistas puede evaluarse en relación con la forma en que apoyan la cultura académica actual, al igual que su capacidad para apoyar un cambio en esa cultura. Esto proporciona los ingredientes de otro escenario. No todos los académicos publicarán un libro académico, pero se requiere que todos los académicos publiquen, de manera regular, en revistas revisadas por pares, y la tendencia ahora es que las recompensas fluyan a aquellos que publican en revistas delSI. Por lo tanto, es probable que la revista académica schol ocupe una posición privilegiada en la selección y el archivo de la literatura académica. Es razonable sugerir que actualmente es la revista académica, y no el libro, la principal fuente de conocimiento dentro de las disciplinas académicas, y que en el futuro será una pequeña gama de dichas revistas la que contará. Uno puede imaginar entonces qué cambios son posibles y probables en relación con la producción, difusión y archivo del trabajo académico en el futuro.

Los actuales impulsores clave del trabajo académico, los ejercicios de calidad de la investigación y la publicación delSI, permiten el comienzo de una imaginación de escenarios futuros. Las publicaciones de revistas académicas que comenzaron con la Royal Society como una forma de diseminar información se trasladaron a lo largo de los siglos XX y XXI a una posición donde los académicos fueron recompensados en un sistema que se ha construido alrededor de la publicación académica a través del libro académico o la publicación de revistas ciegas revisadas por pares. Las recompensas son el prestigio, la permanencia, la promoción y la financiación. A pesar de la controversia sobre las medidas de calidad y los ejercicios de evaluación y las cuestiones relacionadas con la revisión por pares o expertos de disciplinas específicas, en la segunda y tercera décadas del siglo XXI la evaluación de la investigación y la contribución del individuo a la clasificación de una institución continuará siendo el motor externo más fuerte del trabajo académico: es probable que la revista I sea el medio por el que los académicos pueden asegurar el prestigio, la tenencia, la promoción y la financiación.

Cuando la cantidad, tal como se define en los ejercicios de evaluación de la investigación, ha sido la medida de los logros académicos, han surgido problemas para los académicos que no han podido publicar su trabajo. El número limitado de revistas I puede aumentar el prestigio de esas revistas, pero la consecuencia para el académico es que el espacio limitado significa que hay una intensa competencia por la publicación. Los académicos pueden presentarse a otras revistas con la esperanza de que el trabajo se publique en algún lugar, al menos, siempre que este lugar sea una revista arbitrada. Con el cambio hacia la calidad, incluso con medidas de cantidad y calidad, uno puede esperar ver a los académicos buscar formas que maximicen la exposición de su trabajo. La medida internacional de la calidad es el impacto: el número de veces que un artículo es citado por otros. Para el académico, la tendencia a un sistema basado en citas significa que requiere que muchas personas lean su trabajo, no solo un pequeño grupo de árbitros que lean y acepten su trabajo en una revista. Las citas pueden surgir de material no arbitrado, lo que abre oportunidades para la auto-publicación. En un clima de publicación y ser citado o perecer, los académicos ven la publicación basada en la web como una alternativa atractiva.

Surge una tensión entre la necesidad de que los académicos tengan la mayor difusión posible de su trabajo y la necesidad del editor de maximizar los beneficios difundiendo información a quienes pagan por ella. Una consideración adicional es la necesidad de la biblioteca de proporcionar acceso a la información que necesitan los académicos a los que apoyan. Mientras Harnad (1996), Singleton (1993) y Oppenheim et al. (2000) enmarcan esta tensión en relación con intereses creados por parte de académicos, editores y bibliotecarios por igual, no hay evidencia de que ninguna de estas partes actúe por insensible interés propio. Más bien, la evidencia sugiere que cada parte trata de actuar en interés de la producción, el almacenamiento y la difusión de conocimientos, pero lo hace dentro de diferentes parámetros.

Aceptando la proposición de que los académicos usan las bibliotecas como la fuente principal para recuperar el conocimiento existente y el repositorio principal para el nuevo trabajo académico, es posible postular futuros para los académicos basados en algunos escenarios sobre bibliotecas. Algunas posibilidades para el futuro de la erudición se pueden comparar con los desarrollos tecnológicos dentro de las bibliotecas. Hay una gama de bibliotecas que experimentan con parámetros de futuros posibles, y estas mismas bibliotecas se pueden identificar como fuentes de información que utilizan los académicos, ya sean académicas, corporativas, gubernamentales, K–12, militares, públicas o especiales (véase Andrews, 2007). Las bibliotecas especiales son un fenómeno del siglo XX solo de nombre, ya que han estado en funcionamiento durante 1000 años o más como repositorios de obras médicas como las de Hipócrates y Galeno, y registros de remedios herbales consultados por botánicos monjes. En el sentido de este tipo de especialización, participan en diferentes tipos de actividades de acceso al conocimiento debido a sus focos dados, y se han vuelto cada vez más importantes a medida que el método científico ha ganado influencia en la erudición. Los conocimientos y especialidades cada vez mayores en campos como la medicina y la cirugía, por ejemplo, han exigido que los profesionales de esos campos tengan fácil acceso al material más pertinente y actual disponible. Un público cada vez más litigioso ha subrayado aún más la importancia de la moneda del conocimiento, que puede ser castigada como negligencia. Los profesionales del derecho confían en la consulta de documentos escritos; el comercio requiere un acceso rápido a los documentos; los científicos y los tecnólogos requieren un acceso rápido similar a lo que actualmente está disponible en su campo. Las bibliotecas especiales han sido particularmente asiduas en la adaptación de las nuevas tecnologías como elemento central de su única razón de ser, «para hacer que los trabajadores del conocimiento profesionales caros sean más eficaces en lo que hacen» (Lerner, 1999: 182), pero en lo que respecta a la actividad académica, se hace más hincapié en la biblioteca académica que en otros tipos. El futuro de la erudición en relación con la producción y difusión de información, el archivo de esa información y las posibles consecuencias de esos modos de almacenamiento está íntimamente relacionado con el futuro de esas bibliotecas, que pueden considerarse no como un desafío a las actividades tradicionales de los académicos y su dependencia actual de la biblioteca, sino como mecanismos que pueden dar lugar a nuevas formas de custodia del conocimiento. Dada la cantidad de material publicado como parte de epistemes del siglo XXI, el papel del bibliotecario se vuelve aún más importante para proporcionar acceso a lo que se publica, ya que hay demasiado para permitir la propiedad privada de los académicos en sus colecciones privadas. Como Lerner (ibíd.) dice que el papel del bibliotecario prioriza el acceso sobre la propiedad de lo que se publica.

Existe una tendencia actual de que las bibliotecas se alejen de los libros y revistas en estantes a un sistema en el que interactúan con los repositorios digitales de los editores, por lo que ya no son las bibliotecas las que actúan como repositorios reales. Pueden continuar recopilando, almacenando, preservando, indexando y compartiendo el capital intelectual de la facultad en forma de sus publicaciones académicas y material docente (Hayes, 2005), pero son las editoriales las que ahora actúan como repositorios digitales para aquellos aspectos del trabajo académico que cuentan como publicaciones. Una vez que se almacenan, el siguiente problema tecnológico es cómo se recuperará esa información. La tendencia hacia la producción y publicación digitales conlleva riesgos, en particular en relación con el archivo de publicaciones electrónicas. Manguel (2008: 75-6) da el ejemplo del proyecto de £2.5 millones financiado por la BBC en 1986 para preservar electrónicamente el libro Domesday del siglo XI. Este proyecto involucró a más de 1 millón de personas que trabajaban para preservar la información en discos láser de 12 pulgadas que serían leídos por un microordenador especial de la BBC. Fue un proyecto enorme, pero en 2002 no se pudo acceder a ninguna de las informaciones contenidas en esos discos, ya que el hardware estaba obsoleto. El original se encuentra en la Oficina de Registros Públicos de Kew, y sigue siendo la única forma de acceder a la valiosa información que contiene. El proyecto Domesday pone de relieve los problemas que surgen de las tecnologías en rápido cambio en relación con el archivo de material de manera que permanezca permanentemente legible y, por lo tanto, accesible para todos en el futuro.

Como señala Lerner (1999), la rápida obsolescencia de software y hardware de tecnología juega un papel demasiado importante en las decisiones de lo que puede almacenarse digitalmente o no. Hemos tenido cientos de años para evaluar y evaluar sistemas anteriores de almacenamiento y recuperación de fondos de biblioteca, pero muy poco tiempo para hacer esto con enfoques digitalizados de la ciencia de la información. Sin embargo, tomamos decisiones sin haber tenido el tiempo de experimentar el tipo de cosas que el proyecto Domesday podría presagiar. Muchas obras se perdieron con la transición de los pergaminos a los códices, y eso fue en un momento en que la profusión de publicaciones de la era moderna no tuvo que ser tratada. La preservación de la tecnología que preserva digitalmente los libros es una dimensión añadida al problema que presentan los avances en la ciencia de la información. En 1996, la Biblioteca del Congreso no solo copió, sino que reemplazó la mayor parte de su colección de periódicos de finales del siglo XIX y principios del siglo XX con microfilmes, destruyendo los originales como parte del proceso. Fue el comienzo de una tendencia en las bibliotecas de los Estados Unidos y Gran Bretaña. La colección de periódicos de la Biblioteca Británica que habían logrado sobrevivir al bombardeo de la Segunda Guerra Mundial se colocó sistemáticamente en microfilmes y luego se destruyeron los originales (Manguel, 2008). En tales casos, la dependencia de la capacidad del microfilm, una tecnología de relatividad sin complicaciones, para perdurar es realmente pesada. Pero aún no sabemos cuán confiables pueden ser los últimos avances en la realización de esa enorme empresa de bibliotecas descrita por Lerner (1999: 200), para recopilar y preservar el registro de los logros humanos y la imaginación y «poner este registro en manos de aquellos que lo usarían». Varios biblioclasmas del pasado han indicado que esto nunca es un área de certeza.

Sea testigo de la pérdida de libros de los monasterios disueltos bajo Enrique VIII en el siglo XV, y la dispersión de las colecciones de bibliotecas monásticas durante el período de la Revolución Francesa, donde los libros representaban una amenaza para las posiciones de las autoridades. La censura es otro testimonio importante de esto. Las actividades de quema de libros de los nazis en la década de 1930 son universalmente condenadas por su ataque a la búsqueda del conocimiento, cuando se incendiaron cientos de bibliotecas judías, junto con colecciones personales y públicas, y se proscribieron académicos y escritores específicos. Un aspecto más horroroso de esto es el recuerdo demasiado tardío de la terrible advertencia de Heinrich Heine de 1820: «Dondequiera que quemen libros, al final también quemarán seres humanos.»Peter Drucker fue uno de los autores a los que los nazis consideraban peligrosos, quemando sus primeros libros. Incluso lo que puede parecer la obra inocua de Vera Brittain (1979), con sus reminiscencias de la Gran Guerra en Testament of Youth, y ella misma en caso de éxito nazi en Gran Bretaña, fueron marcadas para la destrucción (Brittain, 1980). Los soviéticos destruyeron bibliotecas en toda la URSS al mismo tiempo que el Comité de Actividades Antiestadounidenses de la Cámara de Representantes de los Estados Unidos ejercía un control casi histérico sobre lo que podía publicarse, leerse o incluirse en un guion para representarse en una película o en el escenario. Bajo la influencia de Joe McCarthy y sus denuncias de comunistas en todo Estados Unidos, los libros fueron retirados de los estantes de 200 bibliotecas de la Administración Internacional de la Información (IIA) de Estados Unidos, ampliamente denunciados como el equivalente a la quema de libros (Cremin, 1988: 465). No es de extrañar, entonces, que en 1953 Ray Bradbury (1997) se inspirara para escribir su Fahrenheit 451, donde el ‘bombero’ del futuro es un quemador de aquellos libros que pueden afectar negativamente el pensamiento conformista en la ciudadanía estadounidense. Esto se consideraba una cosa peligrosa, un concepto que no era para nada nuevo en la historia de la producción de libros. Al parecer, 451 ° F es la temperatura a la que la quema de libros se realiza de manera más eficiente.

El concepto de Barthes (1988) de la muerte del autor es un abstracto nacido del cuestionamiento del siglo XX del nexo poder-conocimiento como se manifiesta en los libros, una visión que posiciona todo conocimiento como relativo y su creación tanto sobre el lector de un libro como sobre el autor. Es una idea que ha generado una gran cantidad de actividad de investigación en crítica literaria, pero tiene aplicaciones más amplias en relación con la erudición, ya que se trata de desenredar el contenido de un libro más que de interpretarlo. En este caso, los lectores no conocen lo que leen, sino las formas en que ellos mismos, sin la mediación de la obra de ningún autor, dan sentido a lo que se ha escrito. Un concepto tan abstracto ha hecho mucho para abrir la discusión académica sobre la naturaleza del conocimiento y su relación con la erudición, pero el tipo de muerte previsto por Barthes, una idea también explorada por Foucault (1977) al abordar su propia pregunta, » ¿Qué es un autor?», es una abstracta. Tal es el poder percibido de los libros que las muertes de autores han sido muy reales y físicas a lo largo de la historia occidental y hasta el día de hoy.

Sea testigo de las consecuencias para Salman Rushdie en relación con un libro que escribió. Testigo también del caso de Roberto Saviano, descrito por Chenery (2009). A finales de 2008, miles de personas, con camisetas tipo Spartacus estampadas con ‘Io sono Saviano’ (Soy Saviano), protestaron en toda Italia en apoyo de este autor, que estaba bajo una amenaza de muerte muy real, pero no de ninguna fuente religiosa o ideológica: la fuente de peligro para él es la Mafia, ya que, como dice, «Ponerse contra los clanes se convierte en una guerra de supervivencia» (ibíd.: 26). ¿Qué había hecho? Había escrito un libro llamado Gomorra: La otra Mafia de Italia. Quizás el punto más revelador es lo que Chenery dice que el propio Saviano señala, que » su libro tiene vida propia en el mundo. La Camorra no puede matar un libro » (ibid.: 27). Vive escondido, como un prisionero que no ha cometido ningún crimen que podamos reconocer, y el costo personal de esto es enorme. En estos días de producción de texto digital y copias impresas producidas en masa almacenadas en bibliotecas y sus archivos en todo el mundo, los autores se encuentran bajo amenaza incluso cuando sus libros sobreviven. Es el hecho mismo de escribir sus libros lo que provoca el tipo de reacciones hostiles que subrayan el poder sin disminución del libro.