por ARLEY RAMOS MORENO*
La producción intelectual y científica realizada en nuestra universidad pública
He aquí una pregunta y un enunciado, colocados a modo de título, que pueden ser aplicados a la producción intelectual y científica que se realiza en nuestra Universidad pública. El tema es actual y, por eso mismo, suscita controversias que sólo la discusión y la profundización podrán esclarecer y, quizás, calmar.
Como toda pregunta, esta que nos planteamos también forma parte de una duda: ¿es necesario, de hecho, evaluar la producción académica? Me parece que la evaluación es, en este caso, muy importante. Por varias razones. Me gustaría subrayar sólo dos de ellos, entre los otros posibles.
El primero se refiere a la importancia social de los resultados de la investigación académica: la calidad de los productos creados en la Universidad tendrá un impacto directo en la calidad de vida de la sociedad, cuando, por supuesto, estos resultados sean distribuidos e implementados adecuadamente por las autoridades públicas. y mecanismos varios que se ocupan de su transmisión. Se trata de cumplir con un deber ético, con la sociedad que sostiene la Universidad pública, de realizar evaluaciones periódicas y sistemáticas de los resultados de la investigación. Deber ético, no solo de evaluar, sino principalmente de buscar mejorar la calidad de los productos de la investigación: la evaluación debe ser un instrumento para la mejora de la investigación y no un fin en sí misma.
Desde este punto de vista, la importancia de la evaluación está ligada al carácter público de la institución universitaria, que no puede dejar de cumplir con esta forma de rendir cuentas a quienes depositan su confianza en ella, en forma de impuestos públicos.
Ahora bien, esta evaluación es bien diferente de otra, también muy importante, que se dirige exclusivamente al desarrollo interno de la propia investigación en las diversas áreas del conocimiento. En este segundo caso, la evaluación tomará distintas formas, relacionadas con las áreas y diversas actividades que integran la Universidad. Por tanto, se trata de mantener presente, para los miembros de la comunidad académica, el estado de la investigación en sus áreas específicas. Las formas de evaluación interna en cada área son consensuadas y, normalmente, no dan lugar a mayores controversias más allá de las que contraponen los distintos modelos explicativos desde un punto de vista teórico; en este caso, los conflictos son parte de la propia evolución de las áreas de conocimiento.
Las controversias y disputas proliferan, sin embargo, cuando, al momento de evaluar la producción académica para rendir cuentas a la sociedad, las instituciones universitarias entran en competencia para obtener financiamiento de las agencias financiadoras de la investigación. Es que al mostrar su mérito y excelencia académica, las instituciones se vuelven, a los ojos de las agencias, más o menos merecedoras de nuevos fondos para desarrollar investigación. El conflicto surge, en este momento, porque el método de evaluación debe ser estandarizado –para ser aplicado indistintamente, con supuesta objetividad, a todas las áreas de investigación– a pesar, sin embargo, de la gran diversidad que existe entre ellas. Y aquí llegamos a la segunda cuestión que ponemos en el título a modo de enunciado: es necesario medir.
No hay duda de que la actividad de medir es indispensable para la organización que imponemos a nuestra experiencia del mundo en general. Nos volvemos capaces de comparar los más diversos objetos y eventos entre sí, estableciendo patrones y normas a través de teorías y técnicas que son, al mismo tiempo, convencionales y consensuadas. Con esto creamos unidades temporales, espaciales, gravitatorias, energéticas y también creamos unidades de otro tipo, como muestras de colores, formas, sonidos, o incluso muestras de objetos, acciones, situaciones e incluso, de estados psicológicos y sensaciones – por ejemplo, a través de conductas instituidas como muestras.
Existen técnicas más variadas para crear patrones de medida, algunas que permiten realizar comparaciones precisas mediante cuantificación numérica y otras que permiten realizar comparaciones analógicas. Sin embargo, no hay diferencia de naturaleza entre los diversos tipos de técnicas de comparación, solo diferencias en los grados de precisión con los que miden sus unidades. Todas son técnicas para medir y, con ello, comparar objetos y eventos, ninguna de las cuales autoriza un juicio sobre el valor de los objetos medidos. Abordamos aquí el punto controvertido del proceso de evaluación de la producción académica.
Las técnicas de medición numérica son bastante adecuadas para organizar objetos y eventos que pueden segmentarse en unidades discretas y, por lo tanto, permitir que se les asigne números. A pesar de su carácter tautológico, esta afirmación no siempre parece ser bien entendida cuando, por ejemplo, el tipo de medida numérica se generaliza indiscriminadamente a otros objetos y eventos que no comparten esta misma característica. Es como si las técnicas de numeración pudieran capturar propiedades cualitativas de los propios objetos, más allá de permitir mediciones y comparaciones a través de asociaciones arbitrarias entre unidades convencionales y números, un poco como, hace siglos, pensaron los miembros de la secta pitagórica; estos, sin embargo, con más delicadeza y profundidad.
La controversia en torno a la evaluación académica consiste en afirmar que, contrariamente a la generalización señalada anteriormente, las cantidades numéricas no expresan “cualidades” de los objetos y eventos medidos, en nuestro caso, que la cuantificación de la producción académica no puede expresar su calidad. Las cantidades numéricas solo pueden expresar las técnicas de construcción de las propias unidades estándar, nunca las cualidades de los objetos y eventos producidos en la academia, que son los productos culturales de la investigación, la enseñanza y la extensión. Ahora bien, lo que pretende la medida, en este caso, es evaluar la producción académica a través de la cuantificación enumerada de unidades estándar establecidas de manera muy poco consensuada –lo que, además de ser controvertido, es un grave error teórico.
De hecho, ambas unidades estándar pueden ser muy diferentes de las que se proponen, y la reducción de la calidad a unidades cuantitativas es una ilusión filosófica que, en el siglo XXI, hace eco de sus orígenes presocráticos.
Todo aquel que vive en la academia es muy consciente de los diversos intentos de reducir la calidad de la producción académica a unidades cuantitativas. Tomaremos sólo un ejemplo, entre los más espectaculares, tomado de la nueva disciplina especialmente enfocada a contar la calidad de la producción científica, la cienciometría. Este es el concepto de impacto. ¿Cómo evaluar la repercusión cultural de un trabajo académico, su inserción e influencia teórica en la comunidad científica? Para ello, intentamos crear unidades de medida indicando el número de citas de los trabajos publicados. El supuesto que guía la creación de este patrón de medición es que cuanto mayor sea este número, mayor será la influencia del trabajo en la comunidad, mayor su impacto y, por lo tanto, mejor su calidad.
Como puede verse, el error consiste en suponer que las unidades contables tienen la capacidad de expresar cualidades, por el simple hecho de ser contables, teniendo como corolario la idea de que mayor número expresa mayor calidad, siendo mayor sinónimo de mejor. Hasta Heráclito haría temblar su tumba ante semejante contradicción...
De hecho, el número de citas de un trabajo publicado -en una revista internacional, en inglés, Qualis A- sólo expresa el número de veces que el artículo fue citado por otros autores en otros artículos publicados en revistas internacionales con igual inserción académica, pero no expresa ni podría expresar su calidad. El concepto de impacto ni siquiera garantiza que la obra haya sido efectivamente leída por quienes la citan, ni mucho menos indica que haya habido una asimilación adecuada de su contenido por parte de quienes la leen. El número de citas de un trabajo expresa, mucho más, las circunstancias sociológicas de las áreas académicas involucradas, que la calidad del trabajo. Información importante para el sociólogo de las ciencias, sin duda, pero de ninguna utilidad para el legislador que pretende dictar normas de conducta en materia de calidad. A menos, por supuesto, que el legislador tenga en mente la influencia política que puede ejercer para ganar poder académico.
Obsérvese, en efecto, el uso político que se hace de cualquier instrumento de medida cuando se pretende deliberar de forma supuestamente objetiva sobre la calidad del trabajo social y académico de los sujetos implicados, deliberando e imponiendo normas como criterio para su supervivencia . Aquí, sin embargo, entramos en otro dominio que no exploraremos ahora.
Parece natural, por tanto, y hasta saludable, que haya mucha polémica en torno al tema de la evaluación de la producción académica, pues si medir es necesario para comprender mejor el mundo que nos rodea, podemos preguntarnos, sin embargo, si realmente son útiles las técnicas de medición por cuantificación. adecuado para expresar la calidad del trabajo académico. E, igualmente, cuando tenemos en cuenta la gran diversidad de áreas de conocimiento que componen la Universidad, también podemos preguntarnos si los criterios normativos que se están presentando son adecuados a esta diversidad.
Si por un lado es necesario estandarizar los estándares de comparación para poder dar cuenta a la sociedad sobre el valor de la producción académica, por otro lado, la cuestión de juzgar este valor mediante la aplicación de las técnicas actuales parece ser un obstáculo que aún no ha sido superado. Técnicas que se adaptan bien a objetos y eventos de naturaleza física, pero muy poco a objetos y eventos culturales o simbólicos, como los productos de la actividad académica. Si no reconocemos esta dificultad, la nueva ciencia de la métrica debería ser rebautizada como Cienciología...
Finalmente, volvamos a los dos puntos iniciales, colocados como título de este texto, en forma de dos preguntas: evaluar y medir.
Sí, es necesario evaluar la producción académica de la universidad pública, tanto por razones éticas y sociales, como por razones teóricas, internas a cada área de conocimiento. Pero aquí es donde surge la primera dificultad: si en el segundo caso los criterios pueden ser razonablemente consensuados, en el primer caso, por el contrario, la estandarización de los estándares de evaluación presenta una dificultad que, hasta el momento, está lejos de ser superada. . Y así seguirá siendo, si los estándares adoptados para la estandarización son única y exclusivamente los adoptados para cuantificar los procesos naturales – como lo hacen los naturalistas de la materia, la química, los procesos biológicos, etc.
Por otro lado, si la actividad de medir es fundamental para que conozcamos el mundo natural que nos rodea –como hacen los naturalistas, apoyados por matemáticos y lógicos–, seguirá siendo necesario que desarrollemos técnicas para juzgar la calidad de los conocimientos culturales. y productos simbólicos que constituyen la actividad académica. Estamos lejos de esto.
Finalmente, el tercer aspecto que acabamos de señalar es el uso político, social y académico que se puede hacer de las técnicas de medición estándar. En nuestro caso, son técnicas que presentan normas para determinar la calidad de la producción académica, normas que, a su vez, se presentan como condición para la supervivencia y desarrollo de las personas e instituciones que integran la Universidad. Este aspecto será una dificultad para áreas o grupos académicos, así como será un arma de poder para otros, como en toda disputa política en la que no está en juego la colaboración, sino la competencia entre pares. De ahí la importancia de ampliar y profundizar la discusión en torno a este controvertido tema.[ 1 ]
*Arley Ramos Moreno. (1943-2018) fue profesor de filosofía en la Unicamp. Autor, entre otros libros, de Introducción a una pragmática filosófica (Editorial Unicamp).
Nota
[1] Permítanme remitir al lector a un artículo en el que desarrollo algunas de las ideas aquí presentadas en forma resumida. Así es “El área de humanidades en la era de la universidad tecnológica”, publicado en el libro Formación humana y gestión educativa: el arte de pensar amenazado (Cortés, 2008).
