Existe una vasta literatura que analiza los rankings universitarios. Mucho, y acertadamente, se ha escrito criticándolos y analizando qué, cómo o para qué miden lo que miden. Por ahora no hay un ranking que sea perfecto y que se elabore con una metodología que escape a la crítica o esté exenta de limitaciones. Como si se tratara de una sentencia jurídica, un ranking universitario es un “fallo” en forma de ordenación de universidades. Por supuesto, para que tenga interés, debe aportar utilidad y estar elaborado con una metodología mínimamente rigurosa.
Teodoro Luque Martínez, Universidad de Granada
Si en algo hay unanimidad respecto a los rankings es en que son imperfectos. Siendo así cabría preguntarse si sirven para algo, si se les puede sacar algún partido. Entendemos que la respuesta es positiva, que pueden servir como referencia y, por tanto, se pueden utilizar como elemento a tomar en consideración en la gestión y en la toma de decisiones. Cosa muy distinta es que se conviertan en una obsesión.
Desde el principio hay que asumir la obviedad de que los rankings universitarios miden lo que miden y no miden lo que no miden. Unos rankings ponen el énfasis en datos bibliométricos o incluyen otras manifestaciones de la actividad investigadora o de innovación, algunos intentan captar aspectos de la docencia, de las relaciones con la industria, de las relaciones internacionales o los hay que consideran medidas de reputación, entre otros aspectos. En suma, existe una variedad, que va en aumento, de clasificaciones de universidades con orientaciones sesgadas hacia una o varias de las diferentes dimensiones que abordan las universidades como la investigación, la innovación, las relaciones internacionales, la presencia o desempeño en Internet, la relación con la industria, la sostenibilidad o la docencia (cuya medida es especialmente escurridiza).
Todo esto se puede hacer considerando indicadores diversos por separado o bien agrupando un conjunto de indicadores y ponderando la importancia de cada uno (aspecto en el que se centran bastantes de las críticas, y con razón) para llegar a una puntuación sintética y, por tanto, a una relación ordenada de las universidades como resultado de esa síntesis. Esto es lo que proporcionan rankings internacionales, a los que ahora nos vamos a referir, como los siguientes: Academic Ranking of World Universities (ARWU), National Taiwan University Ranking (NTU), World University Rankings (QS), Times Higher Education World University Rankings (THE), University Ranking by Academic Performance (URAP), Center for World University Rankings (CWUR) o SCIMAGO.
Se elaboren como se elaboren, a los rankings no se les debe imputar o asociar con aspectos/características que no capten o registren. Por tanto, no se deben utilizar para extraer conclusiones sobre algo que no registran. Por otro lado, no se debe olvidar que en cualquier caso lo que se mide son características o atributos de las universidades y NO se miden las propias universidades. Y este matiz es fundamental.
Los rankings universitarios como testigo
Ahora bien, los rankings pueden servir como testigo del desempeño de las universidades o como elemento de referencia para ver qué asociaciones pueden existir entre el orden que establecen y determinados indicadores universitarios relativos a las características de las universidades y de los sistemas universitarios o en relación con las consecuencias de decisiones adoptadas.
En cualquier caso, establecidas las reglas de un ranking, aproximadas e imperfectas, son criterios que se mantienen. Más allá de para saber la posición puntual de una universidad en un momento dado en una clasificación determinada, la utilidad más interesante reside en conocer la evolución de tal posición a lo largo del tiempo. De manera que, si la gestión o la ejecución de un plan en una universidad va seguida de una mejora en los indicadores, y en consecuencia de un ascenso de las posiciones en los rankings a lo largo del tiempo, a igualdad de otros factores (ceteris paribus), algo se habrá hecho bien, o menos mal, que en el resto de universidades consideradas en el ranking y en comparación con las cuales se mejora. Y viceversa. Por tanto, los rankings pueden ser utilizados como testigo para describir o conocer la realidad universitaria.
Algunas aplicaciones con respecto a indicadores económicos o sociales
En relación a la utilización de los rankings universitarios como testigos o referencia, cabría preguntarse si la disposición de mayores recursos o si determinados indicadores de gestión económica y financiera de las universidades tienen algo que ver con una mejor posición de estas en los rankings. ¿Hasta qué punto las universidades con más recursos o con mayores gastos por estudiante ocupan mejores posiciones? En este sentido, hemos comprobado la existencia de correlación significativa, positiva y moderada entre el gasto corriente por alumno matriculado (obtenido del informe de CRUE “La Universidad Española en Cifras”) de las universidades españolas y su posición en el ARWU o la existencia de correlación significativa también moderada, pero en este caso negativa, entre el porcentaje que supone las transferencias sobre los ingresos totales de las universidades y la posición ocupada en el ARWU.
Tomando los datos de la última década, disponibles en el Observatorio IUNE, se comprueba una correlación elevada –superior a 0,7 en todos los rankings internacionales considerados (ARWU, URAP, THE, CWUR, SCIMAGO)– entre la puntuación en los mismos de las universidades públicas presenciales españolas y sus recursos financieros, entendidos como ingresos liquidados en operaciones no financieras. A mayor volumen de ingreso mejor puntuación, mejor posición en los rankings. Este resultado es bastante lógico porque en estos rankings el tamaño de la universidad importa bastante.
Por este mismo motivo también existe una significativa correlación entre la puntuación en los rankings y el número de profesores de las universidades, a mayor número de profesores mayor puntuación. Sin embargo, en este caso la correlación es menor. Esto apunta a que en la puntuación/posición alcanzada tienen más que ver los euros que el número de profesores. Si, por otro lado, calculamos la correlación respecto a una medida relativa como son los recursos (euros) por profesor, entonces para la mayoría de los rankings mencionados no se alcanza una correlación de 0,2. En suma, siendo importante el volumen, no lo es todo. La eficiencia de las universidades respecto a lo que miden tales rankings varía de manera importante.
Cambiando a otro tipo de indicadores, se ha puesto de manifiesto que las universidades con una composición del alumnado equilibrada por sexo, esto es ni mayoritariamente hombres ni mayoritariamente mujeres, son las que alcanzan mayor puntuación, o lo que es igual tienen mejores posiciones, en los rankings universitarios internacionales. Esto ocurre al menos para los siguientes: ARWU, CWUR, NTU, QS, SCIMAGO, THE y URAP. Sin embargo, las universidades con mayor proporción de hombres tienen más puntación en los indicadores relativos a contar con premios Nobel entre sus egresados o profesorado y a tener un mayor porcentaje de sus ingresos procedente de la industria.
Otro ejemplo de gran interés es comprobar si la posición en los rankings de las universidades está asociada con la inserción laboral de sus egresados. En principio, pudiera pensarse que una mayor puntuación y mejor posición en el orden de las universidades, implicaría una mayor tasa de inserción laboral. Esto no parece cumplirse en las universidades españolas, ni públicas ni privadas. La tasa de afiliación a la Seguridad Social (que no es exactamente igual que la inserción laboral, pero es la mejor aproximación disponible) de egresados de grado, a los cuatro años de finalización de los estudios, de las universidades presenciales españolas no presenta correlación significativa con la posición que ocupan dichas universidades en los rankings internacionales.
Consideraciones de los rankings universitarios sobre posicionamiento y planificación
Los rankings pueden ser también una herramienta para posicionar universidades y facilitar la realización de benchmarking entre universidades o entre sistemas universitarios. Efectivamente, pueden utilizarse para definir grupos estratégicos entre las universidades de un país o del mundo, no solo considerando la posición o puntuación global de cada universidad sino también todos los indicadores con los que se elaboran. Es lo que Luque-Martínez y Faraoni (2020) realizan con el casi medio millar de universidades que aparecen en al menos cuatro de los siguientes rankings con gran notoriedad: ARWU, NTU, QS, THE y URAP. Identifican siete clusters de universidades, caracterizados por los indicadores con los que se elaboran los rankings y otros factores como composición por sexo del alumnado o PIB per cápita del territorio donde se localiza la universidad. La denominación de estos grupos según por lo que destacan las universidades que los integran son: (1) internacionalizadas, (2) conectadas con la industria, (3) femeninas, (4), con menor reputación y calidad en investigación, (5) líderes globales, (6) menor y producción calidad investigadora y (7) mayoría intermedia. La misma metodología se aplicó a universidades españolas presentes en esos rankings.
Los rankings pueden ser una herramienta de apoyo a la planificación de las universidades. La planificación en la universidad está unida a un deseo de mejorar la universidad, implica la formulación de estrategias y de objetivos y la puesta en marcha de procesos para logarlos. Una forma de evaluar esos logros es comparar los resultados obtenidos en determinados indicadores con la medida de esos indicadores de la misma universidad en el pasado o de otras universidades en un momento dado, incluso a lo largo del tiempo. Esto ya supone una ordenación y por tanto un ranking.
La publicación periódica de La Universidad Española en Cifras proporciona un rico y variado conjunto de indicadores universitarios. Esto puede servir de punto de referencia para establecer objetivos concretos relativos a la oferta y demanda académica, a los recursos a los resultados docentes, de I+D+i o cualquier otra manifestación de valor generado por las universidades. Por supuesto, también se puede recurrir para la comparación, en definitiva, para hacer un benchmarking identificando las universidades adecuadas, a los rankings. Y de esta manera establecer objetivos a conseguir, lógicamente teniendo siempre presente las características de la universidad en cuestión. Hablamos en plural porque es deseable y recomendable utilizar varios rankings como referencia, no limitarnos a uno. Si diversos rankings indican una tendencia, la conclusión a la que se llegue estará más reforzada.
Consideraciones de los rankings universitarios respecto a la evaluación
Con la debida prudencia, las clasificaciones pueden ser utilizadas para aportar evidencias al evaluar la eficacia de los programas o medidas adoptadas por universidades o sistemas universitarios. Un ejemplo práctico real es tomar como referencia los rankings para comprobar si tuvo alguna incidencia un programa concreto como fue la iniciativa de Campus de Excelencia Internacional (CEI). Luque, Doña y Docampo encontraron que las universidades españolas entre el inicio y el final de dicha iniciativa mejoraron la puntuación y la posición en ARWU. También que las universidades que participaban en solitario en un proyecto CEI mejoraron más que las que lo hicieron en proyectos compartidos y dentro de estas, consideradas conjuntamente, mejoraron más las que no eran universidades coordinadoras del proyecto CEI. Esto constituye una retroalimentación interesante para futuras evaluaciones.
Los rankings internacionales constituyen una herramienta para comparar la situación de diferentes sistemas universitarios. Por ejemplo, respecto al grado de autonomía en su gestión, para comprobar si el nivel de autonomía universitaria (sobre lo que se puede decir que hay un cierto efecto unicornio: todo el mundo habla como si hubiera visto o conocido alguno) está asociado a la posición en los rankings. En este sentido, también se ha encontrado una correlación positiva entre el grado de autonomía en la gestión universitaria y la posición en los rankings, en concreto el Academic Ranking of World Universities. De tal forma que a las universidades con mayor grado de autonomía ocupaban mejores posiciones en el ARWU.
Consideraciones de los rankings universitarios respecto a identificación de tendencias
El seguimiento de las universidades en los rankings a lo largo del tiempo permite identificar tendencias que informan sobre los resultados de universidades en comparación con las demás universidades, siempre sin perder de vista lo que mide cada ranking.
Otro tanto se puede hacer con los sistemas universitarios de un territorio al registrar la variación neta de posiciones en un ranking de todas las integrantes, puesto que siempre habrá unas integrantes del sistema que suban y otras que bajen. Si la variación neta del sistema es positiva, muestra ganancia de posiciones a lo largo del tiempo, indicará que el comportamiento de dicho sistema es mejor que el comportamiento medio del conjunto considerado. Ese sistema universitario va bien con respecto a los demás.
La evolución de la última década para las universidades españolas que ocupan los primeros puestos en los rankings ARWU, NTU y URAP evidencia que se produce una mejora hasta los años 2015-2016, en particular por parte de la Universidad del País Vasco y sobre todo Pompeu Fabra y Universidad de Granada.
A través del análisis de los indicadores con los que se forma cada ranking se pone de relieve los matices que explican la evolución de cada universidad. Así, se puede comprobar si su ascenso (o descenso) se debe a un cambio en el volumen de producción científica, a una variación en la calidad de la investigación o a cambios en otro tipo de desempeño sobre el que se ha actuado acertadamente o no.
En definitiva, se ha de ser consciente de las limitaciones de los rankings universitarios, de que a lo sumo constituyen una aproximación imperfecta. Pero también se ha de ser consciente de que cuando emitimos una opinión que valore atributos de una universidad o que establezca una mínima comparación entre universidades ya se está recurriendo a un cierto tipo de clasificación o de ordenación de estas, bien directamente o bien indirectamente.
A pesar de ello, los rankings pueden tener utilidad y es lo que se ha tratado de mostrar mediante los ejemplos concretos referidos. En tales ejemplos, por creerlo más relevante, se pone el énfasis más en la perspectiva dinámica, o como valor de referencia para describir una situación o su evolución, que en la posición de una universidad concreta en un momento concreto. Interesa más la evolución que la posición estática, que por descontado va a estar condicionada por el tamaño o los atributos que se midan en cada caso.
Está claro que en los rankings internacionales a los que nos hemos referido, el tamaño de la institución importa como también importa el volumen de recursos financieros. Cada año cuando se dan a conocer los resultados del ARWU se produce un ruido mediático criticando las posiciones de las universidades españolas. Pero esto es necesario ponerlo en contexto, por eso hace unos años escribimos un tuit cuando se publicaron esos resultados y en él señalaba que la Universidad de Granada, de la que soy profesor, no llegaba al 1% del presupuesto de la Universidad de Harvard, atendía aproximadamente al triple de estudiantes y conseguía una puntuación en el ranking ARWU del 12,5% de la de Harvard. No está mal en términos de eficiencia.
Junto al uso informativo, para el análisis o la reflexión, no se puede obviar que los rankings se utilizan como argumento persuasivo, para captar estudiantes, recursos o para la ostentación. Realizar afirmaciones sobre la calidad de una institución o universidad, respecto de si es la mejor o está entre las mejores no es algo nuevo, ni surge con los rankings. Cuando esas afirmaciones se hacen apoyadas en un ranking al menos se conocen los criterios aplicados, seguramente discutibles, pero criterios conocidos al fin y al cabo.
Efectivamente, se cometen abusos en la comunicación por parte de las universidades e instituciones de educación superior, acudiendo o no a los rankings. Hay muchas prácticas cuestionables en este ámbito y no parece que esto vaya a ir a menos sino todo lo contrario. Más aún con el auge de las redes sociales y de las noticias falsas. Por ejemplo, en el Reino Unido el órgano competente (The Advertising Standards Authority) ya puso de manifiesto ejemplos de esas prácticas señalando directamente a universidades británicas que incurrían en ellas con las expresiones concretas que realizaban. Incluso en la publicidad comercial existe autorregulación a través de un organismo independiente del sector.
En suma, con sus pros y con sus contras, los rankings son una herramienta a la que se puede sacar utilidad. No son sujetos que tengan derechos y obligaciones, quienes los utilizamos sí, y debiéramos ser cautelosos con su uso y evitar el abuso.
Esta colaboración fue publicada en el Informe CYD 2019. Capítulo 4, páginas 304-307. Puedes descargar el artículo completo en este enlace.
