domingo, enero 13, 2013

La Universidad de Chile y los modelos de asignación de financiamiento público

La indignación ha cundido entre las autoridades y los académicos de la Universidad de Chile ante lo que se considera una afrenta perpetrada por la asignación del Fondo Basal por Desempeño realizada por la División de Educación Superior del Ministerio de Educación. A través de un modelo matemático basado en indicadores más que discutibles, la DIVESUP repartió 11,8 mil millones de pesos a 25 universidades, agrupadas en tres categorías. En la categoría superior, que recibió poco menos de 3,5 mil millones, la Universidad de Chile fue rankeada en tercer lugar, a gran distancia de la PUC y de la USACH, recibiendo una asignación de solo 892 millones de pesos.

El modelo introducido para este efecto por la DIVESUP ha recibido, merecidamente, fuertes críticas. En el caso del grupo en que está la Universidad de Chile, se utilizan seis indicadores: 
  • a) Número de académicos de Jornada Completa (JC) por cada 100 alumnos
  • b) Porcentaje de académicos con doctorado
  • d) Número de publicaciones Scopus por número de Jornadas Completas Equivalentes (JCE)
  • f) Número promedio de citas por publicación Scopus
  • j) Tasa de graduación en programas de doctorado
  • k) Número de patentes solicitadas por JCE
Llama la atención de inmediato que todos son indicadores relativos, por lo que se daría el absurdo de que una universidad con 10 académicos, todos con doctorado, recibiría la misma cantidad de dinero por este hecho que otras con 100 o con 1000 académicos, todos con doctorado. Pero el modelo empeora más todavía si se observa que las diferencias, a veces no significativas entre las instituciones, se magnifican al tomar el rango entre el mínimo y el máximo y trasladarlo al intervalo [0..100]. Como si lo anterior fuera poco, con este algoritmo se asigna la mitad del fondo, y el mismo método se aplica para distribuir la otra mitad de los recursos, pero esta vez usando la variación de los indicadores, con resultados aún más inciertos. El resultado es un "cóctel" matemático que entrega resultados que no guardan relación con los "rankings" comúnmente aceptados para las instituciones, y que es altamente sensible a cambios menores en las variables.

Es comprensible, por tanto, el furor que ha causado el anuncio de esta asignación de fondos y la lluvia de críticas que han recibido las autoridades ministeriales. Sorprende, sin embargo, que este episodio haya causado tanto revuelo, cuando por otra parte opera sin ningún barullo otro modelo, con variables tanto o más cuestionables, con un algoritmo que raya en lo surrealista, que administra un fondo más de quince veces más grande, y que cada año le hace perder a la Universidad de Chile más de 500 millones de pesos. Y sobre esto, nadie dice nada.

Me refiero, por cierto, al modelo que asigna el 5% del Aporte Fiscal Directo.

Cada año, el 95% del Aporte Fiscal Directo se asigna en proporción a lo asignado el año anterior, y el 5% restante se distribuye por criterios "de calidad". Para esto último, se utilizan cinco indicadores:
  • a) alumnos de pregrado / carreras de pregrado
  • b) alumnos de pregrado / JCE
  • c) JCE con magister o doctorado / JCE
  • c) número de proyectos FONDECY y otros / JCE
  • d) número de publicaciones internacionales / JCE
Nuevamente vemos que se trata de indicadores relativos, lo que conduce al mismo absurdo que en el caso anterior, al punto que por ejemplo, si una universidad se dividiera en dos mitades de "calidad" similar, ¡por ese solo hecho pasaría a recibir cerca del doble del financiamiento!

No deja de llamar la atención, y quizás sea un símbolo de lo incoherente de estas políticas públicas, que lo que trata de incentivar el indicador b) sea justo lo opuesto de lo que busca incentivar el indicador a) del Fondo Basal.

Pero en donde el modelo del 5% le gana lejos al modelo del Fondo Basal, es en el algoritmo de cálculo utilizado. El Decreto Nº 128 del Ministerio de Educación, de 1991, describe este método de una manera inigualable:

Artículo 3 
El procedimiento de cálculo que permitirá asignar los recursos a cada institución se realizara en la secuencia que se señala. 
1:  A partir de los datos básicos indicados en los artículos anteriores se realizara el cálculo de los cinco coeficientes por institución mediante las divisiones correspondientes; 
2:  Obtenidos cada uno de los cinco coeficientes por institución, se procederá a calcular la media aritmética y la desviación estándar de los cinco coeficientes; 
3: Bajo el supuesto de que cada uno de estos cinco coeficientes son una variable aleatoria cuya distribución se aproxima asintomáticamente a una normal, se procederá a corregir cada uno de ellos conforme al procedimiento de estandarización de una distribución normal. Con tal objeto a cada uno de los cinco coeficientes obtenidos en el punto 1., se le restare la media aritmética correspondiente obtenida en el punto 2 y la diferencia resultante se dividirá por la desviación estándar respectiva, generándose así cinco nuevos coeficientes para cada institución; 
4: Con el propósito de que el rango de valores para cada uno de dichos cinco coeficientes, correspondientes, teóricamente, al 95% de la probabilidad acumulada de una distribución normal estándar, este situado en un tramo de valores positivos solamente se procederá a sumar 2 a cada uno de dichos cinco coeficientes y, enseguida, con el objeto de que el rango resultante de dichos valores se ubique entre 0 y 1, se procederá a dividir cada uno de los resultados anteriores por 4. 
5: Estos resultados deberán ser objeto de una nueva transformación, utilizando esta vez una función exponencial que es característica de un crecimiento biológico. Dicha transformación tendrá por objeto cumplir la finalidad de la Ley de incentivar el nivel y progreso académico de cada una de las instituciones. 
Para ello, los valores obtenidos en el punto 4 se le restará un parámetro igual a 1.9, la diferencia resultante se elevara al valor de un exponente igual a 3 y, a este nuevo resultado, se le aplicare la función exponencial con base "e". 
6: Previamente, para realizar las operaciones siguientes se deberá asignar un parámetro a cada uno de los coeficientes señalados en el artículo 1, de manera que refleje su importancia relativa sobre una base que sume 1. Estos parámetros se fijaran anualmente por Resolución del Subsecretario de Educación. 
Los cinco coeficientes por institución corregidos, obtenidos en el punto 5, se sumaran ponderadamente, ocupando como ponderación los parámetros de importancia relativa antes mencionados, lo que generara un valor único para cada institución.  
7:  Finalmente, se obtendrá el porcentaje de asignación de los recursos del 5% para cada institución como el resultado de dividir el valor por institución obtenido en el punto 6 por la suma de este valor para el conjunto de las instituciones, todo ello multiplicado por 100.
En otras palabras:



No estoy inventando nada: vean cómo se justifica, sin ni siquiera pestañear, el uso de una función exponencial "característica de un crecimiento biológico" como la forma de incentivar el nivel y el progreso académico de las instituciones, como si fuera obvio que una cosa implica la otra. ¡Uno imagina a la autoridad que promulgó esta norma, quien, como en la historia del rey desnudo, no debe haberse atrevido a confesar que no entendía nada de lo que estaba firmando!

Antes de que alguien objete que en realidad la manera en que se asigne el 5% no es tan importante porque el 95% restante continúa asignándose con un criterio histórico, hay que notar que la aplicación iterativa de este procedimiento, año tras año, hace que a la larga el criterio con que se asigna el total del fondo termine siendo el criterio del 5%, independientemente del estado inicial.

El resultado de la aplicación de este modelo ha sido nefasto para la Universidad de Chile. El siguiente gráfico muestra cómo ha decaído constantemente  la participación de la "U" en el AFD en los últimos años:



La magnitud de la pérdida de recursos que ha sufrido (y sigue sufriendo) la Universidad de Chile se aprecia mejor si uno recuerda que el 1981, al momento de crearse el AFD, su porcentaje de participación en este fondo era de 28,1%. Por esta vía, la Universidad de Chile ha perdido casi un tercio de los recursos que el Estado le asigna a través del AFD. Si este mecanismo continúa operando sin cambios, se puede extrapolar que cuando el proceso converja, su participación en el AFD probablemente será la mitad de lo que era en 1981.

Dado el impacto económico que tiene el "ranking" de universidades que genera el modelo del 5%, es extraño que no tenga mayor visibilidad, y que su fórmula de cálculo sea uno de los secretos mejor guardados. Todo el mundo sabe que se basa en varios indicadores, pero cuesta encontrar a alguien que sepa, por ejemplo, que involucra una función exponencial con parámetros misteriosos.

Si este ranking, que pretende medir la calidad de las universidades, se publicara cada año, nos llevaríamos más de una sorpresa. Por ejemplo,

  • En 2011, el segundo lugar lo ocupó la Universidad Católica de Valparaíso
  • Entre 1999 y 2003, el tercer lugar lo tuvo la Universidad de Talca
  • Entre 2004 y 2009, el tercer lugar lo ocupó la Universidad de La Serena, excepto el 2006, año en que ella se empinó al segundo lugar

El siguiente gráfico muestra cómo ha variado el porcentaje de participación en el 5% de los principales actores del sistema:


Nota: Los datos de la distribución del 5% del año 2010 no están publicados en el sitio web del AFD de DIVESUP, y el decreto respectivo fue aprobado con alcance recién el 22 de noviembre de 2011 por Contraloría.

El impacto de los "números mágicos" que incluye el modelo del 5% del AFD no es menor, y los cambios que han sufrido algunos de ellos explican algo del comportamiento errático de este proceso. Por ejemplo, el Decreto Supremo Nº 111 de 1992 modificó el exponente original, que era 5, para cambiarlo a 3, y cambió la constante que originalmente era 1,4 por  la actual 1,9.  Como hace notar un estudio de José Cuello Juárez, ese solo hecho hizo que en ese momento la fracción del 5% que recibía la Universidad de Chile subiera de 7,2% a 23%. Las ponderaciones de los diversos factores han cambiado también a lo largo del tiempo. El cambio más notorio es la del indicador a), que tenía originalmente un peso de 0,15, luego entre 1992 y 1997 subió a 0,25, y a partir de 1998 bajó a 0,01.

La atención que el asunto del Fondo basal por Desempeño ha puesto sobre estos modelos matemáticos de asignación de recursos es bienvenida, y es de esperar que el escrutinio se extiendo a otro modelo, el del AFD, que tiene un impacto enormemente superior, cuya metodología nunca ha sido fundamentada adecuadamente, y que hasta ahora ha logrado mantener un perfil bajo.





viernes, noviembre 09, 2012

El director del SERVEL y los votos faltantes

Carta enviada al Director de El Mercurio:


Santiago, 7 de noviembre de 2012

Sr. Director,

En su entrevista publicada el día martes 6 de noviembre, el director del SERVEL, Juan Ignacio García, señala que la gran cantidad de mesas sin contabilizar se debió a incongruencias en las respectivas actas, las cuales no pudieron ser corregidas debido al carácter solemne que les otorga el artículo 72 de la Ley 18.700, tras ser modificado por la Ley 20.568. Sugiere además adoptar el voto electrónico, citando como sistemas “de avanzada” los que tienen Venezuela o Estados Unidos.

Sobre el particular, me parece importante puntualizar que el artículo 72 no contiene ninguna mención al carácter solemne de las actas, ni tampoco aparece dicho carácter mencionado en ningún otro artículo de la ley. La única oportunidad en que esta palabra aparece es en relación a la lectura de los boletines oficiales.

Tampoco es efectivo que la autoridad esté impedida por la Ley para incorporar al sistema computacional y contabilizar las actas que presenten incongruencias. Por el contrario, la Ley le da al SERVEL amplia libertad al respecto, al establecer en su artículo 76bis que “La persona que disponga el Servicio Electoral se instalará en la Oficina Electoral del local de votación y procederá a recibir los ejemplares del acta señalados en el inciso sexto del artículo 72, cuyos datos procederá a incorporar al sistema computacional en la forma que disponga el Servicio Electoral, en conformidad al artículo 175 bis.”

Refuerza lo anterior el que la Ley, en su artículo 71 número 3 señala que las discrepancias que se puedan detectar entre número de firmas, de talones o de cédulas no serán obstáculo para que se escruten todos los votos. Sería contradictorio que la misma Ley prohibiera contabilizar estos escrutinios en el sistema computacional.

Tener contabilizada una cantidad cercana al total de las mesas en la noche de la elección, sin perjuicio de las revisiones o recuentos que correspondan, es una situación de mucha más prudencia política que tener un cuarto de las mesas sin contabilizar. Esto se logra contabilizando las actas que presenten incongruencias, y la autoridad no está atada de manos para hacerlo, a diferencia de lo que sostiene el director del SERVEL.

Finalmente, debo señalar que hay consenso entre los expertos en sistemas electrónicos de votación que muchos de los sistemas en uso en Estados Unidos, de tipo DRE (direct-recording electronic) no cumplen con los requisitos mínimos de auditabilidad. En especial, no generan un comprobante en papel del voto emitido, el que debe quedar almacenado y estar disponible en caso de que se requiera un recuento manual. Esto no significa que no se puedan implementar “urnas electrónicas” eficientes, confiables y verificables, como lo demuestran países como Brasil y Venezuela, que tienen experiencia de años en esta materia. Estas urnas electrónicas, bien implementadas, pueden hacer que el proceso de recuento sea expedito y libre de incongruencias, así como permitir contar con cómputos confiables minutos después del cierre de las mesas.

Patricio Poblete Olivares

miércoles, junio 08, 2005

Bienvenidos a mi blog

Parece que todo el mundo tiene un blog en estos tiempos, y
yo no podía ser una excepción.

En la medida que el tiempo me alcance, espero publicar aquí­ de vez en cuando.

Nos vemos...