Políticas públicas, ¿cómo saber que funciona (y que no)?

Por Germán Tessmer
@Gerkandar

“Palabras, palabras, palabras”
Hamlet – Acto II – Escena II

.

En sí, toda palabra es neutra. Pero nosotros las alimentamos, les damos sentido, en el debate buscamos convencer y salir convencidos. Y también actuamos. Sobre la base de los discursos se toman decisiones individuales, y en el plano de lo público se diseñan políticas. Muchas veces hay palabras que se ponen de moda, hasta el punto de que pasan a perder sus límites, o –diplomáticamente hablando- pasan a obtener múltiples significados. Tantos que ya no se puede llegar a saber qué es lo que definen, sino indagando caso por caso.

Para quienes siguen de cerca los debates sobre la formulación de políticas públicas, una palabra –o en todo caso, una frase- que se ha puesto de moda, y que cada vez está obteniendo más fuerza, es la noción de evaluación de impacto. En términos muy generales, los tomadores de decisión política se manifiestan interesados en determinar cuál va a ser el impacto de tal o cual medida. Al fin y al cabo, la efectividad en la aplicación de una política pública se espera que deje una huella en la base electoral de cada candidato y, obviamente, en el bienestar general de la población afectada por la medida.

Sin embargo, no parecería haber un consenso generalizado que –por el momento- vaya más allá de la idea difusa sobre la necesidad de conocer el impacto de “algo” en términos socio-económicos. Afortunadamente, y a diferencias de otras palabras que se pusieron de moda, como ocurrió con “globalización”; la evaluación de impacto es un conjunto de técnicas con un objetivo bien definido. Además, el conocimiento que se puede derivar de su aplicación es sumamente interesante, tanto para quienes formulan políticas, como para la ciudadanía. Veamos de qué se trata.

.

¿Por qué evaluar?

.

La evaluación de impacto, busca establecer la relación causal que se establece entre la aplicación de una política, con una serie de resultados. Al ser estos últimos cuantificables, la aplicación de esta técnica brinda informa sobre cuan efectiva ha sido una medida en términos de bienestar. En otras palabras, es una técnica que permite establecer si el programa aplicado es en realidad el causante de los cambios que se observan en la población que participa en el mismo, y no cualquier otro factor del entorno, o del comportamiento de los propios agentes bajo estudio. 

Por lo general, hay mala lectura de los resultados que arroja la aplicación de un programa o, más específicamente, de una política pública. La falacia más utilizada a la hora de interpretar los datos, es la de creer que correlación implica causalidad. ¿Qué se quiere decir con esto? Tomemos por el ejemplo la relación entre educación y nivel de ingresos. El gráfico muestra el nivel de ingresos de la población con nivel de estudios universitarios completos para el Aglomerado Gran Rosario, separado por deciles.

.

A pesar de que es evidente la concentración de profesionales universitarios en los deciles más altos de ingreso, en el análisis, se incurriría en un serio error si se concluye, sin mayor evidencia que la expuesta, que “a mayor educación, mejores ingresos”. Peor aún sería el diseño de políticas públicas que, por más bien intencionadas que sean, partan de premisas falsas. Ahora bien, ¿por qué la anterior podría ser una conclusión equivocada?

La principal razón es la siguiente: que dos fenómenos se desarrollen en paralelo, no implica que uno sea causa del otro. Bien podría estar ocurriendo que exista una tercera causa que explique ambas. Por ejemplo, podría postularse que individuos inteligentes (con todas las dificultades que tienen el uso y la aplicación de este término) logren alcanzar altos niveles de educación, como así también altos niveles de ingresos. De manera que, en este caso, la inteligencia seria la causa de los otros dos.

Pero también podría utilizarse otra hipótesis para explicar lo mismo: individuos que provienen de hogares ricos logran mayor nivel de ingresos futuros, por el capital social que implica pertenecer a esa familia, lo cual también facilita que logren terminar sus estudios universitarios. En general, la evidencia apunta a que la relación entre educación e ingreso es solo el reflejo de otras causas, que hacen que ambos fenómenos corran en paralelo.

Las técnicas de evaluación de impacto lidian con este tipo de problemas, organizando la información que se deriva de la aplicación de un programa, tratando de emular estadísticamente condiciones de laboratorio. Las mismas que se requieren, por ejemplo, para testear la efectividad de un medicamento.

¿Cómo se actúa en términos generales? Se genera un mínimo de dos grupos de individuos, un grupo control y otro tratamiento, y se los compara. Al grupo control se le suministra un placebo; y al grupo tratamiento, la medida de política (el medicamento). La diferencia en el promedio de ambos grupos de una variable identificable, provee una medida de la efectividad del tratamiento.

Por supuesto que la historia es más compleja. Por ejemplo, debe asegurarse que todos los participantes tengan las mismas posibilidades de participar en el programa, independientemente del grupo para el que fueron seleccionados (por ejemplo, mediante un sorteo). Asimismo, el análisis va a ser más complejo cuando se observe que las personas cambian de grupo, o simplemente desaparezcan de la muestra. La lista de dificultades es más completa, e incluye no solo análisis econométrico, sino también análisis sobre el comportamiento de los agentes en términos conductuales. Sin embargo, el núcleo del problema se mantiene, y es sencillo de entender: lograr comparar dos grupos estadísticamente semejantes, que se diferencien en una única cosa, si fueron beneficiarios -o no- de una medida.

En el caso de la aplicación de políticas de carácter social, se pueden generar un diseño experimental en la implementación de un programa, tal que permita generar una estructura de información de la que pueda derivarse la efectividad del mismo. Por supuesto, que más allá de las distintas técnicas econométricas que puedan existir para atacar un tipo problema, cada evaluación debe hacerse acorde a las necesidades de la población objetivo y de las capacidades de control, logística, medición, seguimiento y auditoría de la agencia que lo aplica.

De lo anterior se derivan varios puntos:

1- Que la evaluación de impacto puede llegar a ser costosa.

2- Que no todo programa vale la pena de ser evaluado.

3- Que este tipo de estudios son intensivos en el uso de información estadística desagregada. Es decir, rara vez se puede utilizar información estadística administrativa, como las que proveen organismos tales como el INDEC.

Por otra parte, en los aspectos positivos, la evaluación de impacto permite:

• Determinar si un programa está teniendo los efectos deseados en la población objetivo.

• Identificar qué componentes de un programa son más importantes para producir un impacto.

• Testear programas alternativos para establecer cuál tiene mayor impacto en la población objetivo.

• Determinar si los resultados de un programa se pueden replicar en diferentes contextos.

• Implementar de forma eficiente el uso de los recursos que se destinan al programa, sobre todo si el financiamiento proviene de agencias que tienden a gestionar su organización mediante resultados.

De esta forma, con el uso de ésta técnica se busca responder preguntas tales como:

• ¿La intervención tiene los efectos esperados sobre los beneficiarios?
• ¿Algunos grupos de beneficiarios están más afectados por la intervención que otros?
• ¿En qué magnitud mejoró el problema?
• ¿Existen efectos adversos no planificados?
• ¿Se mantienen los efectos en el tiempo?

.

Un ejemplo: ONG TECHO

.

La ONG TECHO trabaja en asentamientos precarios, para generar soluciones concretas a la problemática de la pobreza. Específicamente, los procesos de desarrollo comunitario que emprende la ONG, consisten en la construcción participativa de viviendas de emergencia, en las que se involucran tanto voluntarios como familias de la comunidad. La idea detrás de TECHO es proveer una vivienda que se constituya en una solución concreta y realizable al corto plazo, con impacto en la calidad de vida de las familias.

Recientemente, el Abdul Latif Jameel Poverty Action Lab (J-PAL), midió los efectos de estas acciones sobre sus beneficiarios. En el estudio se analizó a 896 familias en México, 698 en El Salvador y 779 en Uruguay. Se consideraron dos grupos, uno de control que mantuvo sus viviendas precarias (dado que había exceso de demanda) y otro de tratamiento, que sí pudo obtener viviendas de emergencia.

La investigación se extendió entre 18 y 27 meses por país y consideró dos periodos de encuestamiento y otras pruebas, para identificar el impacto que podría alcanzar en los siguientes aspectos: materialidad de la vivienda, satisfacción con la calidad de vida y percepción de seguridad, así como salud, acceso a bienes, ingresos.

Así, el objetivo era medir el impacto en aspectos como la satisfacción con la calidad de vida y percepción de seguridad, así como salud, acceso a bienes y mejora de ingresos. En el primer caso, la satisfacción con la calidad de vida aumentó notablemente, según las encuestas realizadas, entre un 21,1% y un 41,7 % respecto al grupo de control. Sin embargo, según el mismo estudio, no se detectó ningún efecto en ingresos de la familia, ni en acumulación de activos, ni tampoco se pudo concluir de forma robusta que haya efectos en mejoras de la salud.

.

¿Cuáles son las ventajas prácticas de la evaluación?

.

En el punto anterior, queda más que claro que un buen estudio de impacto permite generar conocimiento sumamente útil en términos sociales. ¿Pero que motiva su aplicación para el formulador de un programa, además de la obtención de conocimiento?

Actualmente, gran parte de la literatura económica aplicada, se basa en el uso de estas técnicas, ya sea mediante la identificación de experimentos naturales o bien, por el diseño de los mismos para testear hipótesis de investigación. Básicamente, el uso de estas herramientas econométricas se ha convertido en el estándar internacional de buenas prácticas. Razón por la cual, la aplicación de un proyecto que contemple estas características, jerarquizaría al mismo al ponerlo dentro del mapa de la producción académica. Es decir, llama la atención de investigadores que con los mismos datos, podrían hacer un aporte novedoso.

Desde el punto de vista del estado, disponer de este tipo de estudios, permitiría acumular conocimiento sobre aquello que funciona y sobre aquello que no, en las áreas de interés público. En especial en aquellas consideradas sensibles y que requieren de un trabajo continuo y perseverante, pero también de resultados. Un ejemplo de lo anterior, son los programas de lucha contra la pobreza. Al respecto, a nivel local, se ha avanzado mucho en una concepción multidisciplinaria del problema, pero sin quedar muy en claro cuáles de todas las medidas que se toman desde múltiples enfoques, son las que funcionan y cuáles no.

Desde el punto de vista de la ciudadanía, la contribución de estos estudios indudablemente favorece al mejoramiento de la transparencia del proceso democrático, al brindar una medida robusta de la aplicación de los recursos del erario público. La ciudadanía tendría acceso a una mejora en la calidad de la información. Utilizando el ejemplo anterior, una gestión podría publicar un anuncio que no solo diga algo así: “se construyeron 10.000 viviendas”. Sino también, se podría publicar: “la construcción de las viviendas han representado una mejora del tanto % en la calidad de vida de las familias adjudicatarias, aunque todavía se requieren de otras medidas para lograr mejoras en la salud de las mismas”.

Finalmente, estas prácticas representan una oportunidad. A pesar que los programas de evaluación de impacto sean una de las áreas más relevantes en los sistemas de monitoreo y evaluación de políticas públicas en los países de América Latina, el déficit todavía es grande.

.

Para saber un poco más…

.

La lista de publicaciones que utilizan este tipo de técnicas es sencillamente abundante. Una introducción sumamente divertida a las técnicas econométricas sobre las que se sustentan estos trabajos (algo que no es sencillo de lograr con estos temas) es el libro de difusión de Angrist y Pischke, no traducido aún del inglés, “Mastering Metrics. The Path From Cause to Effect”.

Otro libro de difusión, que apunta a explicar los resultados obtenidos en trabajos de evaluación de impacto aplicados en temas de la lucha contra la pobreza, es el libro de Banerjee y Duflo, “Repensar la Pobreza. Un giro radical en la lucha contra la desigualdad global”. En el mismo, los autores muestran los resultados de aplicar este enfoque en temáticas tales como educación, salud, micro-ahorro, micro-créditos y emprendedurismo.

Para escuchar a la misma Dufló hablando de estos temas, puede consultarse la siguiente charla TED:

A nivel local, también tenemos nuestros referentes. En esta charla TEDx, Walter Sosa Escudero explica los fundamentos para pensar la causalidad en estadística:

Finalmente, hay una miríada de trabajos académicos que testean sus hipótesis bajo técnicas no-experimentales. Vamos a citar dos trabajos que tienen la característica de haber sido realizados por autores argentinos, y que tratan de problemáticas argentinas. Lamentablemente, la falta de información estadística hace que esto no sea tan recurrente.

El primer estudio busca responder una pregunta con una respuesta para nada obvia: ¿contribuye la presencia policial en la calle a disminuir la tasa de crímenes? El segundo, ha sido objeto de debate un par de años atrás, y contesta a la siguiente pregunta: el servicio militar obligatorio, ¿ha favorecido a mayores niveles de criminalidad?

.

Políticas públicas, ¿cómo saber que funciona (y que no)? por Germán Tessmer se distribuye bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.

.