Presidencia Uruguay

OPP explicita procedimiento de evaluación de gestión “con los ministerios y para mejorar”

Texto de la Oficina de Planeamiento y Presupuesto:

"Sobre los resultados de las evaluaciones realizadas por OPP con los ministerios y para mejorar:

A casi nadie le gusta que lo midan. Pero lo que no se mide, no se conoce. Y lo que no se conoce no se puede controlar —que es lo que hace el monitoreo—, explicar —que es lo que hace la evaluación—, fortalecer —con acuerdos de mejora—, incentivar o desincentivar —con compromisos de gestión—. En definitiva, sin monitoreo y evaluación no hay planificación. Y eso, ni la OPP ni nadie en el Gobierno lo quiere.

En este contexto, el pasado 12 de diciembre, en el seminario “La evaluación en un contexto de gestión para resultados”, organizado por la OPP junto con el programa EUROsociAL de la Unión Europea, el Banco Interamericano de Desarrollo (BID), el Banco Mundial y el Programa de las Naciones Unidas para el Desarrollo (PNUD) presentamos los resultados de las evaluaciones realizadas por OPP en 2012 de las intervenciones Cooperativas, Autoconstrucción y MEVIR —del área programática Vivienda— y Patronato Nacional de Encarcelados y Liberados —del área programática Seguridad Pública—. A nuestro entender, y por decir lo menos, las primeras repercusiones han puesto el énfasis en lo menos importante y obligan, por tanto, a realizar algunas reflexiones.

Las evaluaciones realizadas —a las que llamamos DID—, analizan el Diseño, Implementación y Desempeño de las intervenciones. Son evaluaciones rápidas —cuatro meses— y de escritorio —en el sentido de que, a diferencia de las evaluaciones de impacto, utilizan fundamentalmente información disponible—. Cada evaluación es llevada a cabo por un grupo de tres evaluadores externos —un experto en la metodología, otro en temas sectoriales, y el tercero en aspectos administrativo-contables— más un experto internacional en el tema que se evalúa. El proceso de evaluación es acompañado por los técnicos del Área de Gestión y Evaluación del Estado (AGEV) de OPP, quienes proponen la metodología de evaluación y conducen técnicamente su implementación. Durante toda la evaluación, se trabaja coordinadamente con un equipo de funcionarios de la intervención evaluada. De lo dicho, se desprende una primera reflexión: OPP no es la “policía” de las políticas públicas, que allana los Ministerios para ver qué tan bien o mal hacen su trabajo. Por el contrario, durante las evaluaciones, OPP trabaja con los ministerios procurando identificar oportunidades de mejora. Más aún, los Ministerios, naturalmente absorbidos por la inercia de lo cotidiano, aprecian los recursos y el tiempo puestos en las evaluaciones para repensar qué va bien y qué no en el diseño, la implementación y el desempeño de sus programas. No hay Ministerio que no quiera mejorar su performance.

En segundo lugar, y relacionado con lo anterior, el espíritu de estas evaluaciones no es punitivo. No existe, ni puede existir, una relación lineal y mecánica entre (mal) resultado de la evaluación y (menos) recursos presupuestales. Así no se hace política fiscal y así no se usan las evaluaciones. Lo que procuran las evaluaciones, insistimos, es identificar oportunidades de mejora en el diseño y/o en la implementación de los programas. Tan es así que todas las evaluaciones culminan, precisamente, con la firma de un acuerdo de mejora entre OPP y la intervención evaluada, por el que esta última se compromete, con el respaldo de OPP, a implementar algunas de las recomendaciones que surgen de la evaluación. Por poner un ejemplo, el acuerdo que se está procesando con el MVOTMA procurará introducir mejoras en sus sistemas de información (como el sistema de Gestión de Acceso y Permanencia en la Vivienda –GAPEV- y el sistema de Gestión de Obra –SGO-) de modo que (a) se estime la demanda futura que se va a recibir en cada una de las etapas de los proyectos de Cooperativas y Autoconstrucción (certificaciones, estudios de terrenos, anteproyectos, subsidios, etc.); y (b) sea más ágil el costeo —por productos, por componentes—, porque no solo debe importarnos el delivery (eficacia) sino también la eficiencia.

En tercer lugar, los resultados presentados no corresponden a evaluaciones aisladas. La evaluación de políticas públicas por parte de OPP es un proceso que comenzó hace un año, que empieza a mostrar resultados y que, fundamentalmente, continuará. Así lo manda la Ley y así se ha acordado en Consejo de Ministros. En el primer semestre de 2013 se llevarán adelante evaluaciones DID del Plan Aduana, Acompañamiento Socioeducativo a Adolescentes (ex Acompañamiento a Madres Adolescentes) y Salud Bucal —en el área programática Salud— y de INACRI, OSLA y Policía Comunitaria —en el área programática Seguridad Pública—. Además, paralelamente al diseño de Uruguay Crece Contigo, se ha trabajado en una ambiciosa evaluación de impacto de este programa, que pretendemos esté lista a fines de 2013. Más aún, con los resultados de las evaluaciones del Plan Aduana, Acompañamiento Socioeducativo a Adolescentes y Uruguay Crece Contigo seguramente se avanzará en una refundación de la política de primera infancia del país. Finalmente, y sin forzar coincidencias, el Sistema Nacional de Inversión Pública (SNIP) no es más que la evaluación ex ante (preinversión), durante (monitoreo de la ejecución) y después (impacto) de la inversión pública.

Por otra parte, la evaluación se complementa con el monitoreo de los diferentes programas presupuestales. Los 32 programas presupuestales que conforman las siete áreas programáticas prioritarias son monitoreados con aproximadamente cien indicadores de resultados. Los indicadores alertan sobre lo que va bien o no, pero no explican el porqué. Entonces, es precisamente la evaluación, complementado al monitoreo, la que procura encontrar las razones.

Además de no tratarse de evaluaciones aisladas, tampoco son antojadizas porque nótese que todas las intervenciones elegidas pertenecen a áreas programáticas prioritarias, que recibieron el 84% de los recursos incrementales del Presupuesto 2010-2014. Además, las tres intervenciones de vivienda seleccionadas –Cooperativas, Autoconstrucción y MEVIR- representan gran parte de los recursos presupuestales destinados a la política habitacional.

Hasta ahora, casi exclusivamente lo negativo mereció atención. No se dijo que el nuevo Reglamento de Cooperativas intenta cuidadosamente evitar que las mismas se sigan instalando en las zonas periféricas, desparramando la mancha urbana y agravando los problemas de stress sobre la infraestructura que ya provoca la fuerte migración interna. No se citó que los costos de construcción, aunque altos, son menores que los equivalentes de mercado. No se hizo referencia al acierto de brindar apoyos profesionales diferenciales a las familias más vulnerables para que culminen exitosamente los procesos de Autoconstrucción de Vivienda. No se rescató que Cooperativas y Autoconstrucción poseen criterios de acceso que focalizan correctamente en la población de menores ingresos. En particular, Cooperativas es uno de los programas de vivienda con mayor incidencia relativa en esos hogares: los beneficiarios potenciales del programa que pertenecen al 40% más pobre son cuatro veces los que pertenecen al 40% de más altos ingresos. En relación al Patronato, no se reflejó la plena justificación de su continuidad como mecanismo de rehabilitación, así como el profundo compromiso y capacidad del equipo responsable, que le ha permitido diversificar los servicios prestados a pesar de una reducción importante del personal afectado y que será la base para su fortalecimiento futuro.

Nos costará a todos —evaluadores, evaluados, prensa, ciudadanos— entender que las evaluaciones no son contra los Ministerios sino con ellos, que no son para castigar sino para mejorar, que no son antojadizas sino prioritarias y que llegaron para quedarse. Nos costará, pero lo haremos".