IV. Otras actividades parlamentarias

Informe Anual de Evaluación 2016 y actualización del Plan Bienal de Evaluaciones 2017-2018.
Documentación complementaria
700/000003

Al Excmo. Sr. Presidente del Senado.

Excmo. Sr.:

Tengo el honor de remitir a V.E. la siguiente documentación con el ruego de su traslado a la Comisión de Cooperación Internacional para el
Desarrollo:

• Informe del Consejo de Cooperación al Desarrollo sobre el «Informe Anual de Evaluación 2016» y el «Plan Bienal de Evaluación 2017-2018».

• Informe del Consejo de Cooperación al Desarrollo sobre
el «Informe de Actividad FONPRODE 2015».

Madrid, 21 de febrero de 2018.—El Secretario de Estado de Relaciones con las Cortes, Rubén Moreno Palanques.

INFORME SOBRE EL «INFORME ANUAL DE EVALUACIÓN 2016» Y EL «PLAN BIENAL
DE EVALUACIONES 2017-2018»

(Aprobado por unanimidad en el Pleno del Consejo de Cooperación al Desarrollo en su reunión de 16 de febrero de 2018)

I. Introducción

En uso de las competencias que le atribuye el RD2217/2004 de
26 de noviembre para elevar informes por propia iniciativa en campos relacionados con la cooperación para el desarrollo, el Consejo de Cooperación ha decidido, dada la relevancia de la política de evaluación para el proceso de mejora de la calidad
de la cooperación española, y como ya lo hiciera en ocasiones anteriores, someter a estudio el «Informe anual de evaluación 2016» y el «Plan bienal de evaluaciones 2017-2018». Como resultado de este ejercicio emite el siguiente Informe.

II. Valoración

1. El Consejo agradece el envío del «Informe anual de evaluación 2016», reconociendo la puntualidad con que se presenta este documento para su dictamen por el Consejo, y valorando también de forma positiva el
esfuerzo realizado en su elaboración, así como la información detallada y sistemática que provee. Del mismo modo, agradece la remisión del «Plan bienal de evaluaciones 2017-2018», aunque, en este caso, ha de señalar que la presentación del mismo se
produce avanzada ya la mitad de uno de los dos años a los que se refiere el ejercicio de planificación. Lo deseable es que estos Planes se den a conocer antes de iniciarse el periodo para el cual se definen los objetivos, cosa que en este caso no
sucede.

2. La remisión de ambos documentos supone la consolidación de una buena práctica que es crucial para elevar los niveles de transparencia y rendición de cuentas de la Cooperación Española ante la sociedad. Además de ello, el
Consejo reitera que la planificación y el seguimiento de la evaluación a través de esta secuencia de Informes son esenciales, por cuanto permitirán asentar, en mayor medida, la política de cooperación en la evidencia de sus resultados, alentando los
procesos de aprendizaje necesarios para elevar los niveles de calidad, no sólo de las intervenciones, sino también de las propias estrategias.

II.1. «Informe Anual de Evaluación 2016»

3. Los datos correspondientes a 2016
confirman que se ha mantenido, a nivel global, la actividad evaluadora propia del año precedente: se han registrado un total de 144 evaluaciones, cifra similar a las 146 realizadas en 2015, pero muy alejada de las 193 evaluaciones de 2014,
convirtiéndose el año 2016 en el año en que menos evaluaciones se han realizado desde que se dispone de Informes anuales de evaluación.

El grueso de las evaluaciones mencionadas (el 66 %) fue promovido y financiado por la cooperación
descentralizada. Le siguen en importancia las evaluaciones de convenios y proyectos de ONGD (15 %), las operativas de la AECID (8 %) y con cuotas similares las relativas al FCAS y las centralizadas promovidas por la SGCID (4 % y 5 %,
respectivamente) y, finalmente, las Universidades aportan una evaluación (lo que supone el 0,7 %). En términos de contribución al presupuesto agregado de la evaluación, los porcentajes son sensiblemente diferentes a los anteriores, como
consecuencia de las diferencias existentes en el presupuesto medio de las evaluaciones; así, según este criterio, las entidades más relevantes son la AECID, que aporta el 38 % de los recursos, la Cooperación Descentralizada, con el 31 % y la FIIAPP
con el 27 %. La contribución de la SGCID se queda en un modesto 4 %. Finalmente, si se atiende a las instituciones gestoras de esas evaluaciones, la relación de entidades se altera de nuevo notablemente, quedando encabezada por las ONGD, que
gestionan el 59 % de las evaluaciones. Les siguen la Cooperación Descentralizada, con el 21 %, la AECID (en solitario o en forma compartida) con el 13 % y la SGCID (también en solitario o en forma compartida) con el 5 %. Las cifras ofrecidas
evidencian un contraste manifiesto entre la alta carga en la actividad evaluadora que soportan las ONG (en ocasiones con limitados medios) y el bajo número de las que realiza la SGCID (que es, sin embargo, la unidad central del sistema en materia de
evaluación).

4. La distribución geográfica y sectorial de las evaluaciones sigue pautas similares a las de años precedentes. El grueso de las evaluaciones se realizaron sobre intervenciones en América Latina (80 de las 144), siendo la
región centroamericana (con 50) la que acumuló un mayor número de evaluaciones. Le sigue en importancia África Subsahariana con 28 y el Norte de África y Oriente Medio con 15. La distribución señalada reproduce, quizá de forma un poco acentuada,
la especialización geográfica propia de la Cooperación Española. Por lo que se refiere a los sectores, el grueso de las evaluaciones se orientaron a los ámbitos de educación (21 %), agricultura, silvicultura y pesca (17 %), gobierno y sociedad
civil (14 %) y agua y saneamiento (13 %). Por último, aunque en el agregado total, es dominante la evaluación de proyectos, en el caso de la evaluación centralizada —siguiendo la clasificación que se ofrece— tienen un peso dominante
la evaluación de documentos estratégicos (38 %), en relación a ámbitos más operativos (como instrumentos, sectores o programas país) que tienen cuotas menores. A la luz de estos datos, sería interesante hacer un ejercicio de reflexión y pensar en
equilibrar este aspecto en futuros ejercicios.

5. Aunque se ha mantenido la actividad evaluadora, hay dos rasgos en el año que resultan preocupantes:

• En primer lugar, han caído tanto los recursos totales
dedicados a evaluación como el peso que esos recursos tienen en el total del gasto de la ayuda. En el primer caso, se ha pasado de desembolsar 1,7 millones de euros en 2015 a poco más de 1,3 en 2016 (es decir, una caída del 22 % y esa ratio de
caída sería del 62 % si se compara con el año precedente). A su vez, el peso de los recursos dedicados a la evaluación ha pasado de ser algo más del 0,6 % del total de la AOD bilateral en 2014, a cerca del 0,3 % en 2015 y desciende de nuevo
al 0,05 % en 2016. Se trata de cifras muy bajas, que además están en un preocupante descenso. Entendemos que esta tendencia en los recursos no está acorde con la promoción que se pretende tener de la evaluación en el sistema de cooperación
española, especialmente si esta quiere transitar hacia una política más innovadora y especializada en conocimiento. Entendemos, además, que este descenso en los recursos en evaluación puede afectar no sólo al número de evaluaciones realizadas, sino
al deterioro de la calidad de las mismas, restando valor a la actividad evaluadora.

• En segundo lugar, han descendido las evaluaciones promovidas por la entidad principal y mejor dotada en capacidades técnicas que el propio
sistema ha generado para gestionar la evaluación, que es la División de Evaluación de la SGCID (hoy DGPOLDES). El número de evaluaciones que se acredita son 8, pero en realidad cuatro de ellas son estudios y sólo 4 propiamente evaluaciones. Esa
cifra está distante de las 8 evaluaciones realizadas en 2015 o de las 12 realizadas en 2014. El Consejo es consciente de que la División sufrió una reducción de personal, que ha afectado a su capacidad operativa. Este hecho, unido a la caída de
presupuesto para la evaluación y a la reducción de evaluaciones que gestiona, dificulta que esa unidad pueda desplegar más plenamente su capacidad de liderazgo y referencia en el sistema de evaluación de las políticas de desarrollo a nivel nacional.
Dadas esas carencias, se sugiere, que la División trate de focalizar al máximo sus esfuerzos sobre la actividad evaluadora, que es donde puede generar mayor valor añadido. Una parte de los estudios realizados, aunque útiles, podrían ser acometidos
desde otras instancias y por otros actores (incluidos centros de estudio o universidades); pero, en cambio, es difícilmente sustituible la función de esa unidad en las actividades de promoción y gestión de la actividad evaluadora, vinculando dichas
acciones además, a impulsar la gestión del conocimiento.

6. Como en Informes anteriores, el Consejo quiere llamar la atención acerca de los bajos presupuestos que, en promedio, tienen las evaluaciones. De acuerdo a los datos, el
presupuesto promedio de las evaluaciones es de poco más de 8.000 euros. Pero, el presupuesto promedio de las evaluaciones de la cooperación descentralizada (que son el 66 % del total) es de apenas 4.000 euros. Es ciertamente difícil generar
evaluaciones de calidad, con visitas al terreno, que aporten evidencias contrastadas de los efectos de la intervención con un presupuesto de esa magnitud. Sólo en el caso de las evaluaciones centralizadas, los encargos asumieron una dimensión media
(cerca de 54.000 euros) que, si bien modesta, permite un ejercicio de evaluación de cierta ambición. Por este motivo, el Consejo de Cooperación, insiste en su recomendación de anteriores Informes de alentar a que se incremente el presupuesto de
evaluación y se sea más selectivo en las iniciativas, para garantizar que las evaluaciones que se hagan sean suficientemente ambiciosas y de calidad como para aportar conocimiento contrastado y útil acerca de las intervenciones de desarrollo de la
Cooperación Española.

7. En línea con el punto anterior, las cifras de recursos manejados en los ejercicios de evaluación contribuyen a que una parte de lo que se presenta como evaluaciones sean, más propiamente, informes de
seguimiento o de cierre de un proyecto o auditorías de esas intervenciones. Contabilizar las cifras de forma agregada, sin diferenciar la naturaleza y alcance de esos ejercicios, puede llamar a la confusión. Por esa razón, el Consejo sugiere que
sería útil hacer una criba en el agregado de evaluaciones que se cuantifica, para diferenciar lo que son informes de cierre o auditorías de proyectos respecto de lo que son propiamente evaluaciones. En este sentido, se podrían incorporar algunas
informaciones que ayudasen a clasificar esos ejercicios (por ejemplo, si ha habido visitas al terreno, si ha habido recogida de opinión de los actores involucrados en las acciones evaluadas, si hay evidencias de los efectos u otros factores que se
consideren). De forma complementaria, para realizar esa clasificación pueden ser de utilidad las fichas de calidad desarrolladas en 2015 por la División de Evaluación, de cuyos resultados, sin embargo, apenas se reporta en el Informe. De forma
adicional, atendiendo a criterios estratégicos bien fundados, se podrían hacer ejercicios de metaevaluación, incorporando quizá, una mayor profundidad en el análisis del ejercicio evaluativo.

8. El Consejo de Cooperación considera que
el grado de cumplimiento del Plan Bienal 2015-2016 no puede considerarse como satisfactorio, siendo además, menor que el del año precedente. Lograr un grado de cumplimiento de las previsiones del 68 % no puede calificarse como «bueno», tal y como,
sin embargo, se hace en el Informe. El desequilibrio mayor entre previsiones y realizaciones se produce en el caso de las evaluaciones operativas, con una ratio del 56 %, pero son igualmente reducidos los grados de cumplimiento de la cooperación
descentralizada y del FCAS (ambas con un 68 %) y, aunque con una ratio superior, tampoco podemos considerar como satisfactorio el grado de cumplimiento de las evaluaciones centralizadas a cargo de la SGCID (76 %). Sólo en el caso de las ONGD las
evaluaciones realizadas se acercan a las previsiones (98 %).

Los desajustes descritos abundan en la idea de un debilitamiento de la política de evaluación, que se percibe no sólo en la caída de los recursos dedicados a esa tarea, sino también
en el incumplimiento de las previsiones que las propias instituciones formularon para este bienio. El Consejo insiste en la necesidad de dotar a las unidades gestoras de las evaluaciones de las capacidades necesarias para cumplir con las
previsiones.

9. A pesar de que el procedimiento está en sus inicios, el Consejo valora de forma positiva los avances que se han producido en los protocolos para el diagnóstico de la calidad de las evaluaciones y para la aplicación de
los aprendizajes derivados, a través de las respuestas de gestión y de su seguimiento posterior. Respecto a los protocolos de calidad, el Consejo cree que es importante avanzar en la aplicación y posterior publicación de la ficha de calidad que
permita diagnosticar la entidad de los diversos ejercicios, tratando de cualificar los datos agregados. Por su parte, se felicita de que se avance en la implantación de las respuestas de gestión, habida cuenta de que los 10 ejercicios posibles, se
cumplió este procedimiento en 8 y en dos más se está en proceso. Es una buena noticia saber que el período de elaboración de las respuestas se ha acortado. Aunque son muy pocas las evaluaciones sobre cuya respuesta de gestión se puede hacer
seguimiento (apenas 2), todo sugiere que se está avanzando en una línea prometedora. En este caso, no es tan importante el porcentaje de recomendaciones aceptadas, cuanto el hecho de que haya un ejercicio de análisis de la evaluación por parte de
la entidad implicada y haya un esfuerzo de identificación y aplicación de los aprendizajes de las mismas.

10. Por último, el Consejo entiende que el ejercicio de Lecciones Aprendidas debe orientarse muy centralmente a dar cuenta de los
hallazgos de las evaluaciones del año, especialmente aquellas lecciones que tienen trascendencia para mejorar la calidad de la cooperación y para su sistema de gestión del conocimiento. A diferencia de años anteriores, este año se ha optado por
hacer una síntesis de las conclusiones y recomendaciones de documentos ya conocidos y muchos de ellos informados por el propio Consejo. No se puede discrepar en muchas de las consideraciones que se formulan, la mayor parte de carácter muy general,
pero entendemos que el valor añadido de reiterarlas en un Informe Anual de Evaluación es limitado. No parece que la División de Evaluación tenga una ventaja clara a la hora de formular juicios generales (referidos a la estructura organizativa, a la
política de recursos humanos, al grado de coordinación de actores, etc.) de la Cooperación Española; y, en cambio, es la única instancia que conoce en profundidad las evaluaciones, los hallazgos que en ellas se contienen y las implicaciones y
enseñanzas que de ellos se derivan. Y es sobre estos aspectos sobre los que debiera centrarse ese ejercicio valorativo. Es muy significativo que en todo ese capítulo, apenas se mencionen (más que muy marginalmente) aprendizajes directamente
derivadas de los ejercicios de evaluación realizados en el año. Por este motivo, el Consejo sugiere que ese capítulo valorativo se centre de nuevo en extraer aprendizajes de las evaluaciones realizadas en el año, tratando de hacer un decantado de
aquellos elementos más inspiradores para producir un cambio favorable en las estrategias e instrumentos y en la gestión de las acciones de nuestra ayuda.

II.2. «Plan Bienal de Evaluaciones 2017-2018»

11. El
«Plan Bienal de Evaluaciones 2017-2018» programa la actividad que se pretende llevar a efecto en este campo a lo largo del año en curso y del próximo. El Plan prevé un total de 232 evaluaciones, acentuándose la tendencia decreciente ya iniciada en
el bienio anterior (477 en el Plan 2013-2014, y 341 en el Plan 2015-2016); de ellas, 126 pertenecen al ámbito de la SGCID (hoy DGPOLDES) o AECID y 106 promovidas por otros actores.

Además del evidente retroceso en el total de evaluaciones
previstas, en comparación con el Plan anterior, es llamativo el incremento de evaluaciones de proyectos y convenios de ONGD financiados por la AECID, tanto en número (19 en el plan original anterior, 46 en el presente) como aún más en términos
proporcionales, lo que evidencia la importancia que ha adquirido la evaluación en las ONGDs en los últimos años; esto es, teniendo en cuenta la reducción del número total previsto (36,5 % del total promovido en el ámbito de la SECIPIC, versus
el 14 % del bienio anterior, y casi un 20 % del total de evaluaciones proyectadas en el Plan, en claro contraste con el 5,5 % sobre el total que suponían en el Plan anterior). Se incrementa también el número de evaluaciones promovidas por otros
actores de la AGE y por Universidades (de 1 a 4 en el caso de otros actores de la AGE, todas comunicadas por MINECO, y de 0 a 3 en el caso de Universidades). En cambio se reduce, también de manera muy significativa, la previsión de evaluaciones
centralizadas gestionadas por la SGCID (de 21 en el Plan anterior a 7 en el actual) y de las promovidas por las Comunidades Autónomas (que se reducen casi en un 50 %, de 204 a 99).

12. El Consejo desea manifestar su preocupación por la
caída que se está produciendo en el número total de evaluaciones previstas para el periodo (un descenso del 32 % respecto de la versión original del Plan anterior); tal reducción podría tener sentido si su razón de ser fuese una mayor ambición o
alcance de las evaluaciones programadas, pero no parece que sea ésta la tendencia dado que las evaluaciones de mayor entidad, que son las centralizadas, son las que descienden de manera más significativa. Sin esa justificación, el descenso parece
evidenciar más bien un retroceso en el interés e intensidad del esfuerzo evaluador que se había logrado en periodos anteriores.

13. Preocupa asimismo al Consejo el reducido papel de la División de Evaluación de la DGPOLDES en el Plan
Bienal (que es más reducido aún si se tiene en cuenta que de las 7 evaluaciones planificadas, algunas no son ejercicios de evaluación en sentido estricto), aun siendo consciente de la reducción de recursos humanos a la que el propio Plan alude para
explicar la disminución de las evaluaciones centralizadas. Se trata de la unidad central que tiene encomendada la función de evaluación de la política de Cooperación Internacional para el Desarrollo y es la que acumula mayores recursos técnicos y
humanos para ello (aun a pesar de ser claramente insuficientes), por lo que debía preservar su liderazgo en el sistema de evaluación de la Cooperación Española.

14. Dado que el ámbito en que se mueve el conjunto de evaluaciones
previstas es amplio, abarcando distintas modalidades, sectores, instrumentos y socios de la cooperación española, el Consejo reitera la necesidad de dotar a las unidades gestoras de las evaluaciones, cualquiera que sea la instancia desde la que
operen (DGPOLDES, AECID, Gobiernos Autónomos u ONGD) de los recursos técnicos y humanos especializados y de los medios financieros necesarios para poder elevar los niveles de calidad en los resultados, y puedan servir de manera efectiva en los
procesos de aprendizaje y al fin último de mejora de la calidad de la cooperación española.

15. Si bien es consciente de la dificultad que puede suponer en algunos casos, el Consejo entiende que, en la medida de lo posible, debería
hacerse un esfuerzo por desagregar la información distinguiendo los ejercicios que son puramente evaluaciones de otros de distinta naturaleza como estudios o informes; el Plan actual adolece de esa confusión.

16. Como ya ha
manifestado en informes anteriores, y sobre la base de que la política de evaluación debe servir para lograr unos mejores resultados de la política de cooperación, el Consejo desearía una planificación de las evaluaciones que pudiese devenir en
resultados más productivos, en el sentido de vincular lo más posible los ejercicios de evaluación a los intereses prioritarios de la cooperación española para obtener aprendizajes y retroalimentar esos ámbitos, así como para mejorar la calidad de la
ayuda.

17. Finalmente, el Consejo expresa su deseo de que, siendo menos ambicioso en previsión de evaluaciones, el grado de cumplimiento del «Plan Bienal de Evaluaciones 2017-2018» supere el alcanzado por el Plan anterior, para lo cual
insta a los responsables no sólo a dotar a las distintas unidades implicadas en los ejercicios de evaluación de las capacidades necesarias para llevarlos a cabo de forma solvente, sino también a realizar un ejercicio de reflexión sobre otras
cuestiones que afectan el grado de ejecución de lo planificado sobre la base de experiencias extraídas de periodos anteriores.

III. Recomendaciones

18. Sobre la base del análisis del «Informe anual de
evaluación 2016» y del «Plan bienal de evaluaciones 2017-2018» y de las consideraciones expuestas, se elevan a la Administración las siguientes recomendaciones:

1. El Consejo de Cooperación considera que la evaluación rigurosa y
sistemática de las actuaciones es imprescindible para mejorar los niveles de calidad e impacto de nuestra política de cooperación al desarrollo y, por ello, estima imprescindible volver a impulsar esta política e intensificar el esfuerzo evaluador,
destinando los recursos financieros y humanos necesarios para que las unidades gestoras de las evaluaciones puedan cumplir eficazmente su función.

2. Es preciso seguir avanzando en la aplicación de protocolos de calidad de las
evaluaciones (incluyendo las fichas preparadas al respecto) e incorporarlos al Informe, de modo que pueda calibrarse el valor de los distintos ejercicios, discernir los que no cumplan con los umbrales de ambición requeridos para ser considerados
verdaderos ejercicios de evaluación, y dar pasos hacia el objetivo de disponer de evaluaciones de alto nivel sobre las actuaciones de la cooperación que puedan ser realmente útiles al objetivo último de mejora de la calidad del sistema.

3. Deben seguir también los esfuerzos iniciados para continuar y mejorar la implantación y seguimiento de las respuestas de gestión, de modo que la evaluación sea útil para la identificación y aplicación de vías de mejora, además de para
analizar el grado cumplimiento de los compromisos adquiridos por España en las diferentes agendas de desarrollo (Grand Bargain, Agenda 2030, eficacia de la ayuda...).

4. Sería conveniente recuperar en los Informes anuales de evaluación
una sección de «Lecciones Aprendidas» que, lejos de hacer recomendaciones generales, reiteradas y ya conocidas, se centrase en los resultados concretos de los ejercicios de evaluación realizados en el año, especialmente en los que puedan servir de
inspiración para implementar buenas prácticas y cambios que mejoren el sistema de cooperación. Asimismo, y en la misma línea, se debería continuar promoviendo la gestión del conocimiento e impulsar espacios de intercambio de experiencias entre
todos los actores de la cooperación española con el objetivo de mejorar tanto la calidad de las evaluaciones como de las acciones en cooperación.

5. La División de Evaluación de la DGPOLDES debe dotarse de los recursos necesarios para
poder desempeñar el liderazgo en el desempeño de la función evaluadora de la política de cooperación internacional que tiene encomendada.