European curricula for economic animator in the enlarging European curricula for economic animator in the enlarging EuropeEurope

Programa europeo de capacitación de agentes facilitadores de Programa europeo de capacitación de agentes facilitadores de Desarrollo e innovación regionalDesarrollo e innovación regional

Implementación y Implementación y evaluación de evaluación de

proyectosproyectos

Sumario Sumario

Objetivos del Curso

La evaluación de la intervención pública

Justificación de la evaluación

Antecedentes de la evaluación

Objetivos: usos y finalidad

Tipos de evaluación

Fases de la evaluación

Componentes de la evaluación

Caso Práctico: Knowledge Cafe

Objetivos del curso Objetivos del curso

El curso aborda aspectos relacionados con el

seguimiento de políticas y programas públicos,

tales como los diversos momentos en el proceso de

valoración, justificación y control y donde se

asignará especial relevancia a la aplicación de un

marco de evaluación. De acuerdo a esto último, se

profundizará en la evaluación de políticas y

programas públicos, así como también en las

herramientas para dicha valoración de la

intervención pública

Justificación de la evaluación Justificación de la evaluación

En la ayuda al desarrollo socioeconómico de las distintas regiones en

los Estados Miembros de la Unión, las medidas políticas y

económicas aplicadas se caracterizan por la diversidad en sus

objetivos y conciencia de necesidades, la concentración, e incluso

en ocasiones, contradicción en los esfuerzos asignados y la

diferente percepción de las oportunidades, dificultades y soluciones

existentes en el ámbito de apoyo público.

En los últimos años hemos presenciado una preocupación creciente

por la evaluación de las intervenciones públicas que surge, por un

lado, de la necesidad de determinar los resultados obtenidos en

relación al alcance de los objetivos previstos y recursos aplicados y,

por otro lado y aun a riesgo de equivocarnos, de lo que

denominamos la legitimidad última de la acción de los poderes

públicos, que se basa en dar una respuesta satisfactoria a las

demandas sociales.

Cada vez más,Cada vez más, las directrices emanadas de la UE abogan por la las directrices emanadas de la UE abogan por la

utilización sistemática de la evaluación en las diferentes iniciativas utilización sistemática de la evaluación en las diferentes iniciativas

regionales que se están llevando a cabo,regionales que se están llevando a cabo, así como de cada uno de así como de cada uno de

los programas y líneas de actuación asumidas. los programas y líneas de actuación asumidas.

Sin embargo, Sin embargo, el objetivo últimoel objetivo último de la Comisión de la Comisión no responde no responde

únicamente a un simple control,únicamente a un simple control, sino que pretendesino que pretende obtener un obtener un

efecto multiplicador de las metodologías de buenas prácticas, que efecto multiplicador de las metodologías de buenas prácticas, que

obtenidas como conclusiones de las evaluaciones realizadas, obtenidas como conclusiones de las evaluaciones realizadas,

sirvan para sirvan para optimizar la efectividad, la racionalidad y el dinamismo optimizar la efectividad, la racionalidad y el dinamismo

del uso de los recursos disponiblesdel uso de los recursos disponibles y de los medios existentes para y de los medios existentes para

las políticas comunitarias apoyo al desarrollo socio-económico.las políticas comunitarias apoyo al desarrollo socio-económico.

Justificación de la evaluación Justificación de la evaluación

Por ello,Por ello, la evaluación no debe estar exclusivamente dirigida a la evaluación no debe estar exclusivamente dirigida a

establecer juicios a posterioriestablecer juicios a posteriori con objeto de responder a las con objeto de responder a las

demandas de las organizaciones donantes o sociedad en general,demandas de las organizaciones donantes o sociedad en general,

sino que es una herramienta de uso habitual que resulta sino que es una herramienta de uso habitual que resulta

indispensable a la hora de formular las acciones y proceder a su indispensable a la hora de formular las acciones y proceder a su

ejecución.ejecución.

Justificación de la evaluación Justificación de la evaluación

Justificación de la evaluación Justificación de la evaluación

Es decir, la evaluación no debe limitarse exclusivamente a otorgar Es decir, la evaluación no debe limitarse exclusivamente a otorgar

mayor transparencia y legitimidad a la gestión pública o a mayor transparencia y legitimidad a la gestión pública o a

incrementar el control sobre los escasos recursos públicos. incrementar el control sobre los escasos recursos públicos. El El

principal desafío que afrontan los entes públicos desde un principal desafío que afrontan los entes públicos desde un

reconocimiento general, obedece a la necesidad de disponer de reconocimiento general, obedece a la necesidad de disponer de

información que resulte de utilidad en la asignación de recursos a información que resulte de utilidad en la asignación de recursos a

programas y beneficiarios y de utilidad para valorar su gestión programas y beneficiarios y de utilidad para valorar su gestión

sobre la base de datos cuantitativos y cualitativos. Es decir, sobre la base de datos cuantitativos y cualitativos. Es decir,

sistemas de información, no exclusivamente financieros, que sistemas de información, no exclusivamente financieros, que

permitan visualizar y analizar las actividades realizadas, el permitan visualizar y analizar las actividades realizadas, el

desarrollo de los programas, sus obstáculos e interrelaciones desarrollo de los programas, sus obstáculos e interrelaciones

entre las distintas políticas o ayudas y la suma de impactos... entre las distintas políticas o ayudas y la suma de impactos...

Todo ello con el fin de facilitar la gestión interna de las Todo ello con el fin de facilitar la gestión interna de las

operaciones y permitir valorar y planificar la asignación de operaciones y permitir valorar y planificar la asignación de

recursos, racionalizando la gestión pública. recursos, racionalizando la gestión pública.

Antecedentes de la evaluación Antecedentes de la evaluación

Primera etapa: De los inicios a los años 60Primera etapa: De los inicios a los años 60

La evaluación nace en EEUU, hacia los años 30, en forma de investigación

sobre programas de educación e infraestructuras, si bien, la mayor

profusión de estudios se produce en los primeros años 60. El

experimentalismo era el enfoque metodológico predominante y la

evaluación era sinónimo de medición y cuantificación de resultados de

la gestión pública y se concebía al servicio de los gestores.

Segunda etapa: De los años 60 a los años 70 Segunda etapa: De los años 60 a los años 70 

La evaluación se convierte fundamentalmente en una herramienta

descriptiva de los programas públicos para la resolución de los

problemas sociales, en tanto que instrumento político para la

reconsideración de políticas y presupuestos. El enfoque dominante

respondía a una evaluación de carácter interno a la propia

Administración y a los gobiernos.

Antecedentes de la evaluación Antecedentes de la evaluación

Tercera etapa: los años 80 Tercera etapa: los años 80

La evaluación se centra no sólo en los objetivos, sino también en los impactos La evaluación se centra no sólo en los objetivos, sino también en los impactos

sociales producidos tras la intervención pública. En sociales producidos tras la intervención pública. En EuropaEuropa, la , la

profundización en la gestión y control de los Fondos Estructurales, profundización en la gestión y control de los Fondos Estructurales,

propició el impulso de los sistemas de evaluación, extendiéndose al propició el impulso de los sistemas de evaluación, extendiéndose al

conjunto de la sociedad civil, organizaciones no gubernamentales, etc.conjunto de la sociedad civil, organizaciones no gubernamentales, etc. En En

la actualidad, la UE acomete la evaluación desde las más diversas la actualidad, la UE acomete la evaluación desde las más diversas

perspectivas académicas y profesionales, institucionalizándose, en mayor perspectivas académicas y profesionales, institucionalizándose, en mayor

medida, en los países del norte de Europa.medida, en los países del norte de Europa.

Cuarta etapa: los años 90 Cuarta etapa: los años 90 

Se producen Se producen corrientes favorables a la evaluación en la mayoría de los países corrientes favorables a la evaluación en la mayoría de los países

de la UEde la UE, surgen Institutos o Sociedades de evaluación y se desarrolla , surgen Institutos o Sociedades de evaluación y se desarrolla

desde hace más de una década un desde hace más de una década un amplio movimiento de conocimiento y amplio movimiento de conocimiento y

experienciasexperiencias que, inserto en la nueva sociedad del conocimiento, se que, inserto en la nueva sociedad del conocimiento, se

dinamiza a través de dinamiza a través de redes de intercambioredes de intercambio..

Objetivos de la evaluación: uso y finalidadObjetivos de la evaluación: uso y finalidad

Principales propósitos de la evaluaciónPrincipales propósitos de la evaluación Marcos metodológicosMarcos metodológicos

Planificación y eficiencia:Planificación y eficiencia:Asegurar que hay una justificación para la política/programa evaluado y que los recursos son eficientemente asignados y utilizadosResponde a las necesidades informativas de planificadores y decisores políticos

Enfoque basado en el análisis de la Enfoque basado en el análisis de la asignación de recursosasignación de recursosAnálisis de la eficiencia en la aplicación de los recursos, en términos de su planificación y uso

Rendición de cuentas (accountability):Rendición de cuentas (accountability):Demostrar hasta que punto el programa ha conseguido sus objetivos y cómo se han usado los recursos de una manera eficaz.Responde a las necesidades informativas de decisores político, organismos financiadores del programa y parlamentos.

Enfoque basado en la verificación de Enfoque basado en la verificación de unos estándares o metasunos estándares o metasJuzgar el éxito y la eficacia mediante la verificación de criterios.

Aplicación:Aplicación:Mejorar la aplicación y ejecución del programa y la eficacia de sus mecanismos de actuaciónResponde a las necesidades de los gestores del programa y a sus socios.

Enfoque formativo orientado hacia la Enfoque formativo orientado hacia la mejora y el cambio mejora y el cambio Generar conclusiones que sean de utilidad para mejorar el programa durante su aplicación y funcionamiento.

Producción de conocimiento:Producción de conocimiento:Aumentar nuestra comprensión sobre qué programas funcionan, como operan en la realidad y en qué circunstancias para poder llegar a conclusiones sobre la efectividad de diferentes formas de actuaciónResponde a las necesidades de planificadores

Enfoque basado en la comprensión Enfoque basado en la comprensión /explicación/explicaciónInvestigar los impactos del programa y su éxito e identificar mecanismos causales sobre qué funciona, cuándo y cómo.

Fortalecimiento industrial:Fortalecimiento industrial:Mejorar y desarrollar la capacidad de los participantes en el programa de actuar sobre su entrono y de sus redes e institucionesResponde a las necesidades de los socios y otros implicados

Enfoque participativoEnfoque participativoDesarrollar redes, comunidades y territorios desde una perspectiva constructivista (de abajo-arriba) y con métodos participativos.

Objetivos de la evaluación: TiposObjetivos de la evaluación: TiposEn función del paradigma:En función del paradigma:• Evaluación clásica, racionalista, positivista, experimentalista centrada en los objetivos. • Evaluación pluralista, participativa, constructivista

En función del campo al que dirija su En función del campo al que dirija su acción:acción:• Evaluación estratégica • Evaluación operativa

  En función del método de investigación:En función del método de investigación:• Evaluación descriptiva • Evaluación analítica • Evaluación integral

  •En función del propósito:En función del propósito:•Evaluación formativa •Evaluación recapitulativa, conclusiva o de resultados

En cuanto a los evaluadores:En cuanto a los evaluadores:•Evaluación interna •Evaluación externa •Evaluación mixta

En función de los Contenidos:En función de los Contenidos:•Evaluación de necesidades •Evaluación de conceptualización o diseño de la política o programa •Evaluación de evaluabilidad •Evaluación de implementación. •Evaluación de resultados •Evaluación de Impacto •Evaluación económica.

En función de la perspectiva En función de la perspectiva temporal:temporal:•Evaluación ex ante •Evaluación intermedia •Evaluación ex post

  

Evaluación previaEvaluación previa

Evaluación intermediaEvaluación intermedia

Evaluación expost o finalEvaluación expost o final

Fases de la evaluaciónFases de la evaluación

Evaluación previa: Se plantea como un instrumento base para la preparación de

los planes y las intervenciones. Analizará las capacidades,

deficiencias y potencialidades del organismo beneficiario/

usuario de la política/ programa, valorándose la coherencia de

la estrategia y de los objetivos seleccionados con las

características/problemática o particularidades de las zonas

beneficiarias, así como el impacto esperado de las acciones

prioritarias previstas, cuantificando, si sus características lo

permiten, sus objetivos específicos en relación con la

situación inicial

Evaluación intermedia

Evaluación expost o final

Fases de la evaluaciónFases de la evaluación

Evaluación previa

Evaluación intermedia: Con relación a la evaluación intermedia, ésta analizará los

primeros resultados de las intervenciones, su pertinencia y la

realización de los objetivos tanto en términos financieros

como en el desarrollo material de las intervenciones, debiendo

ser efectuada por evaluadores independientes.

Evaluación expost o final: Con relación a la evaluación final, ésta tendrá por objeto

valorar la utilización de los recursos, la eficacia y la eficiencia

de las intervenciones y su impacto, centrándose en los

factores de éxito o de fracaso así como deducir conclusiones

para la política de intervención en cuestión, debiendo ser

efectuada por evaluadores independientes.

Fases de la evaluaciónFases de la evaluación

Componentes de la evaluación Componentes de la evaluación

La OCDE, Organización de Cooperación y Desarrollo Económicos, La OCDE, Organización de Cooperación y Desarrollo Económicos,

ha adoptado la siguiente definición del concepto de evaluación:ha adoptado la siguiente definición del concepto de evaluación:

““La evaluación es una función que consiste en hacer una apreciación, La evaluación es una función que consiste en hacer una apreciación,

tan sistemática y objetiva como sea posible, sobre un proyecto en tan sistemática y objetiva como sea posible, sobre un proyecto en

curso o acabado, un programa o un conjunto de líneas de acción, curso o acabado, un programa o un conjunto de líneas de acción,

su concepción su realización y sus resultados. Se trata de su concepción su realización y sus resultados. Se trata de

determinar la determinar la pertinenciapertinencia de los objetivos y su grado de de los objetivos y su grado de

realización, la realización, la eficienciaeficiencia en cuanto al desarrollo, la en cuanto al desarrollo, la eficaciaeficacia, el , el

impactoimpacto y la y la viabilidadviabilidad. Una evaluación debe proporcionar . Una evaluación debe proporcionar

informaciones creíbles y útiles, que permitan integrar las informaciones creíbles y útiles, que permitan integrar las

enseñanzas sacadas en los mecanismos de toma de decisiones, enseñanzas sacadas en los mecanismos de toma de decisiones,

tanto en los países de acogida como en los donantes” (1995)tanto en los países de acogida como en los donantes” (1995)

Componentes de la evaluación Componentes de la evaluación

Desde esta perspectiva, la evaluación se centra en cinco Desde esta perspectiva, la evaluación se centra en cinco

componentes generales o criterios que representan los componentes generales o criterios que representan los

puntos más importantes a tener en cuenta:puntos más importantes a tener en cuenta:

•EficienciaEficiencia: Se entiende que es la medida de los resultados del

proyecto- cuantitativos y cualitativos- en relación con los insumos

y los recursos totales, en otras palabras, cómo los insumos se

convierten en resultados desde el punto de vista económico.

•Eficacia:Eficacia: Es una medida para comprobar si se ha alcanzado el

objetivo específico del proyecto, o qué probabilidad hay de que se

alcance en el futuro en base a las acciones realizadas bajo el

proyecto. La cuestión es en qué medida los resultados han

contribuido a alcanzar el objetivo específico perseguido.

Componentes de la evaluación Componentes de la evaluación

•Impacto:Impacto: Son las consecuencias previstas y no previstas del

proyecto para la sociedad, tanto positivas como negativas. El

análisis en este caso debe tomar como punto de partida el

objetivo general y el objetivo específico del proyecto pero va

mucho más allá de averiguar simplemente si éstos se han

alcanzado.

•Pertinencia:Pertinencia: Nos referimos a un análisis general acerca de si el

proyecto se ajusta tanto al objetivo global, como a la política del

donante y el receptor y a las necesidades y prioridades locales.

•Viabilidad:Viabilidad: Es un análisis del conjunto sobre en qué medida los

cambios positivos logrados como consecuencia del proyecto se

mantienen después de que éste ha finalizado.

Componentes de la evaluación Componentes de la evaluación

Componentes de la evaluación Componentes de la evaluación

Objetivo

Especifico

ProductoInsumosObjetivo

Superior

PertinenciaPertinencia

La pertinencia es un tema de vital importancia, que se encarga de

conocer si la razón de ser de un proyecto está de acuerdo con las

prioridades de la comunidad local, la sociedad en cuestión y del país

u organización donante.

La pertinencia se preocupa de si la razón de ser de un proyecto está

de acuerdo con las prioridades de la comunidad local y la sociedad

en cuestión. La pertinencia es básicamente una cuestión de utilidad

que a nivel superior se refiere a la relación entre el proyecto y la

política y los efectos del área receptora, así como de si el proyecto

está de acuerdo con las prioridades del la organización donante.

Componentes de la evaluación Componentes de la evaluación

Objetivo

Especifico

ProductoInsumosObjetivo

Superior

EficaciaEficacia

El análisis de la eficacia presupone que el objetivo específico del proyecto ha sido definido de modo inequívoco y con un carácter operacional, a fin de hacer posible su verificación. Se deberá prestar atención a las causas que están detrás de la eficacia o de la ausencia de la misma, especialmente al grado en el que se han alcanzado los resultados esperados, y si éstos son suficientes o ha sido necesario realizar cambios en el diseño del proyecto para asegurar la eficacia en un marco temporal establecido. Igualmente, bajo este criterio, se analizará los factores externos que ejercen también una influencia sobre las posibilidades de éxito del proyecto.

El criterio de la eficacia es una medida para comprobar si se han alcanzado los objetivos específicos del proyecto, o qué probabilidades existen de que se alcancen. Este concepto también ofrece alguna información acerca del contenido del proyecto y de si éste contribuye al desarrollo en la dirección esperada.

Componentes de la evaluación Componentes de la evaluación

EficienciaEficiencia

La eficiencia es una medida de la productividad del proceso de

ejecución, es decir, hasta que punto los resultados alcanzados

derivan de una utilización eficiente de los recursos financieros,

humanos y materiales. En principio, esto significa comparar los

insumos con los resultados.

La dificultad principal a la hora de medir la eficiencia radica en

determinar un valor de referencia. Esto dependerá del tipo de

proyecto, de las circunstancias locales y de otros factores.

Objetivo

Especifico

ProductoInsumosObjetivo

Superior

Componentes de la evaluación Componentes de la evaluación

ImpactoImpacto La eficacia es un criterio de evaluación

restringido, dado que el objetivo específico del

proyecto indica únicamente los efectos positivos

correspondientes a las partes implicadas. Por

contraste, el concepto de impacto es más amplio,

al incluir tanto las consecuencias negativas

como las positivas, hayan sido o no previstas.

Objetivo

Especifico

ProductoInsumosObjetivo

Superior

En la evaluación es esencial un amplio análisis de los impactos de un

proyecto. A menudo ésta será la parte más difícil y absorbente del trabajo

de evaluación. El impacto total es resultado de condiciones causales y

complejas cuyo análisis puede resultar dificultoso.

A la hora de analizar los impactos, tomaremos como punto de partida el

objetivo general del proyecto en la forma en que fue definido, así como el

grado de eficacia alcanzado. Se tratará de atender a efectos, a corto y

largo plazo, económicos, sociales, políticos, técnicos o ambientales.

Componentes de la evaluación Componentes de la evaluación

ViabilidadViabilidad

El análisis de la viabilidad de un proyecto

implica algo más que simplemente

preguntar si él mismo ha logrado contribuir

a los objetivos marcados; es también

importante preguntar si es probable que la

iniciativa continúe después que la ayuda

externa haya finalizado y si la metodología

empleada para el desarrollo de esta

iniciativa puede ser transferible a otras

localidades.

En este sentido, los criterios descritos anteriormente se preocupan en

principio específicamente por el proyecto, mientras que el análisis de

viabilidad del proyecto es más una cuestión del proceso de desarrollo en

sí mismo, en una perspectiva de más largo plazo. Así, la viabilidad es en

muchos sentidos una prueba de mayor nivel acerca de si el proyecto ha

sido o no exitoso.

Objetivo

Especifico

ProductoInsumosObjetivo

Superior

Knowledge cafe Knowledge cafe