Evaluar La Evaluacion_Juan Murciano

1 JUSTIFICACIÓN DE LA OPORTUNIDAD DE EVALUAR LAS EVALUACIONES DE EQUAL EN ANDALUCÍA /JUSTIFICATION OF THE POSSIBILITY TO EVALUATE THE EQUAL EVALUATIONS IN ANDALUSIA

2 APROXIMACIÓN A LA METAEVALUACIÓN: MEJORA DE LA CALIDAD VS. COMPRENSIÓN DE LOS PROCESOS/ APPROXIMATION TO METAEVALUATION: QUALITY IMPOVEMENT VS. PROCESSESS COMPREHENSION

Metaevaluación basada en estándares / Metaevaluation based on standards Metaevaluación comprensiva / Comprehensive metaevaluation

3 EL CASO DE LA INICIATIVA COMUNITARIA EQUAL EN ANDALUCÍA / THE CASE OF THE EAUROPEAN UNIONINITIATIVE 'EQUAL' IN ANDALUSIA

Objetivo y principios inspiradores de Equal / Objective and principles that inspire the Initiative Equal Balance de las actuaciones Equal en Andalucía: 2001-2004 y 2004-2007 / Balance of the Equal proceedings inAndalusia: 2001-2004 y 2004-2007Marco normativo y metodológico de la evaluación en Equal / Regualative and methodological frame of evaluationin Equal

4 DISEÑO DE LA METAEVALUACIÓN DE EQUAL EN ANDALUCÍA / 'EQUAL' METAEVALUATION DESIGN INANDALUSIA

Tipología / TypologyCuestiones que buscan respuesta / Issues that need a responseMetodología / Methodology

5 PRINCIPALES HALLAZGOS DE LA METAEVALUACIÓN / METAEVALUATION MAIN FINDINGS

Tipología de las evaluaciones / Evaluations typology Centralidad del proceso de evaluación / Centrality of the evaluation process Diseño metodológico: indicadores, fuentes de verificación y herramientas / Methodological design: indicators,verification sources and tools Hallazgos, interpretaciones, juicios de valor y recomendaciones / Findings, interpretation, value judgements andadvice Utilidad y utilización de los resultados de las evaluaciones para la transferencia: evaluación y mainstreaming. /Usefulness and use of the evaluation outcomes for the transfer: evaluation and mainstreaming

6 CONCLUSIONES: SEGUIMIENTO O EVALUACIÓN, LLÁMALO COMO QUIERAS / CONCLUSIONS:MONITORING OR EVALUATION, IT IS UP TO YOU

JJuuaann MMuurrcciiaannoo RRoossaaddoo

Instituto de Estudios de Economía, Evaluación y Empleo

sumario//summary

__ EEVVAALLUUAARR LLAA EEVVAALLUUAACCIIÓÓNN:: UUNNAA HHEERRRRAAMMIIEENNTTAA PPAARRAA LLAA MMEEJJOORRAA..AAPPLLIICCAACCIIÓÓNN AALL CCAASSOO DDEE LLAA IINNIICCIIAATTIIVVAA CCOOMMUUNNIITTAARRIIAA EEQQUUAALL EENN AANNDDAALLUUCCÍÍAA11

__ EVALUATING THE EVALUATION PROCESS: A TOOL FOR IMPROVEMENT.IMPLEMENTATION TO THE CASE OF THE EUROPEAN UNION INITIATIVE 'EQUAL'IN ANDALUSIA

173

1 Esta metaevaluación fue realizada como Memoria de Grado del Master de Evaluación de Programas y PolíticasPúblicas de la Universidad Complutense de Madrid y algunas de las consideraciones que se presentan sobre laIniciativa Comunitaria Equal han sido publicas en el número 2 de la Revista e-valuación de la Sociedad Españolade Evaluación y en diversas publicaciones del Servicio Andaluz de Empleo, recogidas en la bibliografía, en lasque el autor ha participado.

24_ANUARIO3-2007.qxd 29/11/2007 17:03 PÆgina 173

1 JUSTIFICACIÓN DE LA OPORTUNIDADDE EVALUAR LAS EVALUACIONES DEEQUAL EN ANDALUCÍA

La evaluación de las políticas públicas enEspaña se encuentra actualmente en un pro-ceso de cambio, entre la difusión de la cultura

de evaluación y su institucionalización e internaliza-ción por parte de sus Administraciones Públicas.

En la última década se ha ido generando una“oleada de evaluaciones” por la exigencia reglamen-taria de los fondos europeos para el desarrollo(Fondos Estructurales) así como por la presión delos Estados miembros de la Unión Europea conaportaciones netas al presupuesto comunitario, parael control de la eficacia y la eficiencia del gasto enregiones beneficiarias netas, como aquellas cuyoPIB se encuentra por debajo del 75% de la mediacomunitaria, entre ellas Andalucía (Vélez, 2001).

Si en el ámbito regional andaluz se observa una cre-ciente incorporación del seguimiento y la evaluacióna escala de programas, no así en la de políticas, enel ámbito local es aún casi inexistente y ha estadomuy vinculado a proyectos de empleo y desarrollolocal promovidos por Iniciativas Comunitarias(Leader, Urban o Equal, entre otras) que incorporanel mandato de evaluar los proyectos que con ellasse cofinancian. Con este tipo de proyectos se ha ge-nerado el caldo de cultivo idóneo para el fomento dela cultura de evaluación a escala local.

Tras un periodo en el que se han realizado esfuerzospor difundir la cultura de evaluación entre los res-ponsables políticos y los gestores públicos, y se hanrealizado evaluaciones, principalmente reglamenta-rias e impuestas por los fondos europeos para eldesarrollo, se está gestando un proceso de institu-cionalizacón de la evaluación.

EVALUACIÓN DE POLÍTICAS PÚBLICAS

NUEVAS POLÍTICAS PÚBLICAS. Anuario multidisciplinar para la modernización de las Administraciones Públicas

174

ESTUDIOS

En este artículo se presenta una aproximación al concepto ymétodo de la metaevaluación, un ejercicio que facilita la me-jora de la práctica evaluativa y de las evaluaciones. Se pre-sentan dos enfoques para metaevaluar, comprensivo y ba-sado en criterios, y se analizan las claves epistemológicas decada uno de ellos como base para el enjuiciamiento sistemá-tico de las evaluaciones.

Si bien en la teoría se encuentran referencias a la bondad yoportunidad de realizar metaevaluaciones en la práctica sonpocas las experiencias a las que se tiene acceso, ofrecién-dose en este artículo su aplicación para el caso de la IniciativaComunitaria Equal en Andalucía.

Las preguntas que motivan esta metaevaluación se centranen el análisis y la interpretación de los procesos de evalua-ción puestos en marcha y no en su calidad técnica individual,dotándola de un carácter eminentemente comprensivo.Concretamente, las preguntas que buscan respuesta conesta metaevaluación comprensiva son las siguientes: cómose han planteado las evaluaciones y cuáles han sido sus es-trategias evaluativas.

Constrastada la preferencia de las evaluaciones analizadas porla contratación de asistencias técnicas externas (81%) se hadetectado una confusión conceptual entre seguimiento y eva-luación que tiene importantes consecuencias metodológicas yderiva en la recogida indiscriminada de información, en la dic-tadura de las técnicas en el proceso evaluativo y en la indefini-ción de las cuestiones que deben orientar toda evaluación.

In this article it is introduced an approach to the notion andmethod of metaevaluation, a practice that makes theimprovement of the evaluative practice and the evaluationsthemselves easier. Two approaches in order to metaevaluateare introduced: comprehensive and based on some criteria;and the epistemological keys of each of them are analysedas the basis for the evaluations systematic judgement.

Although the theory includes enough references to thekindness and opportunity to carry out metaevaluations, thereare in practice just a few experiences to which we haveaccess so that this article offers its implementation in thecase of the European Unity Initiative 'Equal' in Andalusia.

The questions that give rise to this metaevaluation arefocused on the analysis and interpretation of the evaluationprocesses previously set out rather than on its individualtechnical quality, giving it an essentially comprehensivecharacter. To be precise, the questions that seek an answerwith this comprehensive metaevaluation are the followingones: how the evaluations have been designed and whichevaluative strategies have been used.

Once the preference for the hiring of external technicalassistance (81%) was verified, a certain degree ofconceptual confusion between monitoring and evaluationhas been detected which has significant methodologicalconsequences and results in the indiscriminate compilationof data, the dictatorship of the evaluative process techniquesand the lack of definition of the issues that must guide thewhole process of evaluation.

resumen//summary

PPaallaabbrraass CCllaavvee::- Evaluación.- Metaevaluación.- Iniciativa Comunitaria Equal.

KKeeyy WWoorrddss::- Evaluation.- Metaevalution.- European Initiative Equal.


En España este proceso se ha impulsado con la re-ciente creación de la Agencia de Evaluación de lasPolíticas Públicas y la Calidad de los Servicios, enAndalucía se ha puesto de manifiesto con la aproba-ción de la propuesta de reforma del Estatuto deAutonomía en la que se indica que la ley regulará laorganización y funcionamiento de un Sistema deEvaluación de las Políticas Públicas (Art. 138) y se es-tablece como objetivo la participación ciudadana endicha evaluación (Art. 10.19).

Es por ello que en este momento existe la necesidadde realizar estudios, evaluaciones y metaevaluacionessobre los incipientes procesos evaluativos que seestán llevando a cabo en los entornos locales anda-luces de forma que se pueda conocer, orientar y des-arrollar la capacidad institucional y organizativa exis-tente para ello, el rol que está ocupando y las estrate-gias evaluativas que se emplean.

Este contexto de desarrollo de la cultura de evaluacióna escala local en Andalucía se presenta a continua-ción ejemplificado para el caso del seguimiento y laevaluación de la Iniciativa Comunitaria Equal enAndalucía (2001-2004) realizada por el Instituto deDesarrollo Regional para el Servicio Andaluz deEmpleo de la Junta de Andalucía.

La Iniciativa Comunitaria Equal ha supuesto un impor-tante desarrollo de la cultura de evaluación a escalalocal y regional en Andalucía. Con esta Iniciativa sehan desarrollado múltiples procesos de seguimiento yevaluación que se pueden caracterizar como evalua-ciones internas asistidas: “seguimiento continuo (in-terno) y evaluación final (mixta)”.

Este esfuerzo por desarrollar procesos de evaluaciónrequiere afrontar nuevos retos que favorezcan su ins-titucionalización en el seno de las administracionespúblicas y de los partenariados que promueven el em-pleo y el desarrollo a escala local y regional.

La metaevaluación se presenta como una herramientapara facilitar la identificación de los aprendizajes ge-nerados en los procesos de evaluación desarrolladosy para establecer recomendaciones de mejora.

2 APROXIMACIÓN A LA METAEVALUACIÓN:MEJORA DE LA CALIDAD VS. COMPRENSIÓNDE LOS PROCESOS

Cuando se realiza una evaluación, más allá de intentarobtener respuestas sobre el objeto evaluativo, sepuede estar interesado en conocer la utilidad y opor-tunidad del propio proceso de evaluación, su rigor me-todológico, el acierto en el manejo de los recursos yenfoques así como el propio desempeño profesionaly ético del equipo evaluador.

Son estas últimas preocupaciones las que nos sitúanante la “metaevalaución” o lo que es lo mismo ante laevaluación de la evaluación y su corolario la evalua-ción de los evaluadores, conceptos introducidos porScriven en 1968 en un artículo en el que argumentabacomo evaluar la evaluación (Stufflebeam, 1987: 352).

No debe confundirse la metaevaluación con la síntesisde evaluaciones (ver Figura 1) que sirve para aunar,resumir e incluso potenciar los resultados de variosestudios de evaluación de programas o políticas simi-lares, poniendo la atención en los resultados, conclu-siones y recomendaciones de las evaluaciones(Bustelo, 2003:194). Con ello, el objetivo último de lasíntesis de evaluaciones es mostrar evidencias sobrelas intervenciones evaluadas que sustenten la transfe-rencia a las políticas generales de las buenas prác-ticas detectadas o lo que podríamos determinar comoel desarrollo de políticas basadas en la evidencia.

Figura 1. Diferencias entre metaevaluación y síntesis de eva-

luaciones

175

Juan Murciano Rosado

ESTUDIOS

EVALUAR LA EVALUACIÓN: UNA HERRAMIENTA PARA LA MEJORA. APLICACIÓN AL CASO DE LA INICIATIVA COMUNITARIA EQUAL EN ANDALUCÍA

Síntesis de evaluaciones Metaevaluación

Foco de

análisis

Los resultados de la evaluación El proceso de evaluación

Finalidad -Detectar aprendizajes y

buenas prácticas

-Identificar elemento comunes

entre intervenciones y factores

de éxito

-Mejorar la calidad de

las evaluaciones

-Mejorar la comprensión

de los procesos

evaluativos

Fuente: Elaboración propia.


La metaevaluación, por su parte, puede poner mayor omenor énfasis en cómo se llevó a cabo la evaluaciónoriginal o en qué produjo y, a su vez, puede estar tam-bién más basada en estándares o ser más compren-siva (Stake, 2006: 256). De esta forma el objetivo últimode la metaevaluación es asegurar la calidad de los ser-vicios evaluativos, evitar o enfrentarse a las prácticas ile-gales o a los servicios que no son de interés público,señalar el camino para el perfeccionamiento de la pro-fesión y promover una mayor comprensión de la em-presa evaluativa (Stufflebeam, 1987: 52).

Por tanto, la metaevaluación no es más que una eva-luación que tiene por objeto otra evaluación o conjuntode evaluaciones. En tanto que es un proceso de eva-luación debe ajustarse a la metodología sistemáticapropia de dicha disciplina, explicitando las cuestioneso preguntas que la motivan y a las que se deberá darrespuesta sobre la base de los datos, hechos y ha-llazgos recopilados y observados.

No obstante, para llevar a cabo una metaevaluaciónse pueden encontrar diferentes propuestas en los ma-nuales de evaluación. En los dos epígrafes siguientesse presentan las principales propuestas metodoló-gicas para diseñar y realizar metaevaluaciones.

METAEVALUACIÓN BASADA EN ESTÁNDARES

Estas metaevaluaciones parten de la necesidad de ex-plicitar de manera previa los criterios de valor que sus-tentarán el enjuiciamiento de la evaluación o evalua-ciones. Es este el principal problema con el que nosenfrentamos al abordar una metaevaluación basadaen estándares (García, en línea).

Estos criterios serán específicos para cada situacióny contexto evaluativo y, en cualquier caso, vendrán de-terminados por la función que se le asigne a esta eva-luación que tiene por objeto otra evaluación o conjuntode evaluaciones.

En la literatura especializada el debate sobre los rolesbásicos que puede desempeñar una metaevaluaciónse ha centrado en torno a su función de control de ca-lidad de los trabajos realizados. Para unos autores estecontrol de calidad debe sustentarse en unos determi-nados estándares metodológicos y para otros ha deapoyarse en una serie de normas ético-profesionales.

La cercanía a una u otra posición dependerá del en-foque metodológico que se adopte, estando los cuan-titativistas más preocupados por la metodología utili-zada y la correcta aplicación de técnicas (cuantita-tivas), mientras que los cualitativistas focalizan suatención en las consideraciones éticas derivadas delcontexto político en el que se desenvuelve la evalua-ción (García, en línea). A este respecto Stake afirma losiguiente:

Una de las marcas distintivas de la ciencia es eldeseo de explicitar la confianza que se puede de-positar en las diferentes mediciones y conclu-siones. La elegancia del análisis estadístico seaprecia especialmente en su empeño por mostrarhasta qué punto difiere la distribución de los datosde la que sería una distribución aleatoria. La inves-tigación cualitativa no ha llegado a desarrollarmodos tan sistemáticos de expresar los niveles deconfianza, pero toda la investigación tiene susformas de mejorar la confianza. Es lo que, en eva-luación, llamamos la metaevaluación. (Stake,2006: 255).

Así, para la realización de metaevaluaciones basadasen criterios o estándares se han desarrollado básica-mente dos tipos de propuestas:

a) Propuestas que establecen criterios generales pararealizar metaevaluaciones. Estas propuestas suelenestar basadas en algún concepto central: calidad me-todológica del proceso; ética profesional; justicia en elenjuiciamiento; o sensibilidad del proceso a los de-seos de los destinatarios, entre otros. Estas pro-puestas han desarrollado un conjunto de criterios dereferencia generales para metaevaluar entre los que



176

ESTUDIOS


se encuentran los siguientes: conveniencia, utilidad,credibilidad, relevancia o suficiencia técnica, accesibi-lidad y coste-efectividad.

b) Propuestas que establecen criterios o normas pararealizar evaluaciones como guías para metaevaluar eldesempeño profesional de los evaluadores y evalua-doras. Mas allá de establecer criterios específicos demetaevaluación las propuestas también se han ba-sado en la utilización de catálogos de criterios para larealización de evaluaciones como “The Key EvaluationChecklist” de Scriven. Esta lista contempla 18 indica-dores a tener en cuenta para realizar evaluaciones yen el último de ellos se hace referencia a la necesidadde evaluar la evaluación mediante la aplicación detodos los anteriores.

Este segundo tipo de propuestas se ha ido consoli-dando a partir del desarrollo de códigos deontológicosde diferentes sociedades o grupos de evaluación quehan aportado principios más ampliamente compar-tidos acerca de lo que debe ser una evaluación sol-vente (Stufflebeam, 1987: 208). Entre ellos hay quedestacar las Normas de Precisión de “The JointCommittee on Standards for Educational Evaluation(1980)” que por su especial aportación como guía parametaevaluar se han convertido en el referente más ha-bitual, probablemente debido a su especificación, cla-ridad, orden y estructuración (Bustelo, 2003: 220).

Con estos criterios como referentes las propuestasmetodológicas de metaevaluación se centran en con-trastar las actividades del evaluador con los están-dares definidos o en tomar un conjunto de datos re-velados por una evaluación para ver si de forma inde-pendiente se llegan a conclusiones similares odiferentes. Stake señala como representante de la pri-mera alternativa a Stufflebeam y como referente a losJoint Standards. La segunda alternativa parte de lasrecomendaciones de Michael Scriven (1969) y es laforma de metaevaluación que más se parece a losprocedimientos psicométricos de estimación de la va-lidez de un test (Stake, 2006: p.256).

METAEVALUACIÓN COMPRENSIVA

Además de contrastar la validez del proceso evalua-tivo el otro gran propósito de la metaevaluación es se-ñalar el camino para el perfeccionamiento de la profe-sión y promover una mayor comprensión de la em-presa evaluativa (Stufflebeam, 1987: p. 52).

Es en este marco en el que se sitúa la metaevaluacióncomprensiva propuesta por Stake que se basa en lafamiliaridad personal directa con las personas, evalua-dores y evaluadoras, con los hechos de la evaluacióny con las opiniones de la gente (Stake, 2006: p.257).El carácter comprensivo de esta propuesta radica ensu orientación a aprehender el contexto en el que sedesenvuelven los evaluadores y evaluadoras, tratandode entender sus decisiones e interpretaciones y de-tectando sus méritos y defectos en función de su ex-periencia en el trabajo previo.

Las conclusiones de este tipo de metaevaluaciones seapoyan más, como afirma el propio Stake, en la expe-riencia de los actores implicados que en indicadoresde productividad o del grado de cumplimiento delcontrato (Stake, 2006: p.257). Por tanto, aspectoscomo las limitaciones en el acceso a la información ya los informantes pueden convertirse en condicio-nantes del proceso que deben ser tenidos en cuentaal enjuiciar una evaluación. Estos hechos se revelaronclave en la metaevaluación que realizó el profesorStake del programa Ciudades Escolares, recogida ensu libro Quienting Reform (1986).

Las cuestiones centrales de la metaevaluación com-prensiva estarían basadas en la correspondencia entrelos hallazgos de la evaluación y sus conclusiones y ha-rían referencia a la calidad de las evaluaciones, su ló-gica y sesgo, el desarrollo del trabajo, las preguntas deevaluación, su utilidad y su capacidad de generalización.

Stake apunta una serie de dimensiones de análisis delas cuestiones de metaevaluación que deben ayudaral examen de la correspondencia entre hallazgos y

177


ESTUDIOS



conclusiones: el tiempo, el espacio, las personas,los/as investigadores/as, las teorías y los métodos. Enla medida en que se mantenga el significado de lasobservaciones ante cambios en cada una de estas di-mensiones, mayor será la confianza de haberrealizado una buena interpretación.

La fiabilidad y la validez de los datos son compo-nentes destacados en todo ejercicio de metaevalua-ción, tanto si se lleva a cabo con técnicas psicomé-tricas como si no. Igualmente la metaevaluación pro-cura aportar cierta confirmación de lo que se hadescubierto tanto si se lleva a cabo de forma com-prensiva como si está basada en estándares metodo-lógicos o éticos.

Para la selección de las cuestiones de metaevaluaciónse ha de tener en cuenta el contexto en el que estasse desarrollan y fundamentalmente el grado de insti-tucionalización que tenga la evaluación. Esto es así,ya que será más complicado encontrar evaluacioneso centrarse exclusivamente en su rigor metodológicoen un contexto en el que

La función de evaluación no se encuentre normali-zada en el proceso de elaboración de políticas dela administración pública.

Exista escasa formación reglada sobre la materia.

Existan pocos profesionales especializados y noestructurados en torno a sociedades profesionales.

En definitiva, las metaevaluaciones basadas en están-dares tratan de definir de manera previa y explícita las cua-lidades de una buena evaluación para, a partir de ellas,poder emitir un juicio crítico sobre el mérito o bondad dela evaluación o evaluaciones objeto de estudio.

Por su parte, las metaevaluaciones comprensivas, per-siguen describir el proceso o los procesos de evalua-ción que se analizan para a partir de ahí tratar de com-prender porque se optó por unas alternativas metodo-lógicas y no por otras y, que consecuencias tuvo ello

para la utilidad y capacidad de respuesta de la eva-luación a las cuestiones que le dieron origen.

EL CASO DE LA INICIATIVA COMUNITARIAEQUAL EN ANDALUCÍA

OBJETIVO Y PRINCIPIOS INSPIRADORES DE EQUAL

La Iniciativa Comunitaria Equal tiene como objetivopromover nuevas maneras de combatir todas lasformas de discriminación y desigualdad que se ge-neran en el mercado de trabajo a través de la coope-ración institucional a escala local y transnacional. Coneste planteamiento se constituye como un “labora-torio” de experimentación de nuevas formas de di-señar, implementar y evaluar las Políticas de Empleo.

Por tanto, las actuaciones de los proyectos Equal sonintervenciones de empleo con un marcado carácterexperimental, lo que hace que sus resultados y susevaluaciones se conviertan en referentes para la me-jora de las Políticas de Empleo.

Los proyectos que se desarrollan al amparo de estaIniciativa se articulan sobre los pilares de la EstrategiaEuropea de Empleo (EEE): desarrollar la capacidad deinserción laboral; fomentar el espíritu de empresa; favo-recer la adaptabilidad de empresas y trabajadores/as;y desarrollar la igualdad de oportunidades.

Para la planificación de estas experiencias de empleose estableció un conjunto de principios rectores quedebía guiar la actuación de los proyectos: cooperacióninstitucional local y transnacional, innovación, comple-mentariedad, enfoque integrado y concentración ytransferencia.

La cooperación institucional se tradujo en la necesidadde constituir partenariados locales, denominadosagrupaciones de desarrollo, en los debían participar



178

ESTUDIOS


los principales agentes representativos del mercadode trabajo de cada territorio, sector y colectivo. Estasagrupaciones de desarrollo debían suscribir, a su vez,acuerdos de cooperación transnacional con dos omás agrupaciones de otros Estados Miembros paraintercambiar experiencias que favoreciesen el apren-dizaje mutuo y la detección de buenas prácticas trans-feribles a otros contextos y territorios.

Para dar cumplimiento al principio de enfoque inte-grado y concentración, las agrupaciones debían rea-lizar un diagnóstico de las desigualdades y discrimi-naciones que se generan en el mercado laboral comosustento para diseñar actuaciones tendentes a mitigarlas causas de la exclusión y sus consecuencias, con-centrándose, entonces, en los colectivos que las su-fren en mayor medida y encuentran mayores dificul-tades de acceso al mercado de trabajo.

El principio de innovación proponía la concentraciónde los esfuerzos en tres ámbitos concretos: el objetivode los proyectos, el contexto en el que se plantean lasactuaciones y el proceso de trabajo puesto enmarcha. Así, las nuevas soluciones para luchar contrala discriminación en el mercado de trabajo pueden re-ferirse a los objetivos y la población destinataria delproyecto, a los modelos de organización y gestión delos partenariados, a los mecanismos empleados parala prestación de servicios o al diseño de estos servi-cios y de los métodos e instrumentos utilizados.

El principio de complementariedad hace referencia ala capacidad de un proyecto para generar sinergiascon otros programas y políticas que incidan en elmismo territorio y horizonte temporal. Ésta puededarse en el diseño, siempre que se de respuesta a ne-cesidades no cubiertas, y en la gestión, cuando en eldesarrollo del proyecto se establezcan relaciones conotras entidades y agentes para coordinar la interven-ción, evitando así duplicidades.

Con el establecimiento del principio de transferencia,se pretendía asegurar que las mejores prácticas expe-rimentadas en los proyectos fuesen generalizadas ver-

ticalmente, a través de su aplicación a las políticas ge-nerales de empleo, y horizontalmente, a través de sudifusión entre organizaciones de un mismo ámbito onivel para extrapolarlas a nuevos contextos y territorios.

Además de estos principios rectores, los proyectosdebían considerar su contribución a las prioridadesdel Fondo Social Europeo, incorporándolas de formatransversal: igualdad de oportunidades, desarrollo dela sociedad de la información y promoción del medioambiente.

BALANCE DE LAS ACTUACIONES EQUAL ENANDALUCÍA: 2001-22004 Y 2004-22007

La ejecución de esta Iniciativa se ha llevado a cabo endos convocatorias separadas que abarcan los pe-riodos 2001-2004 y 2005-2007.

En España, durante el periodo 2001-2004 se apro-baron 160 proyectos con una dotación financiera de212,226 Meuros. La incidencia en Andalucía de estaIniciativa durante este periodo se tradujo en la ejecu-ción de 29 proyectos que desarrollaron actuacionesen sus 8 provincias, de los cuales 21 contaron con laparticipación del Servicio Andaluz de Empleo comoentidad representante, y reunieron una dotación de48,4 millones de euros.

Estos 21 proyectos congregaron a 251 entidades entorno a 21 agrupaciones de desarrollo. Estas agrupa-ciones, compuestas por 16 entidades por términomedio, suscribieron 21 acuerdos de cooperacióntransnacional en los que participaron 41 partenariadosde otros estados europeos, conformando una com-pleja red de redes.

De las actuaciones de la IC Equal en Andalucía du-rante el periodo 2001-2004 se beneficiaron 74.786 per-sonas de forma directa, siendo el perfil de la personabeneficiaria una mujer española, desempleada decorta duración, de cualificación media-baja, de entre

179


ESTUDIOS



25 y 50 años de edad que no poseía ningún tipo dediscapacidad.

De estas personas beneficiarias 2.027 consiguieron unempleo y el 35% lo hizo por cuenta propia, dando lugara la creación de 512 actividades empresariales. Entrelas actividades que contaron con mayor participaciónde personas beneficiarias se encontraron la orientaciónlaboral y asesoramiento empresarial, la formación depersonas desempleadas y las prácticas laborales.

Durante la segunda convocatoria de Equal, 2005-2007,se seleccionaron 226 proyectos2 a escala nacional quecontaron con una dotación financiera de 254,9 Meuros.De estos proyectos 47 desarrollaron sus actuacionesen el mercado laboral andaluz con una inversión pre-vista de 70,91 Meuros: 41 circunscritos exclusivamenteen Andalucía y 6 de ámbito plurirregional.

De estos 41 proyectos desarrollados en Andalucía,con una inversión prevista de 46,28 millones de euros,26 se encuentran representados por la Junta deAndalucía que aporta una cofinanciación de 7,82 mi-llones de euros. Los 15 proyectos restantes prevénuna inversión de 21 millones de euros y se encuentranpromovidos por otras entidades públicas andaluzas.Los 6 proyectos plurirregionales que cuentan enti-dades andaluzas en sus agrupaciones de desarrollodestinaron parte de sus intervenciones a territorios,sectores y colectivos de Andalucía contando para ellocon una inversión prevista de 3,63 millones de euros.

MARCO NORMATIVO Y METODOLÓGICO DE LAEVALUACIÓN EN EQUAL

En respuesta a las exigencias de los FondosEstructurales, la Iniciativa Comunitaria Equal incorporóun proceso de evaluación al inicio, a medio camino ya su finalización. La estrategia evaluativa propuesta ha

trasladado en cascada la responsabilidad de la eva-luación desde el nivel europeo al nacional (UnidadAdministradora del Fondo Social Europeo –UAFSE-) yde éste al local (Agrupaciones de Desarrollo).

En Andalucía hay que considerar otro nivel, el regional,debido a la iniciativa del Servicio Andaluz de Empleode asumir, entre otras funciones, la de asegurar el se-guimiento y evaluación de los proyectos en los queactuó como entidad representante. Para el desarrollode estas tareas puso a disposición de los proyectosuna aplicación informática para facilitar el seguimientoy evaluación, el Sistema Equal GSE; realizó activi-dades de apoyo y emitió informes individuales y agre-gados de seguimiento y evaluación.

Las Agrupaciones de Desarrollo, por su parte, tuvieronque realizar una evaluación continua, que pudo ges-tionarse interna o externamente, y debía abarcar tantosu programa de trabajo nacional como el transna-cional. De este modo, todas las entidades andaluzasdiseñaron sistemas de seguimiento y evaluación paracontrolar la calidad de las acciones ejecutadas, elavance en el cumplimiento de los objetivos y la ges-tión óptima de los recursos.

Para afrontar esta responsabilidad se presentaron dosalternativas: asumir el seguimiento y evaluación deforma interna y autónoma; y/o contratar a una entidadexterna para que asistiese el proceso evaluativo.

3 DISEÑO DE LA METAEVALUACIÓN DEEQUAL EN ANDALUCÍA

El objeto de esta metaevaluación es el diseño, puestaen marcha y resultados de los procesos de evaluaciónde los 21 proyectos Equal que representó el ServicioAndaluz de Empleo de la Junta de Andalucía duranteel periodo 2001-2004.



180

ESTUDIOS

2 Resolución de 17 de noviembre de 2004, de la Unidad Administradora del Fondo Social Europeo, por la que se resuelve laconvocatoria de ayudas del Fondo Social Europeo correspondientes a la Iniciativa Comunitaria Equal en España.


La oportunidad de analizar comparativamente estosprocesos paralelos de evaluación radica en su capa-cidad para extraer elementos comunes y lecciones dela experiencia que deben permitir una mejor compren-sión del rol que ha jugado la evaluación y de su po-tencial como herramienta para la mejora de la planifi-cación y gestión pública.

Mediante este ejercicio evaluativo el principal pro-pósito es la comprensión del incipiente proceso dedesarrollo de la evaluación en los partenariados an-daluces creados para favorecer el empleo en ám-bito local en el marco de la Iniciativa ComunitariaEqual.

Con este propósito el enfoque que se adopta es el deuna evaluación comprensiva no sujeta a criterios o es-tándares (Stake, 2003). Como apunta Bustelo, la me-taevaluación puede utilizarse para comprender losprocesos de evaluación, ver qué papel han cumplidodichos procesos en la política pública evaluada y ana-lizar y valorar cómo se ejecuta la función de evalua-ción en un determinado sector, política, organismo oinstitución (Bustelo, 2003: 203)

El objetivo final, por tanto, no es determinar la mayor omenor calidad de las evaluaciones sino analizar las estra-tegias evaluativas desarrolladas y valorar su oportunidad.

TIPOLOGÍA

La metaevaluación en tanto que es una evaluaciónque tiene por objeto otra u otras evaluaciones puedeser tratada y, por lo tanto, clasificada, como cualquierotra Evaluación (Bustelo, 2001:198)

La metaevaluación puede ser formativa, si ayuda alevaluador a planificar y realizar una evaluación sol-vente, o sumativa, si proporciona al cliente pruebas in-dependientes acerca de la competencia técnica delevaluador principal y de la solvencia de sus informes.(Stufflebeam, 1987: p.352)

Atendiendo al papel que se le encomienda a esta me-taevaluación se puede calificar como formativa, yaque se pretende que sus resultados sirvan paraorientar y mejorar los diseños y la gestión de las eva-luaciones de los proyectos de empleo. También po-dría decirse que esta metaevaluación es sumativa te-niendo en cuenta que persigue una recapitulaciónsobre como se han realizado los procesos de evalua-ción durante el periodo 2001-2004.

En relación con el momento en que se realiza la me-taevaluación, Scriven apunta que la evaluación debeser evaluada preferiblemente antes de su realizacióny antes de la difusión final del informe (Stufflebeam,1987: p.351). Atendiendo al momento de su realiza-ción esta metaevaluación puede calificarse como in-termedia y final ya que se llevó a cabo cuando los pro-cesos de evaluación que tiene por objeto se encon-traban en marcha y se actualizaron sus contenidosuna vez que estos finalizaron.

En cuanto al agente que la realiza, esta metaevalua-ción es externa ya que se realiza por un evaluadorajeno a los procesos objeto de estudio.

Según el contenido, esta metaevaluación se puedecalificar como de diseño, procesos y resultados.

La metaevaluación de diseño se ocupa de analizar elajuste de las evaluaciones a las necesidades de losproyectos; de su atención a las orientaciones estable-cidas para la realización de evaluaciones en el marcode Equal; de su identificación y respuesta a las nece-sidades informativas de los agentes interesados, y dela relación entre su propósito, timing y presupuesto.Asimismo, se trata de analizar el diseño metodológicode la evaluación, el conjunto de técnicas seleccio-nadas, la participación o la consulta a los stakeholders,y la fiabilidad y validez de la información a recoger.

La metaevaluación del proceso trata de arrojar luz sobrela caja negra de la evaluación, identificando las clavesde la implementación, indagando en los condicionantesa los que se enfrentaron los equipos de evaluación ysus posibles desviaciones respecto a lo planificado.

181


ESTUDIOS



La metaevaluación de resultados se centra en ana-lizar en que medida las conclusiones de las evalua-ciones dieron respuesta a las preguntas o cuestionesque las motivaron, y en que medida estas conclu-siones se deducen directamente de la información re-copilada en ellas.

CUESTIONES QUE BUSCAN RESPUESTA

Definidos el objeto y los propósitos, hay que deter-minar las cuestiones o preguntas a las que debía darrespuesta esta metaevaluación. Como se ha comen-tado en el epígrafe de “Aproximación al concepto demetaevaluación”, la determinación de las cuestionesestá condicionada por la función que se le haya asig-nado al trabajo de metaevaluación y por el contextoen el que se insertan las evaluaciones que se analizan.

Las evaluaciones de los proyectos Equal se incardinanen un contexto caracterizado por la falta de experienciay cualificación específica en la materia por parte de losevaluadores internos o gestores de las evaluaciones.A ello, se le une, desde el lado de la oferta, una escasay poco vertebrada comunidad evaluadora andaluza.Ambas situaciones han motivado tanto al dificultadpara el diseño de evaluaciones internas como la detec-ción de especialistas externos que pudiesen prestarasistencia técnica a los proyectos.

Es por ello, que las preguntas que motivan esta me-taevaluación se centran en el análisis y la interpreta-ción de los procesos de evaluación puestos enmarcha y no en su calidad técnica individual, dotán-dola de un carácter eminentemente comprensivo.

Concretamente, las preguntas que buscan respuestacon esta metaevaluación comprensiva son las si-guientes3:

¿Cómo se han planteado las evaluaciones?¿Cuáles han sido sus estrategias evaluativas?

Para responder a estas preguntas se procedió a de-limitar conceptualmente cada una de ellas y a des-glosarlas en variables operativas, prescindiendo enun primer momento de la construcción de indica-dores, de forma que a través de las herramientas em-pleadas y las fuentes consultadas pudiesen alimen-tarse estas variables operativas y posteriormenteacometer las respuestas a las cuestiones planteadaspor la metaevaluación.

De esta forma, no se sigue la corriente de evaluación“sin indicadores” que se centra en la sistematizaciónde experiencias basada en los sucesos clave decambio (Rodríguez, 2003), sino mas bien se pretendeconcretar los aspectos relevantes de cada cuestión deevaluación de forma que sean los propios agentes in-teresados los que den respuestas a las preguntas mássimples o desagregadas (a través de cuestionarios,entrevistas o talleres de participación) y éstas vayanalimentándose hasta dar respuesta a la pregunta másgeneral de la evaluación.

En este sentido, se ha prestado especial importanciaal contexto en el que se desarrollan los mandatos deevaluación, teniendo como punto de partida las varia-bles situacionales de Patton y centrando la atención enalgunos aspectos considerados clave para el desarrollo de los trabajos.



182

ESTUDIOS

3 Estas preguntas generales de metaevaluación se inspiran en las establecidas por la profesora Bustelo en su Tesis Doctoral(Bustelo, 2001) en la que se hace una Metaevaluación de las políticas de igualdad y, por tanto, suponen una forma de corro-borar su validez como marco teórico para abordar la metaevaluación.


A continuación se relacionan las cuestiones plante-adas, generales y específicas, y las variables opera-tivas en las que se desagregan.

¿Cómo se han planteado las evaluaciones?

Esta cuestión hace referencia tanto al contexto en elque surgen y se desarrollan las evaluaciones como alpropósito que las motiva.

1) Contexto evaluativo

El contexto evaluativo se presenta como un condicio-nante de los procesos de evaluación. Por ello, resultarelevante valorar el mérito y/o valor de las evalua-ciones teniendo en cuenta su grado de contextualiza-ción, es decir su flexibilidad y permeabilidad para in-tegrar los condicionantes del entorno de las organiza-ciones manejando las variables situacionales comocatalizadores del proceso de evaluación, favoreciendoo neutralizando los efectos previstos de las variablespara lograr su éxito. A continuación se relacionan lasvariables situacionales consideradas, y los aspectosa los que deben dar respuestas.

a) Tiempo. Centrando la cuestión en la "historia delprograma"

¿Cuánto tiempo lleva funcionando la intervención?

¿Desde cuándo estaba prevista la evaluación?

¿Cuándo debe estar lista la evaluación?

b) Recursos: dotación presupuestaria

¿Qué presupuesto, total y relativo, existe para la evaluación?

¿Qué coherencia existe entre el presupuesto y la opción

metodológica?

¿Quién financia la evaluación?

c) Énfasis

¿Quién promueve la evaluación (liderazgo)?

¿Cuántos la siguen y apoyan?

¿La motivación es obligatoria o voluntaria?

¿Quién gestiona la evaluación?

¿Cuál es la utilidad percibida del proceso?

d) Actitud del staff

¿Tienen tiempo para evaluar los evaluadores (internos)

-contingencias-?

¿Es importante para ellos la evaluación?

¿Desean evaluar?

e) Capacitación del staff

¿Tenían formación o experiencia previa en evaluación?

¿La han desarrollado como fruto de la intervención o del

proceso evaluativo?

¿Se han previsto acciones específicas de capacitación en

evaluación?

2) Propósitos de las evaluaciones

Los propósitos de las evaluaciones, es decir losfines a los que deben servir, son los referentes quedeben guiar el proceso evaluativo de forma que seoptimice su utilidad. En algunos casos estos propó-sitos podrán encontrarse explícitamente en las eva-luaciones y en otros casos aparecerán de forma im-plícita. Su claridad, concreción y ajuste a las nece-sidades de la intervención se convierten enelementos clave. Por tanto, las cuestiones que seplantean son las siguientes.

¿Son claros y explícitos?

¿Son realistas?

¿Cuáles han sido sus estrategias evaluativas?

A este respecto se trata de realizar una aproximacióncomprensiva a las evaluaciones que permita valorar sumérito y bondad en función de la tipología evaluativapropuesta, la atención a las necesidades informativasde los agentes implicados y el enjuiciamiento sistemá-tico realizado y apoyado en los hallazgos y evidencias.

183


ESTUDIOS



Serán aspectos clave el análisis de la participación delos agentes implicados en la evaluación y la adopcióntécnicas cuantitativas o cualitativas para la recogidade la información, ambas como estrategias que seadaptan a contextos evaluativos como el que caracte-riza a los proyectos Equal: intervenciones con un mar-cado carácter experimental y que reúnen a un elevadonúmero de agentes en partenariados.

A continuación se relacionan las cuestiones queorientan la evaluación comprensiva de las estrategiasadoptadas.

a) ¿Qué tipología de evaluación se ha propuesto?(según el agente evaluador, objeto y momento)

b) ¿Qué tipo de estructura se ha puesto al servicio dela evaluación? (equipo evaluador, estructura de apoyoo unidad de evaluación)

c) ¿En qué medida se ha incorporado la participación(quiénes, cómo, cuando)?

d) ¿Cómo se valora la utilidad de la evaluación?

e) ¿Qué metodología evaluativa se ha aplicado? ¿Enqué medida se adapta al contexto?

Identificación y priorización de necesidades informativas

Criterios de evaluación utilizados, indicadores y fuentes de

verificación

Procedimientos de recopilación y análisis de la información

Hallazgos, interpretación, juicios y recomendaciones

METODOLOGÍA

El enfoque metodológico propuesto en esta metaeva-luación se apoya en una aproximación multimétodo quefacilite una estrategia de triangulación, de forma que seacceda combinando procedimientos de investigaciónpara realizar la observación y análisis desde diferentes

métodos, técnicas e instrumentos. La estrategia de in-vestigación se ha basado en la aplicación de:

Análisis documental sobre la Iniciativa Equal, prin-cipalmente informes de seguimiento y evaluacióntanto del conjunto de proyectos como de cada unode ellos; informes de diagnóstico de los proyectosy de las evaluaciones; publicaciones de buenasprácticas de los proyectos y de sus evaluaciones;planes de evaluación e informes de evaluación in-termedios y finales.

Entrevistas a responsables técnicos de los 21 pro-yectos Equal. Una vez transcritas y codificadas, elanálisis de contenido ha perseguido buscar las re-dundancias en los discursos con las que el métodocualitativo encuentra su saturación, criterio de va-lidez en la investigación.

Observación directa, realizada tanto en las instala-ciones de las entidades participantes como en elmarco de las visitas de seguimiento que se hanrealizado a los 21 proyectos.

Estudio de caso. Cuando se ha tenido acceso a losplanes e informes de evaluación, se ha realizado unestudio en profundidad, recogiendo la informaciónmás destacada a través de fichas de registro comola que se muestra en la Figura 2.

Grupo de discusión con los investigadores e inves-tigadoras del Instituto de Desarrollo Regional encar-gados del seguimiento y evaluación externa deEqual en Andalucía. Este trabajo ha tenido comoprincipal finalidad alcanzar un consenso científicoacerca de los análisis e interpretaciones efectuados(procedimiento de triangulación que permite ciertonivel de objetividad en las apreciaciones).



184

ESTUDIOS


185


ESTUDIOS


Figura 2. Modelo de Ficha de registro de evaluaciones

FICHA DE REGISTRO DE EVALUACIÓNES

Intervención evaluada

Fecha de inicio Fecha de finalización

Equipo evaluador

Unidad gestora de la evaluación

CONTEXTO EVALUATIVO Observaciones

Tiempo

Dotación presupuestaria

Énfasis

Actitud del staff

Observaciones generales:

PLAN DE EVALUACIÓN Observaciones

Tipología (agente, momento, contenido,..)

Marco teórico y contextualización

Objetivos

Criterios y cuestiones de evaluación

Diseño metodológico, indicadores, técnicas


INFORME DE EVALUACIÓN Observaciones

Hechos, hallazgos

Interpretaciones

Juicios de valor, conclusiones

Recomendaciones



4 PRINCIPALES HALLAZGOS DE LAMETAEVALUACIÓN

TIPOLOGÍA DE LAS EVALUACIONES

En el marco de Equal la evaluación interna es obliga-toria para los proyectos pero puede que al realizarsese haga de manera independiente o conjunta una eva-luación del programa de trabajo nacional y del trans-nacional. Para acometer esta tarea evaluatoria los pro-yectos pueden además optar por complementar el tra-bajo con una evaluación externa o recurrir a unaasistencia técnica para que tutele la evaluación interna.

Si además se tiene en cuenta la relación y coordina-ción que pueda establecerse entre los diferentes pro-cesos evaluativos (programa de trabajo nacional ytransnacional, interna y/o externa), el abanico de po-sibilidades que aparece es aun mayor.

A continuación se presenta la tipología de las evalua-ciones según el agente encargado de realizarla, el mo-mento en que se efectúa, la función encomendada ala evaluación y según su contenido prioritario.

a) Agente que evalúa

a.1) Evaluación individual vs. co-eevaluación

La función de evaluación dentro de un partenariadopuede ser responsabilidad de una única entidad, encuyo caso hablaremos de evaluación individual, de ungrupo o del conjunto de entidades asociadas. Estaparticipación en la evaluación puede variar desde unaimplicación directa en el diseño, realización y comuni-cación de resultados hasta la coordinación del pro-ceso evaluativo externalizado o su cofinanciación.

Haremos referencia a co-evaluación o evaluación con-junta cuando más de una entidad del partenariado seapromotora de la evaluación, desarrollando de maneracompartida una o varias de las fases del itinerario dela evaluación, desde que se diseña hasta que se co-munican sus resultados.

La evaluación individual ha sido la alternativa elegidaunánimemente en los partenariados Equal andaluces,en los que ha sido usual que la misma entidad que seha encargado de la coordinación de la intervención yde una parte importante de su ejecución haya asu-mido la responsabilidad de la evaluación4. Esta situa-ción, que en principio puede parecer adecuada, haprovocado que ante dificultades y retrasos en la eje-cución de la intervención, la evaluación haya quedadorelegada a un segundo plano, perdiendo la centralidadque debía tener.

Esta evaluación individual estuvo, no obstante, sope-sada por la participación del resto de entidades sociasdel partenariado en el seno de Comités de Gestión,Seguimiento y Evaluación que se constituyeron en lamayoría de proyectos Equal y reunieron a represen-tantes técnicos y políticos de dichas entidades y enalgún caso contaron con la presencia de los equiposde evaluación.

Por último, hay que decir que una cuestión más rele-vante que la asignación responsabilidades en materiade evaluación en el seno de un partenariado es la de-terminación de las funciones que se deben asumir encada una de las fases del proceso. Ello es así porqueaunque se pueda externalizar la realización de la eva-luación existen muchas decisiones que correspondena los propios actores del partenariado y que no sepueden eludir, como la determinación de los objetivos,el ámbito, el alcance o las cuestiones a las que sedebe dar respuesta con el ejercicio evaluativo.



186

ESTUDIOS

4 En algún caso, la responsabilidad de la evaluación recayó en una entidad socia con experiencia en la materia o en aquellatemática o enfoque priorizado en la evaluación (impacto de género o calidad del servicio), limitándose el resto de socios a suparticipación en las consultas realizadas.


a.2) Evaluación interna vs. Evaluación externa

Las evaluaciones se pueden clasificar en internas oexternas atendiendo a si el agente encargado de surealización es una entidad del partenariado (interna) oajena a éste (externa). Las internas podemos, a suvez, clasificarlas en asistidas o autónomas para re-flejar si el personal interno que las realiza cuenta o nocon una asistencia técnica para ello.

La evaluación en los partenariados Equal andalucesse realizó mayoritariamente compaginando procesosinternos y externos, optando en más del 80% de loscasos por contratar servicios de asistencia técnica ex-terna como se puede observar en el Gráfico 1.

Gráfico 1. Tipología de evaluación en función delagente evaluador

Fuente: SAE (2005), “La Iniciativa Comunitaria Equal.

Actuaciones en Andalucía. Informe Final 2001-2004”

En tanto que más del 50% de los proyectos desarrollóevaluaciones internas y externas y más del 80% contócon servicios de asistencia técnica externa, se puedeconcluir que se ha generado una tipología de evalua-ciones particular, que podríamos denominar comoevaluaciones internas asistidas.

Hay que hacer constar que en algunos casos las eva-luaciones realizadas por alguna entidad socia del par-

tenariado, con cargo al proyecto, fue calificada comoevaluación externa. En este caso y en algunas de lasevaluaciones calificadas como internas asistidas pa-rece existir cierta confusión entre la consideración deuna asistencia técnica y una prestación de servicios,hecho éste también constatado en la EvaluaciónIntermedia de Equal a escala nacional, en la que seindicaba que “en muchos proyectos hay confusiónentre derivar acciones y contratar personas y servicios.Lo primero debiera tener un fin más estratégico y losegundo es una prestación. En el 83.6% de los casosse piensa contratar o se contratan desde el principioservicios de asistencia técnica, en primer lugar para elseguimiento y la evaluación…” (UAFSE, 2003).

Si tomamos los datos presentados en el gráfico ante-rior se habrían contratado servicios de asistencia téc-nica para la evaluación en el 81% de los casos, por-centaje bastante superior al 68% que refleja para elmismo concepto la Evaluación Intermedia de ámbitonacional, en la que se mostraba la preocupaciónporque se pudiera estar externalizando totalmente elejercicio de autoevalaución que requiere de la partici-pación y reflexión del conjunto de los interesados.

Figura 3. Tipología de asistencias técnicas contra-tadas

Fuente: UAFSE (2003). Primer Informe de EvaluaciónIntermedia de la I.C. Equal (Borrador). “Encuesta a represen-tantes y responsables técnicos de la AD”.

187


ESTUDIOS



b) Momento en que se evalúa: evaluación intermediavs. evaluación final

El momento elegido para llevar a cabo la evaluaciónsuele ser un condicionante normativo ligado a la finan-ciación, es decir, la administración o administracionesque cofinancian la intervención suelen establecer laobligatoriedad de la evaluación y los periodos en losque debe llevarse a cabo.

Cuando las evaluaciones se realizan antes de que lasintervenciones se pongan en marcha se permite intro-ducir mejoras en su diseño incrementando su perti-nencia, racionalidad y coherencia, a la vez que se fa-cilita la preparación de la intervención para ser eva-luada. Las evaluaciones intermedias suponen unaherramienta para los gestores ya que les permite rea-lizar los ajustes oportunos para maximizar las oportu-nidades de alcanzar los objetivos establecidos. Y lasevaluaciones realizadas una vez finalizadas las inter-venciones tienen el potencial de contrastar el logro deobjetivos e identificar aprendizajes y buenas prácticas.

En el caso de la IC Equal si bien se establecía la indica-ción de llevar a cabo una “evaluación continua” la obli-gación de los partenariados era la de presentar un in-forme de evaluación final. Ello ha derivado en la reco-gida constante de información o seguimiento continuo yen la realización de evaluaciones finales, que en algunoscasos estuvieron precedidas por informes intermedios.

La escasa realización de evaluaciones intermedias, nosólo en Andalucía sino también a escala nacional, y latardía puesta en marcha efectiva de los procesos eva-luativos ha restado capacidad a los partenariadosEqual para introducir mejoras durante la ejecución desus intervenciones. Este hecho ha podido estar pro-vocado porque usualmente la puesta en marcha delos partenariados requiere tiempo y es habitual que seproduzcan retrasos en la ejecución mientras que sedefinen las tareas y los procedimientos o hasta que sehacen efectivas las aportaciones y ayudas financieras.

La preferencia por la realización de evaluaciones fi-

nales entre los proyectos andaluces parece ser cohe-rente con la orientación de la Evaluación en Equalhacia la detección de nuevas formas de combatir lasdiscriminaciones y desigualdades en el mercado detrabajo. Es habitual que la evaluación en este tipo deproyectos de marcado carácter experimental requieradejar transcurrir el tiempo suficiente para que los re-sultados puedan ser apreciados.

c) Función encomendada a la evaluación: evaluaciónsumativa vs. evaluación formativa

En la mayoría de las entrevistas realizadas los respon-sables técnicos han referido que gracias a la informa-ción recogida por ellos mismos o por los evaluadoresexternos se han introducido mejoras en los proyectossobre la marcha. Ha sido en este punto dónde más seha mostrado la participación de los beneficiarios de lasactividades, a través de cuestionarios, especialmente lasactividades formativas y las actividades transnacionalescomo las visitas de aprendizaje o los intercambios.

Si en las orientaciones para la evaluación de Equal sedeja entrever un especial énfasis hacia la evaluaciónformativa, la tipología de evaluación parece apuntarhacía lo que podríamos denominar evaluación forma-tiva de actividades y evaluación sumativa del proyectoen su conjunto.

d) Contenido de la evaluación: procesos vs. resultados

Durante la metaevalaución ha emergido una confusiónentre el contenido o ámbito prioritario de la evaluación(diseño, proceso o resultados) y los criterios de eva-luación definidos para sustentar el enjuiciamiento (efi-cacia, impactos, pertinencia, entre otros). En los in-formes consultados se hace referencia al “tipo de aná-lisis” que realizan las evaluaciones para referirse tantoal contenido como a los propios criterios de valor.

Si bien en un determinado contexto evaluativo puedenexistir mayores intereses por establecer un contenidoprioritario, el enfoque integral de la evaluación acon-seja evaluar el diseño, los procesos y los resultados



188

ESTUDIOS


de manera conjunta, ya que de esta manera se faci-lita un mayor conocimiento de las intervenciones iden-tificando factores clave de éxito.

El contenido más común de los ejercicios evaluativosha sido el proceso, es decir, la propia ejecución o im-plementación del proyecto, seguido de los resultados.Son pocas las evaluaciones que se han preocupadopor el diseño a excepción de un proyecto que con-centró todos sus esfuerzos evaluativos en una evalua-ción externa sobre su diseño.

Hay que destacar la preocupación de los proyectosEqual andaluces por la evaluación de procesos queamplia la concepción tradicional y restrictiva de la eva-luación como un ejercicio de valoración de resultados.Este hecho contrasta con la escasa preocupación porel diseño de los proyectos en los ejercicios evalua-tivos, ya que siendo experiencias piloto destinadas aprobar nuevas formas de intervención su conceptua-lización y diseño pueden convertirse en elementosclave para su validación y transferencia.

CENTRALIDAD DEL PROCESO DE EVALUACIÓN

El análisis de la centralidad del proceso evaluador enel seno de los proyectos Equal no viene definido úni-camente por ellos mismos sino que en cierta medida

está condicionado por el papel orientador que realizanlas administraciones públicas competentes en los ám-bitos regional (Servicio Andaluz de Empleo, SAE) y na-cional (Unidad Administradora del Fondo SocialEuropeo, UAFSE). En este sentido resultan determi-nantes los recursos que se destinan, económicos, hu-manos y temporales, así como la respuesta a las ne-cesidades concretas de los proyectos.

Administraciones Públicas competentes: UAFSE y SAE

Desde la UAFSE se licitó el proceso de Evaluación in-termedia en agosto de 2002 por una cantidad que su-ponía el 0.38% del presupuesto total que tenía consig-nada la Iniciativa Equal en España para la primera fasede su ejecución (2001-2004).

En junio de 2003 el Servicio Andaluz de Empleo (SAE)licitó una asistencia técnica para el seguimiento, difu-sión y evaluación de los 21 proyectos Equal que re-presentaba. El presupuesto de esta licitación fue del1.13% del presupuesto total para la primera fase 2001-2004, como se puede observar en el Figura 4. Esteporcentaje hay que corregirlo ya que una parte impor-tante corresponde a actividades de difusión, que-dando un 0.62% para las tareas de seguimiento y eva-luación que, aunque no se destina únicamente a eva-luación, supone casi un 30% más de dotaciónpresupuestaria de la evaluación nacional encargadapor la UAFSE.

189


ESTUDIOS


Figura 4. Dotación presupuestaria de las evaluaciones en Equal

Fuente: Elaboración propia a partir de datos del BOE y BOJA. Datos en euros




190

ESTUDIOS

Además de la contratación de estas evaluaciones ex-ternas, ambas entidades ofrecieron herramientas deapoyo, especialmente el SAE. La UAFSE encargó lapublicación de una “Guía metodológica de evaluacióninterna” con el propósito de facilitar y orientar el pro-ceso de evaluación de los proyectos Equal españoles.La gran limitación de esta guía como orientadora delas evaluaciones ha sido, según el personal técnico delos proyectos, que llegó tarde, cuando muchos pro-cesos ya estaban en marcha, si bien se ha reconocidosu utilidad para mejorarlos.

Por su parte, el SAE como entidad representante de21 proyectos asumió la función de asegurar las tareasde seguimiento y evaluación continua de dichos pro-yectos. Para ello, les ofreció una herramienta informá-tica de seguimiento y evaluación continua del pro-yecto, realizó informes de seguimiento de cada uno deellos y del conjunto y celebró actividades de refuerzode la evaluación y para la detección y difusión debuenas prácticas.

Como tareas específicas de evaluación se organizó enGranada durante el mes de diciembre de 2002 un se-minario en el que hubo un taller específico sobreEvaluación. Por otro lado, se organizó en Córdoba unseminario de capacitación con el objetivo de realizarun diagnóstico de los sistemas de seguimiento y eva-luación de los proyectos y detectar buenas prácticas.Las buenas prácticas detectadas y validadas en unseminario posterior celebrado en Sevilla, han sido re-cogidas en una publicación que recoge las herra-mientas empleadas con mejores resultados para laevaluación y el seguimiento de los proyectos.

En octubre de 2004 se celebró en Jaén una jornadapara el intercambio y presentación de evaluaciones deproyectos Equal andaluces que congregó a evalua-dores internos y externos de dichos proyectos y sirviópara detectar aprendizajes y establecer retos de futuro.

Agrupaciones de Desarrollo

Para poder tener un referente del presupuesto de lasevaluaciones de los proyectos Equal andaluces sepuede recurrir a los datos recogidos en la EvaluaciónIntermedia del PIC Equal que se muestran en la Figura5, (UAFSE, 2003).

Figura 5. Realización financiera por ComunidadAutónoma y categoría de gasto. Acción 1

CCAA EVALUACIÓN CCAA EVALUACIÓN

Navarra 7.1 Com. Valenciana 2.6

ANDALUCÍA 5.5 Cantabria 2.1

Castilla y León 5.2 Asturias 2.0

Plurirregionales 5.2 País Vasco 0.9

Madrid 5.0 Aragón 0.0

Cataluña 4.4 Baleares 0.0

Galicia 4.4 Canarias 0.0

Castilla La Mancha 3.5 La Rioja 0.0

Extremadura 3.1 Melilla 0.0

Murcia 20.1* TOTAL 4.4

Fuente: UAFSE, 2003. Primer Informe de EvaluaciónIntermedia de la I.C. Equal (Borrador). “Módulo deSeguimiento EQUAL”.

Durante la fase inicial destinada a la constitución delos partenariados (Acción 1), el gasto en evaluaciónde los proyectos supuso en Andalucía un 5.5% deltotal, situándose como la segunda ComunidadAutónoma que dedicó mayores esfuerzos presupues-tarios a las tareas evaluativas. Este porcentaje fue su-perior a la media nacional del 4.4% y a la media de lasregiones objetivo 1, 4.8%. Este esfuerzo superior enevaluación parece correlacionarse con el grado dedesarrollo de los territorios y la capacidad supuesta-mente instalada en ellos.


Durante la fase de ejecución (Acción 2) en muchosproyectos se han reconocido dificultades para llevar acabo las evaluaciones y se han detectado deficienciasen sus planes de evaluación. Los técnicos entrevis-tados han puesto de manifiesto que los retrasos acu-mulados hicieron que existiese una mayor preocupa-ción por ejecutar las acciones del proyecto que porextraer buenas o malas prácticas o por evaluar, unidoa las dificultades propias que suponía para ellos aco-meter un proceso de evaluación y los importantes re-cursos que había que destinar a ello.

DISEÑO METODOLÓGICO: INDICADORES,FUENTES DE VERIFICACIÓN Y HERRAMIENTAS

El diseño metodológico de las evaluaciones, teniendoen cuenta sus objetivos y criterios, debe adaptarse alcontexto en el que se desarrollan los proyectos. Estetrabajo de investigación evaluativa es un procedi-miento reflexivo, sistemático, controlado y crítico quehace necesario organizar y planificar el trabajo deacuerdo con una estrategia que oriente el modo deobtener datos e información pertinente al objeto de laevaluación de la manera más adecuada.

El marco metodológico debe describir cómo se me-dirán los cambios que la intervención ha previsto, losindicadores que reflejarán el grado de consecución decada uno de ellos, las fuentes, técnicas e instrumentosque se emplearán para la recogida de información ylos procesos para su tratamiento y análisis.

En la mayoría de las evaluaciones consultadas no sehan observado referencias explícitas al modo en queabordan la medición de los cambios que pretendíaprovocar la intervención entre sus destinatarios. Enmás del 60% de los planes e informes de evaluaciónconsultados, las referencias metodológicas comienzancon la descripción de las técnicas que se aplican parala recogida de información haciendo referencia a sucarácter cuantitativo o cualitativo, o bien participativo.

Entre los principales elementos empleados para la re-cogida de información se encontraron las fichas ycuestionarios de seguimiento y evaluación que incor-poraban una batería de indicadores y, en ocasiones,se instrumentalizaron a través de aplicaciones infor-máticas que permitían su acceso remoto a través deInternet y facilitaban el tratamiento de la información yla elaboración de informes y estadísticas básicas.

Además de estas fichas y cuestionarios fue frecuentela realización de entrevistas y encuestas a través decuestionarios dirigidos al personal técnico de los pro-yectos y a las personas beneficiarias de las activi-dades. En la Figura 6 se recogen las principales he-rramientas e instrumentos empleados por los pro-yectos para la recogida de información.

Figura 6. Mecanismos para la recogida de informa-ción empleados y nº de proyectos que los aplicaron

Herramientas e instrumentos Nº proyectosObservación continuada 14Fichas de recogida de información 20Visitas de seguimiento 15Grupos de trabajo de equipos técnicos 15Entrevistas 19Cuestionarios 20Grupos de discusión 18

Fuente: SAE (2005).

En cuanto al diseño de herramientas que faciliten la re-cogida de información para la evaluación se realizó unesfuerzo importante tanto por parte de los evaluadoresexternos como de los internos. El mejor ejemplo de elloes el documento editado por el Servicio Andaluz deEmpleo bajo el título “Buenas prácticas en seguimientoy evaluación de proyectos de empleo. Experiencias dela Iniciativa Comunitaria Equal en Andalucía”. Una ba-tería de estas herramientas calificadas como buenasprácticas se presentan en la Figura 7 haciendo refe-rencia al proyecto que las empleó.

191


ESTUDIOS



La recogida de información cualitativa sobre los pro-cesos, las estrategias y su alcance se contempló enlos proyectos a través, fundamentalmente, de técnicasparticipativas como las reuniones, los grupos de dis-cusión y la realización de talleres para el diseño de es-cenarios de futuro y estrategias de desarrollo.

Como ningún método o técnica es exhaustivo e infa-lible, en la actualidad, se aboga por una “metodologíaplural”, no sujeta a ningún método específico. Se optapor la combinación de métodos que traten de ade-cuarse, de manera complementaria, a la complejidadestructural de la realidad social. Cada método seráadecuado a cada objeto particular de conocimiento,de ahí que resulte útil la conjugación de varios, o in-cluso la indagación y “creación” de otros métodos in-novadores, empleando cada uno de ellos para com-probar las restantes, proceso que se conoce con elnombre de “triangulación”.

HALLAZGOS, INTERPRETACIONES, JUICIOS DEVALOR Y RECOMENDACIONES

Por elaboración práctica de la evaluación se entiendela cadena de razonamiento que lleva secuencialmentedesde los hallazgos de la evaluación (afirmaciones ba-sadas en hechos registrados) hasta las conclusiones(basadas en los hallazgos y en las interpretacionesque sobre ellos se hacen) y recomendaciones (pro-puestas suscitadas por las conclusiones a fin de me-jorar la calidad de la intervención evaluada).

Cada uno de estos niveles implica un grado de reflexiónmás profundo y basado en el nivel anterior, configu-rando una secuencia de razonamiento y determinandoel enjuiciamiento sistemático de la evaluación. Es reco-mendable que las evaluaciones recojan de manera di-ferenciada estos tres niveles: hallazgos, conclusiones yrecomendaciones, estableciendo de manera clara lacadena los postulados establecidos para alcanzarlos.



192

ESTUDIOS

Figura 7. Herramientas e instrumentos de seguimiento y evaluación aplicados por los proyectos Equal andaluces

Metodología, técnica, herramienta

Unidad de análisis en el contexto de una evaluación etnográfica

Taller de escenarios de futuro EASW

Metodología Empowerment

Historias de vida

Encuentros y reuniones grupales

Diario Común

Cuaderno de campo

Aplicación informática de seguimiento

Grupo de pilotaje para la validación de herramientas

Manual de procedimientos de evaluación interna y externa

Cuestionario para evaluar el funcionamiento interno de la AD

Proyecto que la ha empleado

EQUAL Andalucía: Estrategias para el empleo

Co-labora.con

Arena

Construyendo futuro

Clave & Laboro, Co-labora.con, EQUAL-Granada

EQUAL-Andalucía: Estrategias para el empleo

EQUAL Granada

La oportunidad de emprender en el Norte de Córdoba

ODISEA

Filón

ITACA, Andalucía en e-Igualdad

Fuente: SAE (2004).


Es en este apartado en el que menos aportaciones re-alizan las evaluaciones consultadas en las que encontadas ocasiones se presentan de manera diferen-ciada los hallazgos y las interpretaciones que sobreellos hacen los evaluadores, las conclusiones que sederivan y las recomendaciones. Este hecho ha sidoespecialmente significativo en las evaluaciones in-ternas en las que esta diferenciación de hallazgos, jui-cios de valor y recomendaciones queda más difusa.

En más del 50% de las evaluaciones consultadas seintroduce un apartado dedicado a las conclusiones yrecomendaciones si bien, en la mayoría de los casos,no se encuentran organizadas en torno a las grandescuestiones a las que debe responder la evaluación.

En cuanto al elemento valorativo o la emisión de juiciosde valor la mayoría de informes consultados realizanpocas aportaciones, centrándose en la descripción delas intervenciones y de sus procesos de aplicación, es-tableciendo datos totales y parciales de realización.

UTILIDAD Y UTILIZACIÓN DE LOS RESULTADOS DELAS EVALUACIONES PARA LA TRANSFERENCIA:EVALUACIÓN Y MAINSTREAMING.

Con el análisis de la utilidad de la evaluación se pre-tende dar respuesta a la pregunta ¿para qué sirven oha servido las evaluaciones? Así es primordial analizarlos propósitos y funciones que se le han encomendadoa la evaluación, observando su claridad y explicitación.

Los trabajos de evaluación serán meritorios en la me-dida en que sus resultados sean usados y contribuyana mejorar el conocimiento de los agentes interesados.Entre los aspectos que condicionan la utilidad de laevaluación se encuentran su capacidad de dar res-puestas a las cuestiones o preguntas que le dieronorigen; la proporcionalidad y concreción de sus reco-mendaciones y la bondad de su estrategia de comu-nicación de resultados.

La función que se le encomendó a la evaluación enEqual fue la de sustentar el debate sobre la transfe-rencia de las mejores prácticas experimentadas en losproyectos a las políticas generales de empleo. Es porello que para que las evaluaciones fuesen útiles y uti-lizadas, además de generar información útil debíanestar listas antes de la puesta en marcha de esta úl-tima fase destinada a la difusión y transferencia(Acción 3, en terminología Equal).

No obstante, durante la fase de preparación y presen-tación de propuestas para participar en dicha Acción3, las evaluaciones, en general, ni estaban finalizadasni fueron consideradas como elementos centralespara la discusión y el debate sobre la transferencia.

En la estrategia de evaluación que la ComisiónEuropea diseñó se contempló una evaluación ex–postrealizada sobre la base de las evaluaciones nacio-nales y de proyecto. Esta evaluación final a escala co-munitaria se configuró como una “síntesis de evalua-ciones” con el objeto de poder determinar las lec-ciones aprendidas.

Metodológicamente el empleo de la síntesis de evalua-ciones a escala comunitaria como sustento para latransferencia parece, a priori, acertado ya que sirvepara aunar, resumir e incluso potenciar los resultadosde varios estudios de evaluación de programas o po-líticas similares, poniendo la atención en los resultadosde las evaluaciones. Con ello, el objetivo último es mos-trar evidencias empíricas de las buenas prácticas de-tectadas que sustenten la transferencia a las políticasgenerales configurando lo que se puede denominar eldesarrollo de “políticas basadas en la evidencia”.

En cuanto a la circulación de la información arrojadapor las evaluaciones algunos proyectos habían pre-visto la publicación de sus resultados en su Web o enla del SAE.

193


ESTUDIOS



5 CONCLUSIONES: SEGUIMIENTO O EVA-LUACIÓN, LLÁMALO COMO QUIERAS

Como ha revelado la metaevaluación los proyectosEqual que tuteló el Servicio Andaluz de Empleo op-taron mayoritariamente (81%) por la contratación deasistencias técnicas externas. Pese a no ser conclu-yentes los hallazgos en cuanto a la tipología de eva-luaciones, existen hechos y discursos que hacenpensar en que las agrupaciones de desarrollo promo-toras de estos proyectos se han apropiado de unamanera limitada de los procesos evaluativos.

La evaluación externa ha sido puesta en marcha, enmuchos casos, durante el último año de la ejecución,lo que le ha restado capacidad para introducir mejorassobre la marcha y se ha desviado de la evaluacióncontinua que se perseguía.

Normalmente, los promotores de las evaluaciones hansido las entidades que coordinan técnicamente losproyectos y la implicación del resto de socios del par-tenariado se ha limitado a un estatus consultivo másque participativo. Hay que decir que los esfuerzos pre-senciales y de tiempo que requiere la participación enun proyecto marcado por la cooperación institucionaly que constituye una autentica red de redes han difi-cultado la participación efectiva de las entidades so-cias en la evaluación.

Los retrasos en la puesta en marcha de los proyectoshan dilatado la puesta en marcha de las evaluaciones,relegándolas además a un segundo plano y en al-gunos casos ha derivado en su externalización. Estadeficiente planificación y gestión del tiempo en el pro-ceso evaluativo descansa en gran medida en la propiacomplejidad de la Iniciativa Equal en sí y más aúncomo objeto de un ejercicio evaluativo.

Si la evaluación quedó relegada a un segundo planoen los proyectos Equal andaluces, con contadas ex-cepciones, se situó en un lugar central de la actividaddel Servicio Andaluz de Empleo. Este liderazgo re-gional en la evaluación, en respuesta a los compro-

misos adquiridos por el SAE, ha servido para paliar lascarencias de las evaluaciones de muchos proyectos,difundir la cultura de evaluación, capacitar al personaltécnico de los proyectos y, fundamentalmente, paradetectar buenas prácticas entre los proyectos.

En algunas ocasiones las causas que han emergidopara justificar esta situación residual de la evaluaciónentre los proyectos ha sido la percepción de que lastareas de control, seguimiento y evaluación continuaeran responsabilidad última del SAE, ya que eranéstas algunas de sus funciones como socio represen-tante. Este hecho ha relegado a algunos proyectos asuministradores de información periódica al ente re-gional, dando lugar más que a evaluaciones internascontinuas a recogidas periódicas de información.

Un discurso bastante extendido entre el personal téc-nico fue el que se recogió como “seguimiento, evalua-ción, llámalo como quieras”, que más allá de reflejaruna confusión conceptual tiene importantes conse-cuencias metodológicas y principalmente deriva, porun lado, en la recogida indiscriminada de informacióny, por otro, en la dictadura de las técnicas en el pro-ceso evaluativo.

“ …se le puede llamar evaluación o seguimiento ocomo tu quieras…. yo diría que lo que máscambia es el apellido, es decir, el nombre de eva-luación se lo podemos dar pero el apellido no, osea, no ha sido una evaluación quizás de procesoy tal, … sino que al final, por el momento y las cir-cunstancias el análisis no va a permitir una recon-ducción a mitad, pero lo que si ha habido es el se-guimiento aunque no podamos llamarlo evalua-ción, pero el seguimiento si ha ido modificando elprograma. …” (E021NRP4).

En no pocas entrevistas surgió esta aclaración al pre-guntar por los criterios y por las cuestiones a las quetendría que dar respuesta la evaluación o por si seconsideraba que la evaluación había recogido o es-taba recogiendo sus necesidades informativas.



194

ESTUDIOS


La interpretación realizada de esta situación es queentre el personal técnico de los proyectos, encargadode la evaluación interna o gestores de las evalua-ciones externas, existe una gran concienciación sobrela necesidad, casi obligación, de establecer indica-dores para satisfacer los requerimientos habituales delos cofinanciadores y emitir memorias o informes, in-termedios o finales de la actividad. La respuesta habi-tual es el establecimiento de una batería de indica-dores “lo más amplia y exhaustiva posible” que, apriori, garantice la disponibilidad de “información su-ficiente” sobre la intervención.

“Pensamos al principio de la evaluación que debí-amos llevar a cabo una fase de recogida de infor-mación los mas amplia y exhaustiva posible quetocase a técnicos, beneficiarios y otros socios,que fuese tanto cuantitativa como cualitativa…”(E021NRP1”).

Así, bajo el discurso “cuanta más información mejor”se puso de manifiesto el importante esfuerzo realizadoen el diseño de herramientas e instrumentos de reco-gida de información para el seguimiento físico de lasactuaciones, desde fichas de seguimiento de activi-dades a cuestionarios de evaluación-satisfacción, en-trevistas y grupos de discusión hasta aplicaciones in-formáticas de seguimiento.

No obstante, se constató que en muchos casos existíala percepción de que con el diseño de indicadorespara la recogida de información se daba comienzo altrabajo “evaluativo”, sin haber establecido previa y ex-plícitamente las cuestiones a las que dicha evaluacióntenía que dar respuesta y que, por tanto, debíanorientar el proceso de construcción de indicadores.

“Ahora hemos reducido al máximo aquellas cues-tiones que tienen que ver con la atención directaal usuario y es el momento de retomar todo, todala información recogida por distintas vías, selec-cionar la que es rica e interesante, analizarla y con-vertirla en documento útil,.…. (E021NRP1).

En este sentido hay que apuntar que la informaciónaportada por los sistemas de seguimiento, cuandoexiste, constituye una poderosa fuente de verificaciónpara la evaluación. A pesar de ello, puede ocurrir quealgunas de las cuestiones de evaluación no encuen-tren respuesta o argumentos explicativos a través dedicha información. En muchas ocasiones el problemano suele ser la falta de información, en cuanto a can-tidad, sino su falta de desagregación o heteroge-neidad, es decir, aspectos más vinculados con la ca-lidad. Por tanto, no debiera identificarse la informacióno indicadores de seguimiento con los correspon-dientes de evaluación.

Se puede concluir que “no hay buen viento para quienno sabe a donde va” o, lo que es lo mismo, “si no sabeslo que buscas, no entenderás lo que encuentras”.

“Nos dimos cuenta que estábamos haciendo mu-chas cosas pero que no las habíamos estructu-rado… estaban un poco deshilvanadas y bueno…. lo único que hay que hacer ahora es estructu-rarlas en un documento entendible y coherentepara todo el mundo …….. yo además, la diferenciaentre seguimiento y evaluación y tal … nosotros ha-bíamos hecho, creo, mucho hincapié en el pro-yecto en el tema de indicadores y todas estascosas pero en el tema de lo que es la evaluaciónno estaba tan bien pero vamos ahora lo estamosreconvirtiendo. (E031NRP2)

En un proyecto surgió esta apreciación que resumetodo el proceso que se ha ido describiendo anterior-mente. La evaluación no se ha concebido, en general,en el seno de los partenariados Equal como un pro-ceso sistemático para enjuiciar el mérito o valor de susintervenciones sino como un conjunto de actividadesa incluir en la fase de planificación, como la construc-ción de indicadores o la recogida de información através de cuestionarios y sistemas de seguimientopara mejor documentar la intervención, sus realiza-ciones y resultados.

195


ESTUDIOS



Este hecho provoca una carencia absoluta de refe-rente que guíe el proceso y muchas preguntas quedansin responder, ya que a la evaluación con criterios tra-dicionales (y más aún sin ellos) le cuesta ver donde nole han dicho que mire (Ligero Lasa, J.A.).

En conclusión, al esfuerzo por diseñar herramientas einstrumentos de recopilación de información se leunieron las dificultades de los equipos internos de eva-luación para diferenciar las tareas de seguimiento delas de evaluación y para establecer, en ocasiones, lascuestiones a las que se debía dar respuesta.

Algunas de estas dificultades están relacionadas conlas que a continuación se relacionan:

La homogeneización de instrumentos de recogidade información para un mismo territorio y para unconjunto de entidades socias.

La ausencia de una entidad que aglutine el diseñoy revisión de los parámetros a evaluar en las dife-rentes actividades.

El diseño de indicadores e instrumentos para la re-cogida de información, debido a la dilatación delproceso de definición de algunas actividades.

La insuficiencia del marco metodológico dispuestopara la evaluación al no permitir recoger la informa-ción pertinente para responder a cuestiones comoel alcance de las actividades de sensibilización, elcambio de actitudes en la población y la mejora enla empleabilidad de las personas beneficiarias. Elloes debido, en parte, al tiempo necesario que hayque dejar transcurrir para que se manifiesten losefectos de la intervención, que supera la duraciónde los proyectos.

La evaluación de algunos criterios como la aplica-ción del principio de igualdad de oportunidades enlos proyectos, ya sea porque en ellos no se han in-corporado medidas concretas o porque resulta di-fícil su medición.

La atribución de los efectos provocados por la in-tervención entre los diferentes agentes implicados,a la que se añade la dispersión territorial de muchasde las actuaciones puestas en marcha.

La aplicación de herramientas participativas debidoal amplio número de socios y personas beneficia-rias de las agrupaciones de desarrollo.

Para superar las dificultades encontradas en el diseñoy aplicación de metodologías, técnicas e instrumentosde seguimiento y evaluación se hace necesario el aná-lisis del contexto en el que desarrollan su actividad losequipos evaluadores, principalmente internos. Los se-minarios y talleres organizados por el SAE sobre el se-guimiento y la evaluación han propiciado, en algunoscasos, la superación de esas dificultades.

La complejidad intrínseca de un proyecto Equal, conun amplio partenariado y un conjunto de actividadesinnovadoras locales y transnacionales, y la obligaciónreglamentaria de responder a las necesidades infor-mativas de la administración nacional y europea haprovocado que el diseño y aplicación de herramientasde recogida de información haya ocupado gran partedel tiempo del personal técnico adscrito a los pro-yectos, relegando, en ocasiones, al proceso de eva-luación a un segundo plano. Todo ello ha provocado,en ocasiones, que las evaluaciones continuas hayanderivado en recogidas periódicas de información.

Si bien, se han observado muchas dificultades en laconcepción y diseño de las evaluaciones, el procesode reflexión que se ha originado en el seno de los pro-yectos y el desarrollo de la capacidad de las estruc-turas técnicas para realizar evaluaciones hacen queuno de los elementos más positivos haya sido elpropio aprendizaje experimentado durante los ejerci-cios evaluativos.

La experiencia acumulada en evaluación de proyectosEqual permite hablar de “intervenciones complejas”que, partiendo del reconocimiento de la multidimen-sionalidad de los problemas, generan múltiples



196

ESTUDIOS


agentes participantes, múltiples niveles administrativosimplicados y múltiples políticas y marcos superioresde programación afectados (Vélez, C; Cirera, A yMurciano, J: 2004).

Este tipo de intervenciones precisan de nuevos enfo-ques de evaluación que sobre el despliegue de unametodología participativa sean capaces de satisfacerlas necesidades informativas de estos agentes y ni-veles administrativos implicados. Una consecuencia di-recta de ello es la necesidad de establecer sistemasglobales e integrales de evaluación que consideren losdiferentes niveles y, sobre las cuestiones de evaluaciónpertinentes para cada uno de ellos, trasladen en cas-cada la responsabilidad de la evaluación destilando lasfunciones que debe cumplir cada nivel en el procesoevaluativo y consideren las fuentes de información, queen ningún caso pueden quedar saturadas por los dife-rentes procesos evaluativos paralelos.

Otra consecuencia de la complejidad de las interven-ciones es la pertinencia de incorporar un enfoque deprocesos en la evaluación con el objetivo de identificary explicitar las estrategias de intervención y las teoríasdel programa (Weiss, C: 1975), estableciendo la rutade análisis adecuada para su seguimiento. Ello con-tribuye también a determinar los mecanismos de ges-tión y coordinación y el reparto de tareas que se esta-blecen en los partenariados o entre los múltiplesagentes y niveles administrativos que se ven impli-cados en la intervención, con el propósito de poderavanzar en la atribución de los resultados alcanzadosy en el aprendizaje sobre los factores clave del éxito.

A su vez, la afectación de múltiples políticas y marcossuperiores de programación está determinando queemerjan nuevos aspectos en las evaluaciones con en-tidad suficiente para ser considerados como criteriosde evaluación. Este es el caso de las prioridades ho-rizontales de las políticas o instrumentos financieros,que en el caso de los fondos europeos para el des-arrollo son los siguientes: igualdad de oportunidades,medio ambiente y sociedad de la información.

La necesidad de dar respuesta con la evaluación a lacontribución de las intervenciones al desarrollo de estasprioridades hace necesario su delimitación como cri-terio que permita emitir juicios de valor al respecto. Estamisma situación se produce en la Iniciativa ComunitariaEqual con los principios rectores que debían contem-plar y desarrollar los proyectos a ella adscritos.

Las dificultades expuestas que han enfrentado los pro-cesos de evaluación analizados y la propia comple-jidad de la Iniciativa Equal como objeto de evaluativorecomiendan el desarrollo de acciones de sensibiliza-ción y capacitación del personal técnico de los pro-yectos encaminadas a clarificar las diferencias entreseguimiento y evaluación. Especialmente relevante seha manifestado la oportunidad de garantizar que lasevaluaciones establezcan de manera previa y explicitalas cuestiones a las que deben dar respuestas losejercicios evaluativos.

Por otro lado, la limitada centralidad de los procesosde evaluación se ha revelado como un aspecto clave,derivada de los retrasos en la ejecución de los pro-yectos. Los retrasos en la ejecución y la concepcióntradicional y restrictiva de la evaluación como últimaetapa del proceso de planificación son obstáculos quehan enfrentado las evaluaciones de los proyectosEqual y que han restringido su utilidad y potencial.

Ello hace necesario establecer mecanismos que ga-ranticen la puesta en marcha efectiva de los procesosde evaluación en este tipo de proyectos, estableciendocontroles iniciales e intermedios. Inicialmente debe ga-rantizarse el establecimiento de planes de seguimientoy evaluación y la realización de pruebas de evaluabi-lidad que mejoren la capacidad de los proyectos deser evaluados. A medio camino, el requerimiento de in-formes intermedios de avance de la evaluación,además de permitir la introducción de mejoras en laplanificación, debe permitir la reorientación en su casode los procesos evaluativos en los que se observen re-trasos y dificultades en su puesta en marcha.

197


ESTUDIOS



6 BIBLIOGRAFÍA

Bustelo, M. y Sotillos, B. La formación de especia-listas en evaluación de programas y políticas públicas:revisión del estado de la cuestión y análisis de un casode formación de post-grado. Ponencia presentada en laIII Conferencia de la Sociedad Española de Evaluación:“Los retos teóricos y metodológicos de la evaluación enlos sectores del empleo, la educación y el desarrollo”.Jerez, 12,13 y 14 de noviembre 2003. Mimeo.

Bustelo, M (2001). “La evaluación de las políticaspúblicas de igualdad de género de los gobiernos cen-tral y autonómicos en España: 1995 – 1999”. Memoriapara optar al grado de Doctor. En línea:http://www.ucm.es/BUCM/tesis/cps/ucm-t25225.pdf,junio de 2003.

Bustelo, M (2003). ”La metaevaluación como herra-mienta para la mejora y el desarrollo de la función deevaluación en las administraciones públicas”, enMateriales del Experto en Evaluación de Programas yPolíticas Públicas de la Universidad Complutense deMadrid (2002/2003). Mimeo.

Cohen E. y Franco R., (1993:282-286), “Evaluación deproyectos sociales”. Madrid. Siglo XXI de España Editores.

Diagnóstico de los sistemas de seguimiento y eva-luación de los 21 proyectos de la IC EQUAL. Mimeo.

García, Esther, “Metaevalaución”, en “DiccionarioCrítico de Ciencias Sociales”, Román Reyes (Dir),Universidad Carlos III de Madrid. En líneahttp://www.ucm.es/info/eurotheo/diccionario, julio de 2004.

Garrido, F.J. (2003) “EL análisis de redes en el des-arrollo local”, en “Prácticas locales de creatividad so-cial”, Rodríguez, T; Montañés, M. y Martín, P. (Coord.)

I.C. EQUAL. Informe de Seguimiento de losProyectos en los que participa el Servicio Andaluz deEmpleo (junio 2002-diciembre 2003).

IDR y SAE. Seminario de seguimiento y evaluaciónde proyectos de empleo. Cartaya (Huelva), 27 de sep-tiembre de 2005.

MAE (1998). Ministerio de Asuntos Exteriores, MAE.Secretaría de Estado para la CooperaciónInternacional y para Iberoamérica, SECI. “Metodologíade evaluación de la Cooperación Española. Secretaríade Estado para la Cooperación Internacional y paraIberoamérica”. Madrid. España.

Murciano, J (2004). Metaevaluación de proyectosEqual en Andalucía. Memoria de Grado del Master deEvaluación de programas y políticas públicas de laUCM. Mimeo.

Murciano, J (2005). La experiencia de evaluación enla Iniciativa Comunitaria Equal en Andalucía. CLAD.Santiago de Chile.

Murciano, J (2006). Evaluación de partenariados yevaluación en partenariados. El caso de la IniciativaComuntiaria Equal. En E-valuación, Revista de evalua-ción de la Sociedad Española de Evaluación. Año 0,nº3. Diciembre de 2006.

Osuna, J.L. y Márquez, C. (Dir.) y A. Cirera y C.Vélez (2000), “Guía para la Evaluación de PolíticasPúblicas”, Instituto de Desarrollo Regional, FundaciónUniversitaria (ed.), Sevilla.

Osuna, J.L., C. Vélez, A. Cirera y J. Murciano (2006).“Programación y Evaluación Pública: un triángulocomplejo”. En Ekonomiaz, Revista Vasca deEconomía, nº 60. 76-97. Servicio Central dePublicaciones del Gobierno Vaso. Viztoria-Gasteiz.

Rodríguez Carmona, A. Modulo de Introducción ala evaluación participativa. Material didáctico delMaster en Evaluación de Programas y PolíticasPúblicas (UCM). Mimeo.

SAE (2004). Buenas prácticas en seguimiento y eva-



198

ESTUDIOS


luación de proyectos de empleo. Experiencias de laIniciativa Comunitaria Equal en Andalucía (2004). DGde Fomento del Empleo. SAE. Consejería de Empleo.Junta de Andalucía. En línea: http:\\www.juntadeanda-lucia.es/servicioandaluzdeempleo/equal

SAE (2005). La IC Equal en Andalucía: actuacionestransnacionales. Informe final 2001-2004. SAE.Consejería de Empleo.

SAE (2005). La Iniciativa Comunitaria Equal.Actuaciones en Andalucía. Informe final 2001-2004.SAE. Consejería de Empleo.

Stake, R.E. (2006). Evaluación comprensiva y eva-luación basada en estándares. Colección Crítica yFundamentos. Barcelona.

Stufflebeam, D.L. y A. J. Shinkfield (2005).Evaluación sistemática. Guía teórica y práctica. Temasde educación, 4. Paidós. Ministerio de Educación yCiencia. Barcelona.

Subirats, J. (2006). Catorce puntos esenciales sobreevaluación de las políticas de públicas con especialreferencia al caso de las políticas sociales. EnEkonomiaz, Revista Vasca de Economía, nº 60. 34-35.Servicio Central de Publicaciones del Gobierno Vaso.Viztoria-Gasteiz.

UAFSE (2003). Evaluación Intermedia del PIC Equal.En línea: http://www.mtas.es/UAFSE/default.htm

Vélez, C. (2000). “La evaluación de las políticas pú-blicas en Andalucía: una realidad en proceso de ges-tación”. En Cuadernos Económicos de Granada nº11: Estrategia y tácticas de desarrollo regional y con-vergencia económica: urbanismo, coyuntura inmobi-liaria y sistema financiero. Enero del año 2000.Páginas 53-68.

Vélez, C (2006). “La evaluación: un nuevo yaci-miento de empleo”. En E-valuación, Revista de eva-

luación de la Sociedad Española de Evaluación. Año0, nº3. Diciembre de 2006.

Vélez, C; Cirera, A y Murciano, J, (2004),“Aproximación a la evaluación: un triángulo complejo”.Diciembre de 2004. En línea: www.ess.org

Weiss, C. (1975:135-137), “Investigación evaluativa”,México, Editorial Trillas

199


ESTUDIOS



Evaluar La Evaluacion_Juan Murciano

Documents

Transcript of Evaluar La Evaluacion_Juan Murciano