Executive EvaluationExecutive Evaluation E2E2

Public Policy Evaluation OfficeNational Department of Planning

Comparison with other well known methodologies

Information

Strengths

Process

Weaknesses

•To analyze information use and produced•To analyze focalizations tools•To evaluate core and support processes•To evaluate project selection criteria•To identified and evaluate supervision mechanism and project monitoring•To determine national policy coordination mechanism•To produce adjust plans

•To determine socioeconomic changes in population•To evaluate institutional capacity changes •To evaluate beneficiaries perception of actions or results•To evaluate goals accomplishment and logic frame •Ti verified facilities and its sustainability

Example

Evaluación de Programas Gubernamentales - EPG CHILE

Program Assestment Rating Tool Review – PART USA

Absent of evaluations and problems with those existents

Budgetary constraints and complexities Information problems

• design with wide participation of experts.• Pilots in different sectors and government levels.• Adjust and reinvention.

SINERGISINERGIAA

Analytical framework

Diagnosis process

E2

Need to know in a short time why a program is not working properly ?

Allows to evaluate a major number of programs that need analysis

Need to order Program information and processes?

Produce standard and comparable information among programs

Support redesign processes and realignment of strategies, and

budgetary decisions

Questions

Need to have a reference to evaluate the program in the future? Programs Managers

Planning Offices

Intersectorial Evaluation Comite

Target Users

Methodological approach

Program evaluation

Description based on documental information.DESK REVIEW

¿Is internal information enoughtto describe the program?

Rebuild missing information using other sources.

Field work

si

no

Description complete

Information

Qualification Criteria 1 a 4 or yes / no

Evaluation topics

Temas de evaluación Subtemas de evaluación Puntaje

subtema Preguntas

Pertinencia y relevancia del programa

2,0 ¿El programa está dirigido a un problema/necesidad/interés importante, existente y bien identificado?

¿El programa tiene objetivos y metas claras/específicas?¿Se ajustan los componentes  del Programa a los objetivos (fines y propósitos) de la intervención?   ¿El programa tiene beneficiarios objetivo claramente definidos y afectados por el problema/necesidad/interés?¿Las metas estratégicas son alcanzables y ambiciosas?¿El programa está articulado con la política sectorial y de la entidad? ¿El programa está diseñado de manera que no sea redundante o duplicativo de otros esfuerzos de tipo estatal, local, comunitario o privado?

2,3ÁREA 1: DISEÑO DEL PROGRAMA

2,0

3,04,0

3,8

1,04,01,0

1,0

Sinergia / articulación con otras iniciativas

Diseño estratégico 4,0

Puntajepreguntas

Claridad en la orientación del programa

Evaluation process

Turns into standard indicators by topics

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

Cal

idad

del

Dia

gnos

tico

Rel

evan

cia

en la

Pol

itica

yC

oher

enci

aP

obla

ciòn

Sin

ergi

a /

artic

ulac

ión

con

Ade

cuac

ion

delo

sP

lane

ació

nes

traté

gica

Cob

ertu

ra

Pro

ducc

ión

deco

mpo

nent

es

Efe

ctos

eIm

pact

os

Sufi

cien

cia

dere

curs

osU

so y

Dis

tribu

ciòn

Cal

idad

del

Dis

eno

Glo

bal

Pla

neac

iòn

Ope

rativ

aC

uello

s de

Bot

ella

Foca

lizac

iòn

Dis

eno

Com

pone

ntes

Ent

rega

Com

pone

ntes

Apo

yo

Dire

ccio

nam

ient

oC

alid

ad d

e la

Info

rmac

iòn

deU

so d

e la

Info

rmac

iòn

de

Dis eño R es ultados R ec urs os -Ins umos

Manejo Operativo E s tructuraOrganiz ac ional

Ac tividades de Dir.,E v. y C ontrol

Standard indicators

Information analysis

TEMA SUBTEMA # Dis

poni

ble

Act

ualiz

ada

Com

plet

a

Org

aniz

ada

Fuente Documental (documentos oficiales del programa, datos del sistema de información, documentos fuente

secundaria)

Fuente No documental(entrevistas,

talleres, levantamiento

directo)

Justificación del Programa 1.1 x

Ley 100 de 1993. Programa de Protección Social al Adulto Mayor. Manual Operativo. Bogotá marzo 5 de 2004. Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo. Entrevista

Política sectorial e institucional en que se enmarca el Programa 1.2 x x

Plan Nacional de Desarrollo 2006 - 2010 capitulo 3, Ley 100 de 1993, Ley 797 de 2003, CONPES Social 105.

Sinergias con otros programas 1.3 x

Ossa, Carlos y Lafaurie José. Gestión Fiscal. Informe financiero de la CGR, 1999. Presidencia de la República. Red de Solidaridad Social. Programa de Atención Integral para la población Adulta Mayor, 2000. Vivas, Jorge. Evaluación de Impacto del Programa de Atención Integral al Adulto Mayor. Ley 100 de 1993. Ley 797 de 2003 Entrevista

Objetivos del Programa a nivel de fin 1.4 x

Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo Anexo No.6 Prueba Piloto

Objetivos del Programa a nivel de propósitos 1.5 x

Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo Anexo No.6 Prueba Piloto

Beneficiarios objetivo 1.6 x x x x

Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo Anexo No.6 Prueba Piloto. Acta Reunión Comité Directivo CCAI del 19 de febrero de 2007.

Descripción de los componentes (bienes y/o servicios) que entrega el Programa 1.7 x x x x

Programa de Protección Social al Adulto Mayor. Manual Operativo. Bogotá marzo 5 de 2004. Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo. Convocatoria Publica No. 001 - 2008.

Estructura de la Matriz del Marco Lógico 1.9 x x x

Programa de Protección Social al Adulto Mayor. Manual Operativo. Bogotá marzo 5 de 2004. Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo Anexo No. 6 Prueba Piloto. Ley 100 de 1993. Ley 797 de 2003.

Indicadores de la Matriz del Marco Lógico 1.10 x x x x

Programa de Protección Social al Adulto Mayor. Manual Operativo. Bogotá marzo 5 de 2004. Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo Anexo No. 6 Prueba Piloto. Ley 100 de 1993. Ley 797 de 2003. Resolucion No. 2153 de 2007 del Ministerio de la Proteccion Social.

Modelo teórico. 1.11 x

Ley 100 de 1993. Programa de Protección Social al Adulto Mayor. Manual Operativo. Bogotá marzo 5 de 2004. Programa Nacional de Alimentacion al Adulto Mayor "Juan Luis Londo;o de La Cuesta" Manual Operativo. Ley 797 de 2003. CONPES 102 de 2006. Decreto 3771 de 2007. Entrevista

DISEÑO DEL PROGRAMA

46%

INFORMATION CHECK-BOX

COMPONENTE DESCRIPCIÓN

CRITERIOS (marcar con X en caso

positivo)

CALIDAD

FUENTES USADAS(relacionar las fuentes consultadas)

Information is:DisposableUp to dateTimelyComplete

Information quality about design

• Description (Logic Frame)

• Evaluation

• Information Check Box

• Conclusions, global diagnosis, and adjusts plans.

Products