3_Evaluation in Leader
Jela Tvrdonova 2015
5
2
Content
• Legal requirements
• Focus in Leader evaluation
• Subject of assessment • LDS intervention logic
• Leader method
3
What are legal requirements?
• LAGs • ensure monitoring and specific evaluation activities (1303/2013, Art 34.3 g) – LDS shall
contain description of M&E arrangements• Monitor the implementation of LDS • Carry on specific evaluation activities • provide MA and evaluators with information for RDP evaluation (1305/2013, Art. 71)
• MA.• describe the evaluation topics and activities to assess the contribution of LDS and
planned support for evaluation at LAG level (808/2014, Annex I, part 1, point 9), e.g. provision of guidance
• NRN • provide capacity building for LAG and disseminate M&E findings (1305/2013, Art.
54.3)
Focus of evaluation in Leader approach
Leader/CLLD
EAFRD/public funding
LDS/CLLDS
Method
RDP/OP
7 principlesAdded value
5
Assessment of LDS and its intervention logic • LDS as a management tool to address the LAG territory’s needs and
improve the situation• LDS covers several aspects:
• Analysis• Strategy and budget• Implementation • Management • Monitoring and evaluation • Reporting and communication
• The heart of the LDS is its intervention logic, which is also the ground for its evaluation
Assessment of LDS
• Purpose
• Effectiveness
• Efficiency
• Relevance
• Contribution to RDP/OP objectives
The base for the intervention logic design
Territory description
SWOT analysis Needs
assessment
7
Context situation analysed with SWOT
Expected impacts
Expected results
Expected outputs
Overall LDSObjective(s)
LDS specific objectives
LDS operational objectives
LDS measures Inputs
Needs of the LAG territory to be addressed with the LDS
LDS contribution to programme objectives and changes in LAG territory
Links to objectives of EFF, EFRD and ESF, financed
programmes if relevant
Links to RDPObjectives, RD priorities
and FA(mainly 6B) and othersif relevant
Elements of LDS intervention logic
8
M&E elements in LDS design and implementation
Evaluation questions
• help to (re)formulate objectives in order to be realistic, measurable and time-oriented
• focus evaluation and their answers help to demonstrate achievements
Indicators
• help to increase coherence, effectiveness and efficiency of intervention logic
• measure achievements
9
During LDS design
During LDS evaluation
M&E framework of the LDS
Linking evaluation elements to IL
Expected results
Expected outputs
LDS specific objectives
Measure objectives
LDS measures (EAFRD, EFRD, ESF, EFF)Inputs
Result indicators
Output indicators
Evaluation question
Evaluation question
Impact indicators
Overall LDS objective(s)
Expected impacts
10
CMES elements
Evaluation questions:• FA 6B:To what extent have RDP
interventions supported local development in rural areas?
• Evaluation questions related to FAs, which can be linked with LDS objectives
Indicators:• Leader related common indicators
• Common indicators linked to measures implemented via LDS and to FAs which can be linked with LDS objectives
11
Leader related CMES output indicators
LAG level• O 18 - Population covered by LAG
• O 19 - Number of LAGs
• No of LAGs using multi-fund
• No of LAGs implementing co-operation projects
• O 1 - Total public expenditure in preparation and implementation of cooperation activities of the LAG – paid
• O 1 - Total public expenditure for support for running costs and animation – paid
Project level • O 1 - Total public expenditure -
committed
• O 1 - Total public expenditure - paid
• O 21 - No of cooperation projects per LAG
• O 22 - Number and type of project promoters (co-operation projects)
12
Leader related CMES target indicators
LAG level : • T 21 - Population
covered by LAG
Project level:
• T 1 Total public expenditure - paid
• T 23 - Jobs created
13
LDS-specific M&E elements
• LDS-specific evaluation questions linked to LDS-specific objectives
• LDS-specific indicators linked to LDS specific outputs (in case of LAG own measures), results and impacts
14
Intervention logic
Evaluation questions
Indicators
Evaluation methods
Data
Evaluation framework for LDS
Basis of evaluation
Focus of evaluation
Measurementtools
Attribution of impacts
Collection of evidence
Evaluation of Leader method – 7 principles • Bottom-up approach with decision power for LAGs• Local public – private partnership• Area – based local development strategies• Multi-sectorial design and implementation of strategies • Implementation of innovative approaches• Networking of local partnerships • Implementation of cooperation projects
Bottom up
• Informovanosť územia: Miestni ľudia a/alebo ich zástupcovia a organizácie sú informovaní pravidelne o aktivitách a rozhodnutiach partnerstva a majú možnosť poskytnúť spätnú väzbu
• Účasť na strategických rozhodnutiach o území: Miestni ľudia a/alebo ich zástupcovia a organizácie sú zapojení v strategických rozhodnutiach partnerstva pre dané územie a majú možnosť takéto rozhodnutia navrhnúť
• Účasť na aktivitách a projektoch partnerstva v území: Miestni ľudia a/alebo ich zástupcovia a organizácie majú pravidelne možnosť zúčastňovať sa projektov a aktivít partnerstva a majú možnosť takéto projekty a aktivity partnerstva navrhnúť
• Schopnosť pripraviť a realizovať vlastné projekty a aktivity: Miestni ľudia a/alebo ich zástupcovia, organizácie a podniky pripravujú a realizujú projekty/aktivity
• Využitie miestnych materiálov: Miestne materiály sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí
• Využitie miestnej infraštruktúry : Miestna infraštruktúra je predovšetkým využívaná implementácii projektov a aktivít partnerstva a miestnych ľudí
• Využitie miestnych verejných financií: Miestne verejné financie sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí
• Využitie miestnych súkromných financií: Miestne súkromné financie sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí
• Využitie miestnych podnikov: Miestne podniky sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí
Area-based strategies - territory
• Identita územia: Územie má definovanú svoju identitu a táto identita je rozpoznaná a akceptovaná občanmi územia, občania majú pocit hrdosti a vlastníctva voči svojmu územiu,
• Homogenita územia: územie je homogénne z pohľadu sociálnych štruktúr, ekonomických štruktúr a infraštruktúry,
• Zdroje územia: územie má dostatočné/kritické množstvo prírodných, materiálnych, ľudských, kultúrnych a ekonomických zdrojov pre rozvoj,
• Kritické množstvo subjektov schopných realizovať aktivity vrátane potenciálnych užívateľov intervencií: územie má dostatočné/kritické množstvo aktívnych subjektov a užívateľov pre stratégie/projekty/aktivity.
Multi-sector strategies
• Multi-sektorová stratégia: stratégia pokrýva riešenie problémov verejného a súkromného sektora, tiež minimálne dvoch a viacerých sektorov: primárny sektor: poľnohospodárstvo, lesníctvo, ťažba surovín, sekundárny sektor: spracovanie, terciárny sektor: obchod a služby vrátane sociálnych a kultúrnych služieb, kvartérny sektor: vzdelávanie, výskum.
• Multi-sektorové projekty: pripravené a realizované ako verejno-súkromné projekty, tiež projekty ktoré riešia problémy viacerých sektorov, minimálne dvoch,
• Multi-sektorové aktivity: aktivity pripravené a realizované minimálne dvoma subjektmi (jednotlivec, skupina, organizácia)
Networking
• Siete v území: v území partnerstva sa tvoria a existujú siete medzi jednotlivcami, skupinami a organizáciami, napríklad siete medzi školami, dobrovoľnými združenia alebo ľuďmi s rôznymi záujmami.
• Siete mimo územia: územie aktívne podporuje a realizuje sieťovanie s inými územiami, napríklad s inými partnerstvami v rámci NSK alebo mimo neho v SR ako aj mimo SR (napríklad účasť v národnej sieti rozvoja vidieka, v dobrovoľných združeniach a sieťach.
Cooperation
• Spolupráca v území: príprava a realizácia projektov spolupráce medzi jednotlivcami, skupinami a organizáciami v území, napríklad projekty, ktoré pripravia dva alebo vieré subjekty spolu, a/alebo ich realizujú viaceré subjekty.
• Spolupráca s inými územiami v kraji a v SR: Príprava a realizácia projektov spolupráce s s inými partnerstvami v kraji alebo v iných krajoch v SR,
• Spolupráca s inými územiami mimo SR: Príprava a realizácia projektov spolupráce s územiami mimo SR.
Innovation
• Inovatívnosť stratégie: partnerstvo zavádza inovatívne prvky do stratégie vrátane inovatívneho zamerania intervenčnej logiky stratégie a opatrení/aktivít, napríklad stratégia je zameraná na oblasti, ktoré zatiaľ neboli realizované (cestovný ruch, zapojenie mládeže a pod.)
• Inovatívnosť stratégie a projektov: partnerstvo podporuje inovatívne projekty a aktivity, napríklad projekty ktoré prinášajú nové riešenia pre staré problémy, ako je inovatívny prístup k pohybovým aktivitám, kultúre a pod.
• Inovatívnosť propagácie a publicity: partnerstvo zavádza inovatívne prístupy k publicite a informáciám, napríklad využíva netradičné spôsoby v propagácii územia, ako dni otvorených dverí, rôzne spoločenské podujatia pod záštitou územia, súťaže a pod.
• Inovatívnosť budovania kapacity: Partnerstvo zavádza inovatívne aktivity v oblasti budovania kapacít, napríklad alternatíve spôsoby organizácie školení a konferencií s využitím interaktívnych metód, malý grantový program a pod.
Partnerships
• Two aspects:• verejno-súkromného partnerstva alebo miestnej akčnej skupiny • manažement a inštitucionálne a administratívne zázemie
Areas of partnership assessment
Balanced structure
Decision making
Partnership in strategy
development
Partnership in strategy
implementation
Balanced structure of partnership - representativeness
Partnership is composed of representatives of public, private and civil sector and membership is well balanced
• Territory, • Institutions , • Social groups• Gender
Partnership also reflects equal representation of:
Decision making
Decision making bodies (presidium) are representing membership of partnership well
The structure/representativeness of decisive bodies (presidium) enables effective implementation of interventions/actions
Sufficient capacities for the identification, selection, and control of project implementation
Structure of partnership and its decision bodies enables effective monitoring and self-evaluation of interventions/actions
Decisions are effectively divided among partnership and its management
Strategy development and implementation
Strategy development and approval
• Involvement of partners• Passive • Active
• Professional ability
Strategy implementation
Areas of management assessment
Decision making
procedures
Daily management (office)
development
Publicity and communicatio
n
Monitoring and evaluation
Decision making procedures - projectsHigh independence of the partnership in the area of financial decisions for projects
• Helping potential beneficiaries in project design and implementation• Sufficient amount of potential projects beneficiaries exist in the territory • Project beneficaries have the capacity to co-finance and implement projects
The clear rules for preparation and implementation of projects
• are equally distributed in the territory• are innovative• have high added value for the territory
Management has enough human and professional capacities (or access to) for:
Projects are selected and approved in line with the strategy and its priorities
Approved projects
Management
Management is technically an financially well equipped for implementation of interventions/actions
Publicity and communication
Management is recognized in the territory and is well accessible for all
Public is informed sufficiently about rules in connection with projects
Management has ability to create contacts and networks among stakeholders within partnership and outside of it
Partnership in monitoring and self-evaluation
sufficient human
capacities
enough experiences
the system of on-going self-
evaluation
33
Thank you for your attention!
Top Related