3_Evaluation in Leader

Jela Tvrdonova 2015

5

2

Content

• Legal requirements

• Focus in Leader evaluation

• Subject of assessment • LDS intervention logic

• Leader method

3

What are legal requirements?

• LAGs • ensure monitoring and specific evaluation activities (1303/2013, Art 34.3 g) – LDS shall

contain description of M&E arrangements• Monitor the implementation of LDS • Carry on specific evaluation activities • provide MA and evaluators with information for RDP evaluation (1305/2013, Art. 71)

• MA.• describe the evaluation topics and activities to assess the contribution of LDS and

planned support for evaluation at LAG level (808/2014, Annex I, part 1, point 9), e.g. provision of guidance

• NRN • provide capacity building for LAG and disseminate M&E findings (1305/2013, Art.

54.3)

Focus of evaluation in Leader approach

Leader/CLLD

EAFRD/public funding

LDS/CLLDS

Method

RDP/OP

7 principlesAdded value

5

Assessment of LDS and its intervention logic • LDS as a management tool to address the LAG territory’s needs and

improve the situation• LDS covers several aspects:

• Analysis• Strategy and budget• Implementation • Management • Monitoring and evaluation • Reporting and communication

• The heart of the LDS is its intervention logic, which is also the ground for its evaluation

Assessment of LDS

• Purpose

• Effectiveness

• Efficiency

• Relevance

• Contribution to RDP/OP objectives

The base for the intervention logic design

Territory description

SWOT analysis Needs

assessment

7

Context situation analysed with SWOT

Expected impacts

Expected results

Expected outputs

Overall LDSObjective(s)

LDS specific objectives

LDS operational objectives

LDS measures Inputs

Needs of the LAG territory to be addressed with the LDS

LDS contribution to programme objectives and changes in LAG territory

Links to objectives of EFF, EFRD and ESF, financed

programmes if relevant

Links to RDPObjectives, RD priorities

and FA(mainly 6B) and othersif relevant

Elements of LDS intervention logic

8

M&E elements in LDS design and implementation

Evaluation questions

• help to (re)formulate objectives in order to be realistic, measurable and time-oriented

• focus evaluation and their answers help to demonstrate achievements

Indicators

• help to increase coherence, effectiveness and efficiency of intervention logic

• measure achievements

9

During LDS design

During LDS evaluation

M&E framework of the LDS

Linking evaluation elements to IL

Expected results

Expected outputs

LDS specific objectives

Measure objectives

LDS measures (EAFRD, EFRD, ESF, EFF)Inputs

Result indicators

Output indicators

Evaluation question

Evaluation question

Impact indicators

Overall LDS objective(s)

Expected impacts

10

CMES elements

Evaluation questions:• FA 6B:To what extent have RDP

interventions supported local development in rural areas?

• Evaluation questions related to FAs, which can be linked with LDS objectives

Indicators:• Leader related common indicators

• Common indicators linked to measures implemented via LDS and to FAs which can be linked with LDS objectives

11

Leader related CMES output indicators

LAG level• O 18 - Population covered by LAG

• O 19 - Number of LAGs

• No of LAGs using multi-fund

• No of LAGs implementing co-operation projects

• O 1 - Total public expenditure in preparation and implementation of cooperation activities of the LAG – paid

• O 1 - Total public expenditure for support for running costs and animation – paid

Project level • O 1 - Total public expenditure -

committed

• O 1 - Total public expenditure - paid

• O 21 - No of cooperation projects per LAG

• O 22 - Number and type of project promoters (co-operation projects)

12

Leader related CMES target indicators

LAG level : • T 21 - Population

covered by LAG

Project level:

• T 1 Total public expenditure - paid

• T 23 - Jobs created

13

LDS-specific M&E elements

• LDS-specific evaluation questions linked to LDS-specific objectives

• LDS-specific indicators linked to LDS specific outputs (in case of LAG own measures), results and impacts

14

Intervention logic

Evaluation questions

Indicators

Evaluation methods

Data

Evaluation framework for LDS

Basis of evaluation

Focus of evaluation

Measurementtools

Attribution of impacts

Collection of evidence

Evaluation of Leader method – 7 principles • Bottom-up approach with decision power for LAGs• Local public – private partnership• Area – based local development strategies• Multi-sectorial design and implementation of strategies • Implementation of innovative approaches• Networking of local partnerships • Implementation of cooperation projects

Bottom up

• Informovanosť územia: Miestni ľudia a/alebo ich zástupcovia a organizácie sú informovaní pravidelne o aktivitách a rozhodnutiach partnerstva a majú možnosť poskytnúť spätnú väzbu

• Účasť na strategických rozhodnutiach o území: Miestni ľudia a/alebo ich zástupcovia a organizácie sú zapojení v strategických rozhodnutiach partnerstva pre dané územie a majú možnosť takéto rozhodnutia navrhnúť

• Účasť na aktivitách a projektoch partnerstva v území: Miestni ľudia a/alebo ich zástupcovia a organizácie majú pravidelne možnosť zúčastňovať sa projektov a aktivít partnerstva a majú možnosť takéto projekty a aktivity partnerstva navrhnúť

• Schopnosť pripraviť a realizovať vlastné projekty a aktivity: Miestni ľudia a/alebo ich zástupcovia, organizácie a podniky pripravujú a realizujú projekty/aktivity

• Využitie miestnych materiálov: Miestne materiály sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí

• Využitie miestnej infraštruktúry : Miestna infraštruktúra je predovšetkým využívaná implementácii projektov a aktivít partnerstva a miestnych ľudí

• Využitie miestnych verejných financií: Miestne verejné financie sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí

• Využitie miestnych súkromných financií: Miestne súkromné financie sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí

• Využitie miestnych podnikov: Miestne podniky sú predovšetkým využívané v implementácii projektov a aktivít partnerstva a miestnych ľudí

Area-based strategies - territory

• Identita územia: Územie má definovanú svoju identitu a táto identita je rozpoznaná a akceptovaná občanmi územia, občania majú pocit hrdosti a vlastníctva voči svojmu územiu,

• Homogenita územia: územie je homogénne z pohľadu sociálnych štruktúr, ekonomických štruktúr a infraštruktúry,

• Zdroje územia: územie má dostatočné/kritické množstvo prírodných, materiálnych, ľudských, kultúrnych a ekonomických zdrojov pre rozvoj,

• Kritické množstvo subjektov schopných realizovať aktivity vrátane potenciálnych užívateľov intervencií: územie má dostatočné/kritické množstvo aktívnych subjektov a užívateľov pre stratégie/projekty/aktivity.

Multi-sector strategies

• Multi-sektorová stratégia: stratégia pokrýva riešenie problémov verejného a súkromného sektora, tiež minimálne dvoch a viacerých sektorov: primárny sektor: poľnohospodárstvo, lesníctvo, ťažba surovín, sekundárny sektor: spracovanie, terciárny sektor: obchod a služby vrátane sociálnych a kultúrnych služieb, kvartérny sektor: vzdelávanie, výskum.

• Multi-sektorové projekty: pripravené a realizované ako verejno-súkromné projekty, tiež projekty ktoré riešia problémy viacerých sektorov, minimálne dvoch,

• Multi-sektorové aktivity: aktivity pripravené a realizované minimálne dvoma subjektmi (jednotlivec, skupina, organizácia)

Networking

• Siete v území: v území partnerstva sa tvoria a existujú siete medzi jednotlivcami, skupinami a organizáciami, napríklad siete medzi školami, dobrovoľnými združenia alebo ľuďmi s rôznymi záujmami.

• Siete mimo územia: územie aktívne podporuje a realizuje sieťovanie s inými územiami, napríklad s inými partnerstvami v rámci NSK alebo mimo neho v SR ako aj mimo SR (napríklad účasť v národnej sieti rozvoja vidieka, v dobrovoľných združeniach a sieťach.

Cooperation

• Spolupráca v území: príprava a realizácia projektov spolupráce medzi jednotlivcami, skupinami a organizáciami v území, napríklad projekty, ktoré pripravia dva alebo vieré subjekty spolu, a/alebo ich realizujú viaceré subjekty.

• Spolupráca s inými územiami v kraji a v SR: Príprava a realizácia projektov spolupráce s s inými partnerstvami v kraji alebo v iných krajoch v SR,

• Spolupráca s inými územiami mimo SR: Príprava a realizácia projektov spolupráce s územiami mimo SR.

Innovation

• Inovatívnosť stratégie: partnerstvo zavádza inovatívne prvky do stratégie vrátane inovatívneho zamerania intervenčnej logiky stratégie a opatrení/aktivít, napríklad stratégia je zameraná na oblasti, ktoré zatiaľ neboli realizované (cestovný ruch, zapojenie mládeže a pod.)

• Inovatívnosť stratégie a projektov: partnerstvo podporuje inovatívne projekty a aktivity, napríklad projekty ktoré prinášajú nové riešenia pre staré problémy, ako je inovatívny prístup k pohybovým aktivitám, kultúre a pod.

• Inovatívnosť propagácie a publicity: partnerstvo zavádza inovatívne prístupy k publicite a informáciám, napríklad využíva netradičné spôsoby v propagácii územia, ako dni otvorených dverí, rôzne spoločenské podujatia pod záštitou územia, súťaže a pod.

• Inovatívnosť budovania kapacity: Partnerstvo zavádza inovatívne aktivity v oblasti budovania kapacít, napríklad alternatíve spôsoby organizácie školení a konferencií s využitím interaktívnych metód, malý grantový program a pod.

Partnerships

• Two aspects:• verejno-súkromného partnerstva alebo miestnej akčnej skupiny • manažement a inštitucionálne a administratívne zázemie

Areas of partnership assessment

Balanced structure

Decision making

Partnership in strategy

development

Partnership in strategy

implementation

Balanced structure of partnership - representativeness

Partnership is composed of representatives of public, private and civil sector and membership is well balanced

• Territory, • Institutions , • Social groups• Gender

Partnership also reflects equal representation of:

Decision making

Decision making bodies (presidium) are representing membership of partnership well

The structure/representativeness of decisive bodies (presidium) enables effective implementation of interventions/actions

Sufficient capacities for the identification, selection, and control of project implementation

Structure of partnership and its decision bodies enables effective monitoring and self-evaluation of interventions/actions

Decisions are effectively divided among partnership and its management

Strategy development and implementation

Strategy development and approval

• Involvement of partners• Passive • Active

• Professional ability

Strategy implementation

Areas of management assessment

Decision making

procedures

Daily management (office)

development

Publicity and communicatio

n

Monitoring and evaluation

Decision making procedures - projectsHigh independence of the partnership in the area of financial decisions for projects

• Helping potential beneficiaries in project design and implementation• Sufficient amount of potential projects beneficiaries exist in the territory • Project beneficaries have the capacity to co-finance and implement projects

The clear rules for preparation and implementation of projects

• are equally distributed in the territory• are innovative• have high added value for the territory

Management has enough human and professional capacities (or access to) for:

Projects are selected and approved in line with the strategy and its priorities

Approved projects

Management

Management is technically an financially well equipped for implementation of interventions/actions

Publicity and communication

Management is recognized in the territory and is well accessible for all

Public is informed sufficiently about rules in connection with projects

Management has ability to create contacts and networks among stakeholders within partnership and outside of it

Partnership in monitoring and self-evaluation

sufficient human

capacities

enough experiences

the system of on-going self-

evaluation

33

Thank you for your attention!