European Crime Prevention Network - EUCPNeucpn.org/sites/default/files/document/files/... ·...

European Crime Prevention Network

EUCPN Toolbox Series

Nr. 3

Praktične smjernice za evaluaciju inicijativa

za prevenciju kriminala

In the framework of the project ‘Towards a European Centre of Expertise on Crime

Prevention’ - EUCPN Secretariat, June 2013, Brussels

With the financial support of the Prevention of and Fight against Crime Programme of the European Union

European Commission – Directorate-General Home Affairs

Dio 2 – Praktične smjernice u evaluaciji inicijativa u prevenciji kriminaliteta 2

DIO 2 Praktične smjernice za evaluaciju inicijativa za prevenciju

kriminala

Uvod

Drugi dio ove skupine programskih alata ima za cilj pružiti prijateljski pristup procjeni za

pojedince koji rade na području sprečavanja kriminala1. On je namijenjen za ljude koji imaju

na umu minimalno iskustvo u procjeni. Kako bi razvili korisni alat za „ne-stručnjake“ u

procjeni, dvije radionice su organizirane, u Dublinu i Bruxellesu-koje su spojile zajedno

kreatore politike praktičare, kao i akademske stručnjake na tu temu (vidi listu sudionika,

str. 43). Ovaj priručnik je zasnovan na diskusijama, prijedlozima i preporukama koje su

izrečene za vrijeme ove dvije radionice. On sadrži niz praktičnih koraka, natuknica, primjera

i radnih listova koji se mogu koristiti kad se planira, vrši i koristi evaluacija2.

1 Detaljnija saznanja o raznim temama koja su pokrivena ovim priručnikom se mogu naći u dio 1 ove skupine alata

koja sadrži tematski dokument.

2 Obratite pozornost da analiza troškova nije pokrivena sa ovim priručnikom. Za praktični vodič o analizi troškova

projekata o sprečavanju kriminala, vidi nedavnu publikaciju dostavljenu od strane danskog Vijeća za sprečavanje

kriminala: Jacobsen (2013). Praktični priručnik za analizu troškova u naporima u sprečavanju kriminala.

Kopenhagen: Centar za gospodarsko i poslovno istraživanje.


Sadržaji

Zašto evaluirati? ......................................................................................................... 5

Što je evaluacija? ....................................................................................................... 6

Neki „mitovi“ o evaluaciji .......................................................................................... 6

Razni tipovi evaluacije ................................................................................................. 7

Početak ovog priručnika ............................................................................................... 8

Prvi odjeljak : Planiranje vaše evaluacije ....................................................................... 9

A: Postavljanje vaših evaluacija ................................................................................. 9

1. Razumijevanje onoga što želite postići .............................................................. 9

2. Uključivanje dionika ...................................................................................... 10

3. Proračun ...................................................................................................... 10

4. Tko treba provesti evaluaciju? ........................................................................ 11

5. Uspostavljanje evaluacijskog tima .................................................................. 12

6. Savjetodavni odbor ....................................................................................... 13

B: Razvoj vaše evaluacije ....................................................................................... 13

1. Provođenje pozadinskog istraživanja ............................................................... 13

2. Razrada pitanja o procjeni ............................................................................. 17

3. vrste informacija .......................................................................................... 18

4. Razvoj pokazatelja ........................................................................................ 21

5. Odabir plana evaluacije za mjerenje učinka ...................................................... 21

„Pre-post“ plan ................................................................................................ 22

Intervencija i kontrolna skupina (Kvazi-eksperimentalni plan) ............................... 22

Randomizirana kontrolirana studija (Eksperimentalni plan) ................................... 23

6. Izraditi plan evaluacije .................................................................................. 24

Drugi odjeljak: Prikupljanje i analiza podataka ............................................................. 25

A: Prikupljanje podataka ......................................................................................... 25

1. Kvantitativni pristupi ..................................................................................... 26

Anketno istraživanje......................................................................................... 26

Standardizirana psihološka procjena i procjena stavova ........................................ 27

2. Kvalitativni pristupi ....................................................................................... 27

Dubinski intervju ............................................................................................. 27

Fokus grupe .................................................................................................... 28

Promatranje .................................................................................................... 29

Pregled programske dokumentacije .................................................................... 29

Druge metode ................................................................................................. 30

B: Analiza i interpretacija podataka .......................................................................... 30

1. Kvantitativni podaci ...................................................................................... 30


Pročišćavanje podataka .................................................................................... 30

Analiza podataka ............................................................................................. 31

Interpretacija podataka .................................................................................... 31

2. Kvalitativni podaci ........................................................................................ 32

3. Razgovor o dobivenim rezultatima sa zainteresiranim stranama ......................... 33

Odjeljak 3: Izvještavanje i predstavljanje vaših evaluacijskih saznanja ............................ 34

1. Struktura konačnog izvješća .......................................................................... 34

2. Predstavljanje vaših rezultata......................................................................... 35

Dodaci: Radni listovi.................................................................................................. 37

Radni list 1.A.1 – Utvrđivanje relevantnih sudionika ................................................... 37

Radni list 1.A.2 – Proračun ...................................................................................... 37

Radni list 1.A.3 – Kontrolni popis dokumentacije za nadmetanje .................................. 37

Radni list 1.B.1 – Opis programa ............................................................................. 38

Radni list 1.B.2a – Redoslijed aktivnosti i ishoda ........................................................ 39

Radni list 1.B.2b – Pregled inputa, aktivnosti, outputa i ishoda .................................... 39

Radni list 1.B.3 – Ranija istraživanja/evaluacije ......................................................... 40

Radni list 1.B.4a – Pitanja za evaluaciju .................................................................... 40

Radni list 1.B.4b – Povezivanje pitanja za evaluaciju s podacima ................................. 40

Radni list 1.B.5a – Evaluacija procesa....................................................................... 41

Radni list 1.B.5a – Evaluacija procesa....................................................................... 41

Riječi zahvale ........................................................................................................... 42

Stručnjaci koji su sudjelovali: ..................................................................................... 42


Zašto evaluirati?

„Nema sigurno ničeg besmislenijeg i na kraju, dosadnijeg od ponavljanja istih grešaka stalno

i stalno ili, obrnuto, ne uspjeti iskoristiti najbolje uspješne tehnike zbog pronalaženja dali je

to radilo ili zašto je to odbačeno kao odvlačenje od svježih aktivnosti“3

Sprečavanje kriminala je vrlo izazovno polje. Oni koji rade na tom području su odgovorni za

bavljenje vrlo ozbiljnim socijalnim temama dok često rade sa ograničenim resursima. To

može značiti da postoji malo vremena koje je dostupno da se reflektira na učinjen rad ili dali

programi proizvode namijenjene rezultate. Ali, postoji broj vrlo pozitivnih razloga zašto oni

koji su uključeni i u sprečavanje kriminala trebaju evaluirati svoj rad.

• Evaluacije mogu pružiti korisnu mogućnost da se bolje razumije dali i/ili kako su

programi postigli svoj cilj kratkoročno, srednjoročno ili dugoročno.

• Evaluacije pomažu identificirati svaki problem koji može postojati unutar programa.

• Evaluacije mogu poboljšati djelotvornost i efikasnost pokazujući kako se resursi mogu

najbolje koristiti.

• Evaluacije mogu pružiti korisno saznanje za buduće planiranje programa.

• Evaluacije poboljšavaju programsku cjelokupnu kredibilnost kad one pokazuju da

program radi.

• Evaluacije mogu pomoći programskom osoblju da bolje prepoznaju da njihov rad

pravi razlike.

• Evaluacije mogu pomoći drugim grupama zainteresiranim u utvrđivanju sličnih

programa pružajući vrijedne lekcije o tome kako rade intervencije i kako se one mogu

poboljšati.

3 Dixon, B. (2002: 97) Nije raketna znanost: evaluacija sprečavanja kriminala. U Pelser, E. (ed): Partnerstva u

sprečavanju kriminala: lekcije iz prakse. Institut za sigurnosne studije, Pretorija, glava 8.

Nemajte straha da evaluirate i nemajte straha da naučite nešto od onoga

što ne djeluje!

Evaluacija se ne mora gledati kao nešto negativno što jednostavno ističe probleme.

Umjesto toga, evaluacija treba pružiti mogućnost za učenje onoga što djeluje dobro

dok također predlaže promjene u područjima koja se mogu poboljšati.

Ne bojte se evaluirati (dio) programa za koje imate sumnje. Iako općenito ljudi vole

da pokazuju i čuju o „uspješnim pričama“, čak je korisnije i važnije učiti od onoga

što ne djeluje!


Što evaluacija programa NIJE

Nadzor je sistemsko i rutinsko prikupljanje

saznanja za vrijeme provedbe vašeg programa

kako bi se izmjerilo njegovo udovoljenje

originalnom planu (npr. broj osoba koje su

uspješno završile probacijski program u zadnjih 6

mjeseci). Ali, ako planirate svoju evaluaciju u fazi

planiranja vašeg programa vi trebate razmotriti

uspostavljanje sistema nadzora u prikupljanju

podataka koja se kasnije mogu unositi u proces

evaluacije.

Revizija procjenjuje kako dobro se program vodi,

dali se resursi djelotvorno koriste, i dali se

pravila, odredbe, i procesi korektno prate (UNEG,

2005).

Inspekcija je općeniti pregled koji traži

identificiranje ranjivih područja i kvarova i

predlaganje korektivnih radnji (UNEG, 2005).

Procjena troškova uspoređuje monetarne troškove

programa u smislu financijskih i ljudskih resursa,

vremenskog investiranja, materijala i

infrastrukture,… To se obično gleda od strane

donosioca odluke kako bi se odlučilo gdje staviti

deficitarne resurse. Kako bi se pokazala vrijednost

programa, ponekad je potrebno gledati troškove.

(Bilješka: lista nije potpuna)

Što je evaluacija?4

Jednostavno rečeno, evaluacija je korisni način da se razmišlja o radu koji je izvršen u

programu, bilo da su željeni rezultati postignuti ili ne, i zašto (ne). Evaluacije su vrlo

praktične aktivnosti. One imaju za cilj prikupiti podatke koji su namijenjeni za procjenu

programa na sistematski način.

Razni pristupi se mogu koristiti (npr. pregledi, intervjui, itd. ovisno o tome što se

pregledava), ali saznanje se na kraju koristi da se pruži povratna informacija kako bi se

pomoglo u donošenju odluka o programu.

Idealno, planiranje i evaluacija trebaju biti izvršeni u isto vrijeme kad i planirana provedba

programa. Izgradnjom evaluacije u vaš program od početka vi možete uspostaviti rutinske

načine nadzora provedbe programa i rezultata. Te mjere će biti vrlo koristan izvor

informacija osobito za vrijeme

prikupljanja podataka i faze analize

evaluacije.

Kako će ovaj vodič pokazati, postoje razni

načini procjene programa (vidi dolje).

Ali, evaluacija se često brka sa drugim

tipovima procjene programa što može

dovesti do krivih zaključaka. To uključuje,

između ostalog, druge nadzore programa

i revizije.

Neki „mitovi“ o evaluaciji

Iako se sve više i više prepoznaje da su

oblici evaluacije važan dio programa,

postoji još uvijek, i usprkos svemu, neka

nesklonost da se poduzme evaluacija.

Češće nego ne, ova nesklonost potječe od

raznih „mitova“ o poteškoćama povezanih

sa evaluacijom. Da navedemo samo

nekoliko5:

Evaluacija je preteška

Iako evaluacija traži minimum niza

vještina i to može biti zahtjevan rad, to

nije „raketna znanost“. Zapamtite da ste

vi stručnjak za vaš vlastiti program, i da

4 vidi također : „Tip sheet 4: Nadzor i evaluacija vašeg projekta. Kako mjeriti napredak. „National Community Crime

Prevention Programme, Attorney-General's Department, Canberra, Australia-

http:/www.crimeprevention.gov.au/NationalCommunityCrimePreventionProgramme/Documents/Tip_Sheet_4pdf. 5 Vidi također: Dixon, B. (2002: 92-98) To nije raketna znanost: evaluacija sprečavanja kriminala. U Pelser, E.

(izdanje): Partnerstva u sprečavanja kriminala: Lekcije iz prakse: Institut za sigurnosne studije, Pretoria-poglavlje 8

http://www.crimeprevention.gov.au/NationalCommunityCrimePreventionProgramme/Documents/Tip_Sheet_4pdf


Kako štedjeti novac?

Umjesto pokušavanja da se vrši malo evaluacije od svega, bolje je izabrati ključni

broj projekata i procijeniti ih pravilno.

Korištenje, na primjer, studenata sa fakulteta (usko rukovođeni) ili kolega iz drugih

odjela koji imaju vještine ali su jeftiniji nego vanjski procjenitelji i koji nisu ovisni o

rezultatima kao što vanjski procjenitelji mogu biti.

vi vjerojatno prikupljate mnogo potrebnih podataka. Ovaj priručnik želi da vam pomogne

da poduzmete korak dalje i da radite sistematičnije.

Evaluacija je preskupa

Iako nesumnjivo, dobra evaluacija koja se suprotstavlja svim (zlatnim) standardima će biti

skupa, dugoročno znajući što djeluje a što ne, će značiti dodatnu štednju za svakoga. Važite

dali vi trebate vršiti evaluaciju „koja je mnogo bolja nego „dosta dobro“ (Dixon, 2002:97).

Evaluacija je obeshrabrujuća

Evaluacija se može ponekad vidjeti kao prijetnja postojanju programa jer ona može

naglasiti tokove i nedjelotvornost koja vodi do zaključka da ništa ne radi. Ali, cjelokupni

zaključak evaluacije će skoro sigurno biti da ništa ne djeluje ali „da neke stvari djeluju u

neko vrijeme na nekim mjestima, pod nekim uvjetima“.

Razni tipovi evaluacije6

Nema jedinstvenog puta za vršenje evaluacije. Metoda koja je najbolja za vas će ovisiti o

vašim ciljevima, vašim okolnostima i vašem budžetu. Kompleksnije evaluacije se mogu

voditi od strane vanjskih timova procjenitelja, obično od strane fakulteta ili istraživačkog

instituta. Jednostavnije, evaluacije manjeg omjera se mogu voditi djelotvorno od strane

projektnog osoblja odgovornog za vođenje programa. Dok se u nekim instancama

kombinacija dva pristupa može koristiti.

Obično, razlika se pravi između procesa evaluacije i rezultata evaluacije. Proces evaluacije

pruža saznanje o provedbi vašeg programa. On će vam reći dali je vaš program proveden

ili ne kako je planirano, dali ili ne postoje poteškoće ili barijere, u kojim područjima i pod

kojim okolnostima program radi i dali postoje ili ne nekakve neočekivane (pozitivne ili

negativne) nuspojave.

Evaluacija rezultata ili utjecaja pruža saznanje o djelotvornosti vašeg programa. Ona će

pokazati dali vaš program vodi ili ne do ciljanih rezultata i do koje mjere. Bez evaluacije

procesa, ipak, vi nećete biti u mogućnosti da kažete dali su obuhvaćene promjene povezane

sa (ne)adekvatnom provedbom vašeg programa.

Važno je skrenuti pozornost da će vam i evaluacija procesa i rezultata pružiti specifično

saznanje o vašem programu i da se oboje može voditi simultano za vrijeme i nakon

provedbe programa. U slučaju da vaš program ne poluči očekivane rezultate, vaša

6 vidi također dio 1: Tematski dokument, str. 7-10 za detaljnija saznanja o evaluaciji procesa i rezultata.


evaluacija procesa vam može pomoći da razlikujete dali je bila „greška“ u temeljnoj logici iza

programa i dali je nešto krenulo krivo za vrijeme provedbe vašeg programa (ili oboje).

Početak ovog priručnika

Ako razmišljate o tome ili su od vas tražili da vršite evaluaciju, vi možete već imati neke

osnovne ideje što želite postići. Na primjer, vi želite znati dali vaš program za sprečavane

kriminala djeluje kako je planirano. Alternativno, vi možete biti više zainteresirani za

razumijevanje dali je vaš program postigao željene ciljeve i možda neke kombinacije ovoga

dvoje. Ako ste vi zainteresirani za bilo koji pristup, ovaj priručnik će vam pomoći u

izvršavanju vaših evaluacijskih ciljeva poduzimajući tri glavne faze evaluacijskog procesa.

Odjeljak 1 će se fokusirati na planiranju i razvoju vaše evaluacije i pregledat će takve teme

kao što su:

Biti jasan u cilju vaše evaluacije

Uključivanje zainteresiranih strana

Budžet

Unutarnjoj nasuprot vanjskoj evaluaciji

Uspostavljanje evaluacijskog tima i savjetodavnog panela

Vođenje pozadinskih istraživanja i razvoj evaluacijskih pitanja

Izbor evaluacijskog dizajna

Razvoj evaluacijskog plana

Odjeljak 2 će istražiti praktičnosti prikupljanja i analiziranje podataka koje trebate kako bi

odgovorili na vaša evaluacijska pitanja i pregledat će:

Kvantitativne i kvalitativne pristupe prikupljanju podataka i

Analiziranje podataka koje ste prikupili i interpretiranje rezultata

Odjeljak 3 će pružiti saznanje o stupnju izvještavanja vaše evaluacije i pregledat će kako:

Strukturirati vaše konačno evaluacijsko izvješće i

Dostaviti i priopćiti rezultate vaše evaluacije.

Evaluacija i sudjelovanje

Bez obzira na pristup koji imate prema evaluaciji svakako uključite sve relevantne

zainteresirane strane kroz cijeli tijek evaluacije (vidi Odjeljak 1.A.2 koji uključuje

zainteresirane strane, str. 10). Evaluacije koje se vide kao nametnute izvana su

manje vjerojatno uspješnije.


Prvi odjeljak : Planiranje vaše evaluacije

A: Postavljanje vaših evaluacija

1. Razumijevanje onoga što želite postići

Prvi korak u provođenju uspješne evaluaciju uključuje razvijanje dobrog razumijevanja

onoga što želite postići (ili onoga što se od vas traži). To se može činiti tako očito da nije

vrijedno spomena. Međutim, znati što želite od evaluacije je od vitalne važnosti jer će to

fokusirati cijeli proces evaluacije te će vam u konačnici pomoći da odlučite da li je

provođenje evaluacije izvediva ideja u vašem slučaju.

Vaše početne ideje o obavljanju evaluacije će se i dalje razvijati tijekom faze planiranja

(vidjeti B: Razvoj vaše evaluacije, str.13). Međutim, još uvijek je važno imati dobro

razumijevanje o tome što želite od samog početka.

Prilikom razvijanja vaših početnih ideja o evaluaciji razmislite o sljedećem:

• Koji su uvjeti za financijere ?

• Tko bi mogao biti uključen ?

• Koliki proračun je na raspolaganju ?

• Što bi moglo biti uključeno u evaluaciju (intervjui, statistička analiza , itd.) ?

• Koje su stručnosti i vještine potrebne ?

• Koji je vremenski okvir?

• Kako bi potencijalni rezultati evaluacije mogli upotrijebiti za daljnji razvoj vašeg

programa

• ...

Također je dobra ideja napraviti preliminarno čitanje kako bi se upoznali sa nekima od

pitanja sa kojima se želite baviti tijekom evaluacije. Detaljnije informacije o pozadini

istraživanja će se razmatrati kasnije u fazi razvoja (vidjeti B.1, p.13).

Budite jasni, jednostavni i određeni!

Na jasan, jednostavan i određen način izrazite cjelokupnu svrhu vaše evaluacije.

Pokušajte izbjegavati nejasne izjave koje mogu sadržavati višestruke ideje.

Na primjer, da li programi diverzije za mlade prijestupnike funkcioniraju? U

odnosu na to, da li programi za mlade prijestupnike smanjuju recidivizam kod onih

koji odlaze iz programa u vremenskom razdoblju od dvije godine.

Ili, koje su prednosti i slabosti i područja koja zahtijevaju poboljšanje u isporuci

sadašnjih programa za mlade prijestupnike?


2. Uključivanje dionika

Dio procesa izrade vaših početnih ideja treba uključivati sudjelovanje dionika. Dionici su

pojedinci ili organizacije koji su uložili u vaš program, koji su zainteresirani ili na koje

utječu rezultati vašeg programa ili koji mogu vršiti utjecaj na vaš program. Stoga je

uključivanje dionika bitno da bi vaša evaluacija bila uspješna . Dobre evaluacije nisu

nametnute izvana, već uključuju sudjelovanje svih oni koji imaju udjela u programu koji se

vrednuje od početnim fazama razvoja do njegova završetka. Dionici mogu uključivati:

• zaposlenici zaduženi za program (npr.,direktori i osobe na prvim linijama)

• oni koji koriste program ili na koje program utječe (tj. ciljne skupine )

• korisnici nalaza evaluacije

(npr.,financijeri)

• osobe koje žive u lokalnoj

zajednici (npr., vođe zajednice )

• osobe s iskustvom u području koji

nisu izravno uključeni u projekt (npr.

,akademici, inspektori, tvorci politike,

itd. )

• drugi (npr.,profesionalna udruženja,

šira javnost, mediji, kritičari

programa, itd.)

Razlikovati će se u kojoj mjeri će ovi dionici

biti uključeni u procjenu. Neki mogu biti

uključeni u planiranje i implementaciju a

može biti dovoljno da jednostavno redovito

ažuriraju druge o napretku vašeg

programa.

Bez obzira na razinu njihove uključenosti, razumijevanja gledišta i interesa svakog od tih

skupina će biti korisno u svim fazama evaluacije. Dionici mogu imati temeljno poznavanje

programa. Raspravljanje s njima će pomoći kako bi evaluacija bila snažnija. To vam

također može pomoći da identificirate relevantna evaluacijska pitanja i važnije, da budete u

mogućnosti da nađete odgovore na takva pitanja.

3. Proračun

Važan čimbenik u odlučivanju o tome kako će evaluacija biti provedena je veličina vašeg

raspoloživog proračuna. Ovisno o iznosu sredstava koje imate na raspolaganju, možda ćete

htjeti angažirati vanjskog procjenitelja koji će isplanirati evaluaciju ili zaposliti istraživača

kako bi analizirao podatke ili intervjuirao korisnike usluga. Veći proračun će vam također

omogućiti da provedete složeniju evaluaciju uz pomoć velikog raspona izvora podataka.

Alternativno, ako su sredstva ograničena, možda ćete htjeti provesti internu evaluaciju.

Unatoč tome, morat ćete biti svjesni troškova povezanih sa svakim dijelom evaluacije od

faze projektiranja do objavljivanja završnog izvješća.

Kako odabrati dionike?

Može biti teško odabrati relevantne dioničare.

Kada razmišljate o tome koga uključiti u vašu

evaluaciju zapitajte se:

Hoće li oni povećati

kvalitetu/pouzdanost evaluacije?

Jesu li oni uključeni u svakodnevno

vođenje programa?

Mogu li oni implementirati, zagovarati ili

financirati bilo kakve promjene koje

izvještaj o evaluaciji može predložiti?

Jesu li oni pod utjecajem programa (tj.

ciljnih skupina)?

(Vidjeti radni list 1.A.1, str. 37)


4. Tko treba provesti evaluaciju?

Kada imate dobro razumijevanje:

• onoga što želite postići,

• što će to vjerojatno uključivati i

• koliko ćete morati potrošiti,

tada možete razmisliti o tome da li bi evaluaciju najbolje bilo provesti interno ili ju ponuditi

vanjskim procjeniteljima.

U principu, ako je evaluacija zatražena kako bi se opravdao nastavak programa (tj. da li

program ostvaruje svoje ciljeve i da li to jamči daljnje financiranje?), vanjski procjenitelji se

obično angažiraju kako bi se izbjegao mogući sukob interesa te kako bi se jamčila

objektivnost. Međutim, ako je evaluacija usmjerena na učenje vezano za unaprjeđivanje

postojećih radnih praksi ili se utvrđivanje kako se programi implementiraju, ovisno o

njihovoj složenosti, takve evaluacije se mogu provesti interno.

Međutim, kombinacija interne evaluacije uz sudjelovanje vanjskih procjenitelja bi mogla biti

najprikladnija.

Tablica 1. u nastavku daje pregled prednosti i nedostataka raznih pristupa.7

Vrsta evaluacije Prednosti Nedostaci

Interna evaluacija

(Evaluacija se provodi od

strane onih koji pokreću

program)

Manji trošak Mogući nedostatak potrebne

stručnosti za provođenje

razgovora ili analize

podataka

Lakši pristup podacima i

osobama

Možda nije objektivna.

Više znanja o programu. Možda nije pogodna da

opravda daljnje financiranje.

Pomaže organizacijama da

bolje razumiju same sebe i

ono čime se bave.

Od zaposlenika zaduženih za

program se može zahtijevati

da provode evaluaciju

umjesto da rade svoj

uobičajeni posao.

7 Vidjeti također: Australian Institute of Criminology (2006). Tip sheet 3: External and/or internal evaluation. Deciding what works best for your organisation. [Developed for the national Community Crime Prevention Programme]. Canberra: Attorney-General's Department. http://www.crimeprevention.gov.au//NationalCommunityCrimePreventionProgramme/Documents/Tip_Sheet_3.pdf

Plan proračuna

Kako bi se pratili potencijalni troškovi, stvorite plan proračuna. Prođite kroz

svaku fazu procesa evaluacije i utvrdite troškove.

(Vidjeti radni list 1.A.2, str. 37).

http://www.crimeprevention.gov.au/NationalCommunityCrimePreventionProgramme/Documents/Tip_Sheet_3.pdf


Vanjska evaluacija

(Evaluacija se provodi od

strane vanjskih stručnjaka

često sa sveučilišta ili

istraživačkog instituta)

Stručne osobe sa iskustvom i

znanjem u provođenju

evaluacije na visokoj razini.

Veći troškovi.

Smatra se najobjektivnijim

tipom evaluacije.

Nema direktnog iskustva u

radu sa programom te

možda postoji manje

razumijevanja.

Dobro pokazuje kako su

programi učinkoviti u

postizanju svojih ciljeva.

Ako ste se odlučili da se evaluacija obavlja izvana morat ćete napraviti natječajnu

dokumentaciju s detaljima o očekivanom poslu, vremenskim okvirima, outputima itd (vidjeti

radni list 1.A.3, str. 37 za kontrolni popis onoga što takav dokument može sadržavati).

Morate pažljivo razmisliti o ulozi, odgovornostima i zadacima vanjskih procjenitelja. Budite

svjesni da oni imaju oprečne prioritete izvan okvira evaluacije, npr., objavljivanje

(akademskih) članaka.

5. Uspostavljanje evaluacijskog tima

Kad ste odlučili tko će imati glavnu odgovornost za provođenje evaluacije, trebate razmisliti

o uspostavljanju evaluacijskog tima.

Evaluacijski tim će bolje osigurati da se vaša evaluacija odvija bez poteškoća s obzirom na

to da će se odgovornost za implementaciju evaluacije dati određenoj grupi pojedinaca od

kojih će svaki imati određeni skup zadataka. To će uključivati :

• Ukupna odgovornost za provedbu evaluacije

• Razvijanje određenih ciljeva evaluacije

• Planiranje i izrada proračuna vezano za evaluaciju

Složene evaluacije

Ako namjeravate provesti složenu evaluaciju koja uključuje različite metode i

veliki broj sudionika poželjno je zaposliti vanjske procjenitelje s relevantnom

tehničkom stručnošću i iskustvom. To će bolje osigurati da evaluacija bude

dovoljno snažna i da su izvučeni samo zaključci potkrijepljeni dostupnim

podacima.

(Vidjeti također Dio 2 - Stavak B.1, str.31 za više informacija o valjanosti i

pouzdanosti evaluacije)

Napravite jasne sporazume s vanjskim procjeniteljima

Definirajte isporuke (tj. outpute) koje očekujete te od samog početka budite

jasni o vlasništvu nad prikupljenim podacima i izvješću o konačnoj evaluaciji.

Postavite jasne rokove!


• Prikupljanje i analiza podataka

• Izvještaji o rezultatima

• Rad s konzultantima, dionicima i drugima.

(Vidjeti B.6, str.24 za više informacija o tome što plan evaluacije treba sadržavati)

Ovisno o tome da li se evaluacija provodi interno ili izvana (ili je neka kombinacija ova dva

pristupa - vidjeti Tablicu 1 gore), evaluacijski tim se može sastojati od internog osoblja

zaduženog za program, vanjskih dionika i eventualno istraživača konzultanata. Može biti

dobra ideja da jedna ili više osoba nadgleda napredovanje evaluacijskog tima i prati rokove

i outpute, i upravljanje problemima ako se pojave.

6. Savjetodavni odbor

Uz evaluacijski tim, također je dobra ideja uspostaviti savjetodavni odbor kako bi se

omogućio vanjski nadzor za evaluaciju. On će se sastojati od dionika koji ne sudjeluju

izravno u provođenju evaluacije, ali koji su stručni u tom području. Takve osobe mogu

uključivati:

• Lokalne, regionalne ili nacionalne (akademske) stručnjake

• Predstavnike policije

• Relevantne državne agencije

• ...

B: Razvoj vaše evaluacije

Nakon što ste razvili vaše početne ideje o evaluaciji vašeg programa i odlučili tko će imati

glavnu odgovornost za provođenje evaluacije, sada možete detaljnije početi planirati svoju

evaluaciju.

1. Provođenje pozadinskog istraživanja

Važan dio daljnjeg razvoja vaše evaluacije uključuje podrobnije razumijevanje programa koji

se procjenjuje i prethodnih istraživanja i evaluacija koje su provedene na području

relevantnom za vaš program prevencije kriminala.

Razumijevanje programa

Vezano za pozadinsko istraživanje o programu koji se procjenjuje, važno je, između ostalog

razumjeti:

• Koji su ciljevi programa? / Što je program trebao postići?

• Kako je program to trebao postići?

• Koje aktivnosti će vam pomoći u postizanju tih ciljeva?

• ...


Opis programa

Pozadinska dokumentacija vezana za program (misija i vizija, strateški

plan,...) može biti koristan izvor informacija u tom pogledu. Također može biti

dobra ideja razgovarati sa zaposlenicima zaduženima za program.

Budite što iscrpniji i detaljniji kada opisujete program koji ocjenjujete. To će

vam pomoći da usredotočite svoj program evaluacije i da kasnije razvijete

prava pitanja vezana za evaluaciju.

(Vidjeti radni list 1.B.1, str. 38 za popis - Izvor: Američko ministarstvo

zdravstva i socijalnih usluga, 2011. Uvod u program evaluacije za zdravstvene

programe: samostalni vodič).

Važno je opisati svaki korak programa u smislu teorije i mehanizama u pozadini aktivnosti

uspostavljenih u programu. Zašto vi (ili voditelji programa) očekujete da će ove aktivnosti

funkcionirati? Kako će te aktivnosti ostvariti očekivani ishod?

Iako postoji mnogo načina na koji bi se mogao opisati vaš program, logički model može

biti vrlo koristan alat u razmišljanju i odgovaranju na ova pitanja.8

U logičkom modelu odnos između aktivnosti programa i planiranih ishoda prikazuje temeljnu

logiku u pozadini programa. Sortiranjem aktivnosti i ishoda i crtanjem strelica kako bi se

pokazala uzročna veza između aktivnosti i/ili kratkoročni, srednjoročni i dugoročni rezultati,

logički model pomaže vizualizirati očekivani 'logični poredak' vašeg programa.

Na primjer, ako je planirani ishod programa spriječiti i umanjiti provale u

domove, postoji nekoliko aktivnosti - uzročno povezanih – koje se mogu

poduzeti kako bi se postigao ovaj cilj. Jedan od pristupa bi moglo biti

pokretanje kampanje za prevenciju diljem zemlje kako bi se podigla svijest javnosti.

Jednostavno navođenje aktivnosti i namijenjenih ishoda - koje ćete lako pronaći ako

napravite detaljan opis programa kao što je spomenuto - logičnim redoslijedom, odnosno

"mi prvo moramo napraviti ovo prije nego što možemo napredovati na to", poduzimate prvi

korak prema stvaranju logičkog modela (vidjeti primjer u tablici 2 – na temelju tablice,

str.29 u Američko ministarstvo zdravstva i socijalnih usluga, 2011. Uvod u program

evaluacije za zdravstvene programe: samostalni vodič).

8 Također vidjeti: Mayne, J. (2008). Analiza doprinosa: pristup istraživanju uzroka i posljedica . Ilac Brief 16, 4p.

http://www.cgiar-ilac.org/fi les/ILAC_Brief16_Contribution_Analysis_0.pdf

Nepovoljni ishodi

Budite svjesni mogućih neželjenih učinaka ili nepovoljnih ishoda, npr.,

učinke istiskivanja (razmještanja) u području intervencija ili povećanog

straha od kriminala vezano za informativne Intervencije koje vode do veće

svijesti o kriminalu, itd.

http://www.cgiar-ilac.org/fi%20les/ILAC_Brief16_Contribution_Analysis_0.pdf


Primjer-prevencija provala u domove

Početne aktivnosti Kasnije aktivnosti Početni ishodi Kasniji ishodi

Identificirati ciljne

skupine.

Razviti

komunikacijski plan

+alate.

Više znanja o tome

kako spriječiti

provale.

Više mjera opreza

poduzeto u

obiteljskim

domovima kako bi

se spriječilo provale.

Procjena osjetljivih

područja.

Organizirati tiskovnu

konferenciju.

Više izvještavanja o

sumnjivom

ponašanju u

susjedstvu.

Smanjeni broj

provala.

Prikupljanje znanja o

provalama.

Pokrenuti

informativnu

kampanju.

Izmjena dobrih

praksi sa ostalim

područjima.

... ... ... ...

Tablica 2: Primjer sortiranja aktivnosti i ishoda (Također vidjeti radni list 1.B.2 a, str.39)

Osnovni logički model bi mogao izgledati ovako:

$$

Slika 1: Primjer osnovnog logičkog modela

Pored toga se mogu dodati unosi (inputs) i „outputi“ programa kako bi dopunili sliku kako je

prikazano u dolje navedenoj tablici 3.

Identificirati

ciljne

skupine

Procjena

osjetljivih

područja

Prikupljanje

znanja o

provalama

Razviti

komunikacijski

plan+alate

Organizirati

tiskovnu

konferenciju

Pokrenuti

informativn

u kampanju

Više znanja o

tome kako

spriječiti provale Više mjera

opreza u

obiteljskim

domovima Više izvještavanja

o sumnjivom

ponašanju u

susjedstvu

Smanjeni

broj

provala

Izmjena

dobrih

praksi sa

ostalim

područjima

Aktivnosti Kratkoročni

ishodi

Srednjoročn

i ishodi

Dugoročni

ishodi


Primjer-prevencija provala u domove

Inputi Početne

aktivnosti

Kasnije

aktivnosti

Outputi Početni

ishodi

Kasniji

ishodi

Financiranje Identificirati

ciljne

skupine.

Razviti

komunikacijski

plan +alate.

Komunikacijski

izvještaj.

Više znanja

o tome kako

spriječiti

provale.

Više mjera

opreza

poduzeto u

obiteljskim

domovima

kako bi se

spriječilo

provale.

Obučeni

zaposlenici.

Procjena

osjetljivih

područja.

Organizirati

tiskovnu

konferenciju

Brošure, leci,

plakati…

Više

izvještavanja

o sumnjivom

ponašanju u

susjedstvu.

Smanjeni

broj

provala.

Prikupljanje

znanja o

provalama.

Pokrenuti

informativnu

kampanju.

Izmjena

dobrih

praksi sa

ostalim

područjima.

... ... ... ... ... ...

Tablica 3: Primjer sortiranja aktivnosti i ishoda (Također vidjeti radni list 1.B.2 a, str.39)

Prethodna istraživanja i meta-studiji vezani za vaš program

Osim razumijevanjem samog programa i prije razvoja određenih evaluacijskih pitanja, važno

je saznati što i kako su napravili drugi/slični programi. Vrijedno je pogledati postojeće mreže

i/ili baze podataka gdje se dijele 'dobre prakse' za pronalazak dokaza o sličnim programima

negdje drugdje. Možete koristi vaš logični model za razmišljanje o tome koji dokazi iz drugih

programa bi mogli biti relevantni(važni) vama.

Npr. povratak na prethodno navedeni primjer o kampanji prevencije u vezi

domaćih provala, možete se zapitati: što se zna o informativnim kampanjama

usmjerene na javnost? Jesu li takve kampanje postigle očekivane rezultate?

Često je moguće naći razna meta-istraživanja ili sustavni pregledni članci kojima je cilj

identificirati, ocijeniti i sintetizirati ono što već postoji u vezi s određenom temom.

Razmatranje ovog prethodnog istraživanja omogućiti će vam da naučite od onoga što su

drugi već učinili na ovom području te će vam pružiti nekoliko usporedbi za rezultate vašeg

vlastite procjene (vidjeti tablice 1.B.3, STR. 40 za sastavljanje popisa dosadašnjih

istraživanja).

Velik dio ovih informacija može se naći u knjižnicama i na Internetu pomoću primjerice

Google Scholar


2. Razrada pitanja o procjeni

Nakon što ste obavili istraživanje o prošlosti možete sada prijeći na razradu pitanja o

procjeni na koja će biti odgovoreno tijekom procjene. To će pomoći da se osigura da

informacije dobivene procjenom budu od praktične koristi a ne znanje radi znanja.

Pitanja procjene možda već postoje u vrlo osnovnom obliku posredstvom ciljeva programa.

Međutim trebati će ih vjerojatno dalje razraditi.

Prilikom razrade pitanja u vezi procjene razmotrite kontekst programa koji se procjenjuje,

općenitu svrhu vašeg vrednovanja i interese zainteresiranih strana.

Korištenje online sredstava

Postoji niz dobrih web stranica koje pružaju korisne informacije o postojećim

programima prevencije kriminaliteta. To uključuje sljedeće:

Campbell Suradnja za sustavne preglede

http://www.campbellcollaboration.org/

COPS/policijska služba orijentirana na zajednicu

http://www.cops.usdoj.gov/

Australski institut za kriminologiju

http://www.aic.gov.au/publications.html

Nacionalna kaznenopravna referentna služba

https://www.ncjrs.gov/App/Publications/AlphaList.aspx

Crimie Solutions.Gov

http://crimesolutions.gov/

Međunarodni centar za prevenciju kriminala

http://www.crime-prevention-intl.org/en/publications.html

(opaska: popis nije konačan)

Razrada pitanja u vezi procjene

Dobra pitanja u vezi procjene trebaju biti:

• Prikladna

• Temeljena na konkretnim ciljevima programa

• Jasna i dobro definirana

(vidjeti radni list 1.B.4a, str. 40 - formuliranje pitanja u vezi procjene)

http://www.campbellcollaboration.org/

http://www.cops.usdoj.gov/

http://www.aic.gov.au/publications.html

https://www.ncjrs.gov/App/Publications/AlphaList.aspx

http://crimesolutions.gov/

http://www.crime-prevention-intl.org/en/publications.html


Primjeri postupka i ishod pitanja u vezi procjene mogu uključivati9

jesmo li postigli naš cilj primanja 1.000 korisnika usluga u program godišnje? Ako ne,

zašto ne?

imaju li korisnici usluga višu razinu pro socijalno ponašanje koje se može pripisati

programu?

Postoji li alternativno objašnjenje za promjenu u ponašanju?

postižemo li jednaku rasprostranjenost osoba koje sudjeluju u promatranju

susjedstva u cijelom mjestu? Ako ne, , zašto ne? Kakve prepreke su postojale? Koji

čimbenici su bili povezani sa uspjehom?

je li povećano sudjelovanje u promatranju susjedstva smanjuje krađe vozila u cijelom

lokalnom području koje je bilo ciljano? Ako su samo neka područja bila uspješna, koji

čimbenici su bili povezani sa tim uspjehom? Koje prepreke su postojale u drugim

područjima?

Ključni test bilo koje procjene pitanja je da se na njega može odgovoriti. Stoga morate

promisliti gdje možete pronaći prave informacije da odgovorite na svoja pitanja.

Sa tim u vezi morali biste razmisliti o:

koju vrstu informacija trebate? Gdje ćete naći tu informaciju? Kako ćete ju prikupiti?

što želite učiniti sa tom informacijom?

koja vrsta informacije će zadovoljiti tu interesnu skupinu?

Imate li vremena i potreban budžet da sami prikupite te informacije?

Imate li stručnosti za analizu prikupljenih informacija/podataka?

….

3. vrste informacija

U biti postoje 2 vrste informacija ili podataka koje ćete koristiti da odgovorite na vaša

pitanja u vezi procjene. To su kvantitativni i kvalitativni podaci.

Kvantitativni podaci (npr. administrativni podaci, policijske evidencije ili drugi statistički

podaci) mogu uključivati:

demografske podatke (dob, spol, narodnost, itd.)

socio-ekonomski podaci (dohodak, pristup resursima, itd.)

9 Za više primjera vidjeti tabelu 1 u: Morgan, A. & P. Homel (2013:3) ocjenjivanje(vrednovanje) sprečavanje

kriminala: pouke iz opsežnih programa prevencije kriminala u zajednici. Trendovi i problemi u kriminalu i kazneno

pravosuđe, br.458. http://www.aic.gov.au/media_library/publications/tandi_pdf/tandi458.pdf

http://www.aic.gov.au/media_library/publications/tandi_pdf/tandi458.pdf


Kriminološki podaci (stopa recidivizma, stopa relevantnih vrsta kriminala na lokalnom

području, itd)

podaci koji se temelje na psihološkom ili sličnim ljestvicama (razina empatije,

tendencije preuzimanja rizika, strah od kriminala, itd.)

Bilo koja važna odluka u vašem planu procjene treba utvrditi da li ćete prikupljati potrebne

podatke sami, tj. primarno prikupljanje podataka, ili da li postoje izvori podataka gdje

možete naći informacije na odgovor na vaša pitanja, tj. sekundarno prikupljanje podataka.

Međutim morate uvijek biti kritični prema ovim postojećim podacima (Pouzdanost?

Predrasude? Neospornost?) i osigurajte da se mogu koristiti za svrhu vašeg procjenjivanja.

Npr. policijske evidencije ne moraju biti pouzdani pokazatelji stvarne stope kriminala. Neke

vrste kriminala nisu prijavljene i one često odražavaju policijske napore i prioritete radije

nego stvarne stope kriminala. Postojeći podaci u vezi istraživanja s druge strane možda ne

postavljaju prava pitanja ili su premali uzorci za ciljanu populaciju.

Kvalitativni podaci (npr. podaci koji se temelje na pogledima ljudi/pričama umjesto na

brojkama) mogu uključivati stajališta i mišljena od npr. pružatelja usluga ili korisnici usluga.

Kvalitativni i kvantitativni istraživački pristupi istragama se tradicionalno smatraju kao

međusobno isključivi i temelje se na vrlo različitim podređenim filozofijama. Međutim,

korištenje kombinacije kvalitativnih i kvantitativnih metoda može ponuditi mnogo

potencijalne koristi.

Npr. podaci prikupljeni tijekom obavijesnog razgovora se mogu koristiti za anketna pitanja.

Stoga pod skupina osoba koje se ispituju kao dio ankete mogu biti izabrani za kvalitativno

ispitivanje radi detaljnijeg istraživanja njihovih stavova.

Neka pitanja u vezi procjene mogu zahtijevati obje vrste podataka na koje treba odgovoriti.

Međutim to će vjerojatno zahtijevati veći budžet (vidjeti 1.B. 4b, str.40)

Kvantitativni u odnosu na kvalitativne podatke

Općenito kvalitativni podaci se koriste u svrhu razvoja teorije dok se kvantitativni

podaci koriste u svrhu testiranja teorije. Stoga kvantitativne metode su više prikladne

ako želite mjeriti učinke programa.

Važno je shvatiti da obadvoje i kvalitativni i kvantitativni podaci imaju svoju vlastitu

metodološku „strogost“ i ljudi trebaju imati potrebne vještine za prikupljanje, analizu

i interpretiranje tih podataka. Rezultati kvalitativnih podataka (npr. percepcije ciljanih

grupa preko opširnih razgovora) mogu biti jako korisni da podupru ili pročiste vaše

kvantitativne nalaze ALI ih treba razlikovati od utjecaja ili rezultata procjene!


Postojeći izvori podataka

Neki sekundarni izvori podataka koji mogu sadržavati korisne informacije za programe

za sprečavanje kriminala:

Promatračke točke ili nadzorni centri na lokalnoj, regionalnoj ili

nacionalnoj razini koji često prikupljaju podatke o kriminalu, javnom zdravstvu

ili društveno-ekonomskim mjerama, npr. „Regional Observatory on Security

Policies“ u Italiji (regionalna promatračka točka u vezi politika sigurnosti u

Italiji) ili „l'Observatoire national de la delinquance“ u Francuskoj. Oni također

često izgrađuju Geografske Informacijske Sustave (GIS) koji spajaju

podatke o kriminalu sa informacijama o zemljopisnom položaju.

Pravosuđe i zatvorski sustav su izvor informacija o počiniteljima i osobama

u zatvoru, vrstama kazne i postupanju, ponovnom počinjenju kaznenog djela,

...

Istraživanja viktimizacije ili studije samoprijavljivanja razmatraju

specifične probleme vezane za kriminal ili ciljanu populaciju i često se provode

u nizu zemalja, npr. Međunarodno istraživanje o žrtvama kriminala (ICVS) -

http://www.unicri.it/services/library_documentation/publications/icvs/statistics

/

Ostala povremeno provedena presječna ili longitudinalana istraživanja

mogu pružiti vrijedne informacije o demografskim i socio-ekonomskim

pokazateljima, ali i stavovima, percepcijama ili mišljenjima ljudi o pojedinim

pitanjima , npr. Modul Povjerenje u policiju i sudove Europskog društvenog

istraživanja (http://ess.nsd.uib.no/ess/round5/) ili istraživanje Eurobarometra

provedeno od strane Europske komisije.

Eurostat omogućuje online pristup demografskim i socio-ekonomskim

podacima (iako podaci često kasne)

http://epp.eurostat.ec.europa.eu/portal/page/portal/statistics/themes i o

podacima u vezi evidentiranog kriminala i kaznenog pravosuđa

http://epp.eurostat.ec.europa.eu/portal/page/portal/crime/data/database za

sve EU države članice, pa čak i na regionalnoj razini NUTS 3.

Europski centar za nadzor droga i ovisnosti o drogama (EMCDDA) pruža

informacije i podatke o drogama i ovisnosti o drogama u Europi.

Ostali izvori podataka mogu biti škole, socijalne službe, organizacije civilnog

društva, usluge smještaja, sveučilišta ili istraživačke institucije, privatne

organizacije, ...

Provjerite da li postoje bilo kakve postojeće baze podataka u vašem lokalnom/

nacionalnom kontekstu koje bi mogle sadržavati podatke koje možete koristiti!

(Opaska: popis nije konačan) (Bemærk: Listen er ikke udtømmende)

http://www.unicri.it/services/library_documentation/publications/icvs/statistics/

http://www.unicri.it/services/library_documentation/publications/icvs/statistics/

http://ess.nsd.uib.no/ess/round5/

http://epp.eurostat.ec.europa.eu/portal/page/portal/statistics/themes

http://epp.eurostat.ec.europa.eu/portal/page/portal/crime/data/database


4. Razvoj pokazatelja

Kako bismo odgovorili na vaša evaluacijska pitanja i prikupili prethodno navedene podatke,

morati ćete razviti pokazatelje. Pokazatelji pružaju vrlo konkretne mjerljive informacije o

vašem programu i kao takvi moraju biti konkretni i jasni. Vrste pokazatelja koje ste odabrali

za korištenje će ovisiti o dotičnom programu i o tome da li se namjeravate usredotočiti na

procese ili ishode.

Primjeri pokazatelja ishoda za program smanjenja provala mogu uključivati

• Promjene u pojavljivanju/učestalosti provala na tom području,

• Promjene u osjećaju sigurnosti kod ljudi

Primjeri pokazatelja procesa za program smanjenja provala može uključivati

• Informacije o broju sudionika u programu.

• informacije o tome koliko su pružatelji usluga i sudionici zadovoljni programom.

Lako je uočiti kako nadziranje outputa vašeg programa može podržati proces

evaluacije. Međutim, ne zaboravite da nadziranje – koje je samo sustavno i rutinsko

prikupljanje informacija – nije evaluacija. Evaluacija procesa, ide korak dalje analizirajući

prikupljene podatke, tumačenjem rezultata i, ako program i dalje radi, identificiranjem

koraka kako bi se ako je potrebno ispravili određeni procesi (vidjeti radne listove 1.B.5a i

1.B.5b, str.41).

Definiranje ovih pokazatelja ishoda će vam također pomoći u odlučivanju o planu evaluacije,

vrsti informacija i metodi prikupljanja podataka. Na primjer, kako bi mogli utvrditi da li je

došlo do povećanja broja osoba koje znaju kako spriječiti provale, trebate znati koliki je udio

ljudi to znao prije provedbe vašeg programa (također vidjeti sljedeći paragraf o planu

evaluacije). Možete se odlučiti za prikupljanje ovih podataka, primjerice, provođenjem

ankete (vidjeti također poglavlje 2 o prikupljanju i analizi podataka). 'Više izvještavanja o

sumnjivom ponašanju u susjedstvu' se možda može analizirati kroz policijske evidencije

(vrsta informacija); 'više mjera opreza je poduzeto u obiteljskim domovima "(npr., bolja

vanjska rasvjeta) se može promatrati (metoda prikupljanja podataka), itd. (Vidjeti također

1. dio: Tematski članak, str.7-9 za više informacija).

5. Odabir plana evaluacije za mjerenje učinka

Ako ste izabrali provesti evaluaciju ishoda to je zato što želite znati da li je vaš program

stvorio određeni ishod. Međutim, otkrivanje da li je program stvorio određeni ishod je složen

zadatak.

Uspjeh ili neuspjeh?

Kako bi informacije koje ste dobili putem pokazatelja imale smisla morati ćete

razviti kriterije kako bi procijenili da li su promjene koje ste ustanovili dokaz

uspjeha (povećanje osjećaja sigurnosti) ili neuspjeha (niska stopa sudjelovanja u

programu).


Kako bi prosudili o ishodu ili utjecaju programa morate:

• Imati informacije o situaciji prije nego što je program proveden

• Imati informacije o promjeni / napretku u situaciji nakon što je program proveden

• Moći pripisati ovu promjenu/ napredak programu

Postoje tri pristupa koja možete poduzeti kako bi pokazali da je promjena nastupila kao

rezultat vašeg programa. Onaj koji ste izabrali će ovisiti o informacijama koje želite,

zaključcima koje želite donijeti i koliko vremena i resursa (vezano za ljude i proračun) imate

na raspolaganju. Sva tri pristupa će biti ukratko opisana u sljedećim stavkama (Za više

informacija vidjeti također Dio 1: Tematski članak, str.8- 9).

„Pre-post“ plan

Uključuje procjenjivanje situacije prije početka vašeg programa i onda opet nakon završetka

programa. Promjene koje su vidljive u razdoblju nakon testa se pripisuju programu. Ovaj tip

plana je najjeftiniji i najlakši za provedbu, međutim, nije moguće učinkovito eliminirati rizik

da bi druga varijabla mogla biti uzrok promjene.

Osnovni plan procjene bi izgledao ovako:

Slika 2: Primjer osnovnog ne-eksperimentalnog „pre-post“ plana

Na primjer, smanjio se broj provala na području gdje ste pokrenuli Vašu

preventivnu kampanju, ali tijekom vaše kampanje su također poboljšali javnu

rasvjetu u tom području. Dakle, da li je utjecaj vašeg preventivnog programa ili

javne rasvjete (ili oboje), uzrokovao smanjenje?

Intervencija i kontrolna skupina (Kvazi-eksperimentalni plan)

Kako biste saznali stvarni utjecaj svog programa morate znati kakva bi bila situacija da vaš

program nije proveden. Dakle, morate u vaš plan uključiti kontrolnu skupinu/područje koja

ima iste karakteristike kao i skupina/područje u vašem programu vezano za veličinu, stopu

kriminala i društveni sastav kako bi se mogli usporediti, ali koja nije bila uključena u

program prevencije.

U kvazi-eksperimentalnom planu selektivno stavljate sudionike u kontrolnu ili intervencijsku

skupinu. U ovom se planu može usporediti promjena/napredak u obje skupine/područja. U

našem primjeru kontrolna skupina/područje sličnih karakteristika nije bilo uključeno u

kampanju za prevenciju krađa, ali je dobila novu javnu rasvjetu u istom vremenskom

razdoblju. Promjena koja je vidljiva u intervencijskoj skupini, ali ne u kontrolnoj skupini se

može pripisati utjecaju programa. Za razliku od eksperimentalnih planova (vidjeti sljedeći


primjer), nije moguće u potpunosti eliminirati mogućnost da još jedan čimbenik može biti

uzrok promjene, iako se ovaj rizik može smanjiti.

Plan kvazi-eksperimentalne evaluacije izgleda ovako:

Slika 3: Primjer osnovnog (kvazi-) eksperimentalnog plana

Randomizirana kontrolirana studija (Eksperimentalni plan)

Uključuje nasumično raspoređivanje sudionika u jednu ili više eksperimentalnih ili kontrolnih

skupina. Sve skupine (eksperimentalne i kontrolne) se procjenjuju prije i nakon primitka

intervencije (program), kontrole za sve pred programske razlike ili ostale događaje koji

mogu utjecati na ishod (npr. nova javna rasvjeta). Sve otkrivene promjene se mogu pripisati

intervenciji (programu). Eksperimentalni planovi se smatraju zlatnim standardom, međutim,

oni su složeni, skupi i svakako zahtijevaju „inpute“ osoba s relevantnim iskustvom.

Intervencijska skupina/područje:

Kontrolna skupina/područje:

Izbjegavajte učinke prelijevanja (spillover effects)

Pokušajte odabrati usporedivo područje koje NIJE pokraj cilja ili eksperimentalnog

područja kako bi se izbjegli učinci prelijevanja/kontaminacija. Na primjer,

uspoređujući učinak programa prevencije u jednom ugroženom području grada u

kojem je obično visok kriminal sa ostatkom tog grada će dovesti do ozbiljnih

ograničenja u vašim rezultatima.

Kratkoročni, srednjoročni ili dugoročni ishodi

Trebate razmislite da li želite izmjeriti kratkoročne, srednjoročne ili dugoročne

ishode. Moglo bi potrajati da se program provede i da se dogode promjene.


6. Izraditi plan evaluacije

Nakon što ste se odlučili o svim prethodno navedenim koracima evaluacijski tim će morati

razviti plan evaluacije koji će vam pomoći da pratite svoj napredak.

Plan mora sadržavati:

• Zadatke koje treba obaviti

• Potrebne outpute zadataka

• Tko je odgovoran za što

• O kojem se vremenskom okviru radi

• Trošak svakog zadataka

Plan evaluacije također treba sadržavati opis poslova evaluacije. Ovaj dokument određuje

što evaluacija uključivati. To mora biti dogovoreno prije nego što počne evaluacija. Trebalo

bi sadržavati:

• Svrhu evaluacije

• Pitanja evaluacije

• Zahtjeve za evaluatore

• Očekivani format završnog izvještaja

• Proračun

Kao što smo već spomenuli može biti dobra ideja da netko nadzire ovaj evaluacijski plan i

upravljanje evaluacijskim timom.

Nakon što ste isplanirali različite aspekte evaluacije možda ćete žele revidirati i ponovno

razmotriti neke od ovih koraka s obzirom na ostale.


Drugi odjeljak: Prikupljanje i analiza podataka

A: Prikupljanje podataka

Postoji mnogo različitih načina

prikupljanja podataka. Odabir pristupa

temeljit će se na:

vrsti podataka kojima želite/trebate

odgovoriti na pitanja za evaluaciju

pristupačnosti potrebnih podataka

izvedivosti u kontekstu proračuna,

vremena i kadra

Slijede neki od najčešćih pristupa ili metoda

prikupljanja podataka, iako se može koristiti i

mnogo drugih pristupa.

Ponekad je i preporučljivo koristiti kombinaciju

metoda kako bi se dobiveni zaključci

nadopunjavali i učvrstili. Jedna od tih

kombinacija je triangulacija10. Primjerice,

karakteristike kuća u koje je provaljeno

(kvantitativno) u kombinaciji s iskustvima žrtava

provale (kvalitativno). Važno je biti svjestan da

svaka korištena metoda ima svoje prednosti, no

i ograničenja koja u konačnici mogu utjecati na kvalitetu podataka (za pregled prednosti i

nedostataka kvantitativnih i kvalitativnih metoda vidjeti npr. Tablicu 6.1 u The Magenta

Book: guidance notes for policy evaluation and analysis – izdanje 2007., str.6:3).

10 Triangulacija je primjena različitih vrsta podataka, a ponekad i različitih perspektiva u interpretaciji podataka,

kako bi se odgovorilo na pitanja u istraživanju. (Magenta book (2007), str. 8:29).

Imajte na umu konačnu svrhu i ciljeve

Često se tijekom postupka evaluacije osoba pretjerano koncentrira na podatke i širok

spektar metoda prikupljanja podataka. Važno je, neovisno o odabranoj metodi,

prikupljati samo podatke koje ćete koristiti u odgovorima na pitanja za

evaluaciju.

Važno je znati i kako ćete iskoristiti podatke prije nego ih prikupite.

Literatura

Iako su u ovom poglavlju ukratko opisani

najčešći pristupi i metode prikupljanja

podataka, u ovome priručniku nemoguće je

detaljno opisati metodologije istraživanja.

Stoga, ako vaša evaluacijska skupina nije

dovoljno stručna u npr. uzorkovanju,

statističkim analizama, razvoju instrumenata

za ankete, mjernim pogreškama i nacrtima

kvalitativnih i kvantitativnih istraživanja, bilo

bi dobro zatražiti pomoć

istraživača/statističara.

Nadalje, poglavlja od 4. do 8. u The Magenta

Book: guidance notes for policy evaluation

and analysis – izdanje 2007. dobar su uvod

u statistiku i prikupljanje podataka:

http://resources.civilservice.gov.uk/wp-

content/uploads/2011/09/the_complete_ma

genta_book_2007_edition2.pdf

http://resources.civilservice.gov.uk/wp-content/uploads/2011/09/the_complete_magenta_book_2007_edition2.pdf




1. Kvantitativni pristupi

Anketno istraživanje

Ankete se najčešće provode putem strukturiranih upitnika. Koriste se ako želite prikupiti

činjenice, npr. spol ili dob, ali i bihevioralne podatke i podatke o stavovima, npr. učestalost

sudjelovanja u programu ili koliko je netko zadovoljan s određenim programom te ako se

želi provjeriti koliko netko zna o određenom programu (ili njegovom postojanju). Anketama

se lako može prikupiti velika količina standardiziranih podataka u relativno kratkom

vremenskom razdoblju.

Osmišljanje upitnika

Ako ste odlučili osmisliti vlastiti upitnik, mogli bi vam koristiti sljedeći koraci:

Pitanja u upitniku trebala bi biti vezana za pitanja u istraživanju

Upitnik bi trebao biti što kraći. Izbjegavajte pitanja koja nisu nužna za prikupljanje

traženih podataka.

Razmislite na koji način ćete koristiti i analizirati podatke koje dobijete u odgovoru na

svako pitanje.

Koliko je moguće, izbjegavajte otvorena pitanja.

U zatvorenim pitanjima ograničite broj kategorija i vodite računa o tome da

kategorije nisu dvosmislene i da se ne preklapaju.

Izbjegavajte dvostruka pitanja (traženje dva odgovora unutar jednog pitanja) i

dvostruke negacije.

Isprobajte nacrt upitnika na malom uzorku ispitanika kako biste provjerili treba li

pitanja izmijeniti.

Upitnici moraju biti jasno tiskani i čitki.

Primjer: Otvorena i zatvorena pitanja11

Otvoreno pitanje

Što je po vašem mišljenju najbolje u programu?

__________________________________________________________________

__________________________________________________________________

______

(Ispitanik bi trebao vlastitim riječima sročiti odgovor u prostoru ostavljenom nakon pitanja).

11

Za kratak pregled prednosti i nedostataka otvorenih i zatvorenih pitanja vidjeti Tablicu 6.5 u knjizi The Magenta

Book: guidance notes for policy evaluation and analysis – izdanje 2007., str. 6:12.


Zatvorena pitanja

Koliko često sudjelujete u programu?

Svaki dan

Nekoliko puta tjedno (ali ne svaki dan)

Jednom tjedno

Nekoliko puta mjesečno (ali ne svaki tjedan)

Jednom mjesečno

Rjeđe nego jednom mjesečno

Nikada

(Ispitanici moraju odabrati jedan od ponuđenih odgovora.)

Tablica 4: Primjeri otvorenog i zatvorenog pitanja

Istraživanje putem upitnika može se izvoditi osobno (npr. standardizirani intervju uživo),

telefonom, mrežno (npr., putem survey monkeya) ili poštom12. Svaki od pristupa ima

prednosti i nedostatke (vidjeti, npr., pregled u Tablici 4.2, str. 60. u US Department of

Health and Human Services, 2011. Introduction to program evaluation for public health

programs: A self-study guide - http://www.cdc.gov/eval/guide/CDCEvalManual.pdf.).

Standardizirana psihološka procjena i procjena stavova može se koristiti za ocjenu

raznih stavki poput zdravstvenog stanja, mentalnog zdravlja, društvenog funkcioniranja i

statusa osobe s posebnim potrebama, itd. Takve procjene mogu biti iznimno korisne i kod

određivanja utjecaja programa na korisnike usluga. Primjerice, ako je cilj vašeg programa

sprečavanja kriminaliteta smanjenje ponavljanja kriminalnih radnji kroz jačanje

funkcioniranja unutar društva, može se izvršiti procjena korisnika prije i nakon sudjelovanja

u programu kako bi se procijenilo koliki je bio učinak programa. Standardizirane upitnike

razvijaju istraživači te je njihova prednost što su razvijeni i ispitani na terenu.

2. Kvalitativni pristupi

Dubinski intervju

Dubinskim ili nestrukturiranim intervjuima prikupljaju se detaljni, kvalitativni podaci o

kompleksnim pitanjima koja se mogu teško izmjeriti u numeričkom smislu, poput mišljenja

ili osjećaja u vezi s određenim programom. Dobar su instrument i za istraživanje nove teme

12 Kod provođenja intervjua (osobno, telefonski ili putem weba) često se koristi računalna podrška: CAPI (computer

assisted personal interview, osobni intervju uz računalnu podršku), CATI (computer assisted telephone interview,

telefonski intervju uz računalnu podršku), CASI (ankete koje ispitanici sami ispunjavaju uz računalnu podršku),

umjesto klasičnog pristupa PAPI (paper and pencil interviewing, intervjuiranje olovkom i papirom).

Izbor pristupa anketnom istraživanju

Odaberite pristup koji najbolje odgovara prilikama vaše evaluacije kao što su svrha

podataka koje prikupljate, tip i broj osoba od kojih te podatke želite prikupiti, vaš pristup

raspoloživim izvorima kao što su proračun, vrijeme i stručnost unutar ili izvan vaše

evaluacijske skupine.

http://www.cdc.gov/eval/guide/CDCEvalManual.pdf


ili područja za koje ste zainteresirani i koje se kasnije može dodatno istražiti strukturiranim

kvantitativnim pristupom. Kvalitativno intervjuiranje stoga se češće veže uz razvijanje

teorija nego ispitivanje istih, dok je kod kvantitativnih pristupa uglavnom obrnuto. Kvaliteta

podataka prikupljenih kvalitativnim intervjuom ovisi o vještini ispitivača i

njegovom/njezinom odnosu s ispitanikom.

Intervjui mogu sadržavati niz vrlo određenih pitanja (polustrukturirani intervjui) ili se svoditi

na neformalni razgovor (nestrukturirani intervjui). Ispitivaču je na taj način omogućena

velika fleksibilnost u pristupu procesu intervjuiranja u odnosu na strukturirane pristupe koji

su zastupljeni u anketnim istraživanjima. Intervjui se mogu provoditi jedan na jedan ili

unutar grupa, npr. fokus grupa.

Sljedeći koraci mogu biti korisni kod provođenja dubinskog intervjua.

Napravite popis općenitih tema na koje želite staviti naglasak (npr. vodič kroz

intervju).

Ne postavljajte sugestivna pitanja.

Oblikujte pitanja na način da vam dobiveni odgovori mogu koristiti u istraživanju, ali

pripremite se na fleksibilnost tijekom intervjua.

Oblikujte pitanja na način da budu razumljiva ispitaniku.

Dopustite ispitanicima slobodno izražavanje, no bez pretjeranog udaljavanja od teme.

Postavljajte dodatna pitanja (npr. dodatno ispitivanje) ako ispitanik kaže nešto važno

što biste željeli detaljnije istražiti.

Napravite zabilješke intervjua, uključujući podatke o imenu, dobi, spolu, vremenu

provedenom u programu itd. jer će one možda biti korisne u davanju konteksta.

Snimite intervju na kasetu ili elektroničkim snimačem (obavezno tražite dopuštenje

prije snimanja).

Provodite intervju u mirnom okruženju kako biste umanjili mogućnost ometanja i

prekidanja.

Broj intervjua koje morate provesti ovisit će o okolnostima evaluacije. Unatoč tome, u

usporedbi s anketnim istraživanjem, bit će potreban daleko manji broj s obzirom da je cilj

prikupljanje detaljnih podataka, a ne generalizacija na veću skupinu temeljem vašeg uzorka.

Fokus grupe

Fokus grupe vrsta su intervjua u kojima sudjeluje nekoliko ispitanika (najviše otprilike 10 -

12 osoba po grupi kako bi se osiguralo sudjelovanje svih pojedinaca u raspravi). Tema fokus

grupe uglavnom je jasno definirana te je naglasak stavljen na proučavanje interakcije

pojedinaca unutar fokus grupe te individualno i grupno odgovaranje na pitanja.

Ispitanike se uglavnom odabire temeljem određene relevantne zajedničke karakteristike,

npr. ako su sudjelovali u istom programu kao osoblje ili klijenti te je rasprava usmjerena

upravo na to zajedničko iskustvo.


Promatranje

Podaci prikupljeni promatranjem dobar su dodatak podacima prikupljenima putem ankete ili

intervjua. Promatranje može biti posebno korisno ako vam je cilj prikupiti podatke o

prednostima i nedostacima aktivnosti programa promatranjem i bilježenjem aktivnosti

osoblja zaduženog za projekt i korisnika usluge.

Promatranje je korisno:

Za bolje razumijevanje konteksta programa (lokacija, osoblje, korisnici programa,

opća atmosfera itd.).

Za oblikovanje pitanja koja kasnije možete iskoristiti u upitnicima i intervjuima.

Za otkrivanje aspekata aktivnosti programa kojih osoblje nije svjesno ili o njima ne

želi razgovarati.

Ako kao metodu prikupljanja podataka izaberete promatranje, važno je imati na umu da se

ljudi ponašaju drugačije u situacijama u kojima su svjesni da ih se promatra. Također je

važno zatražiti pristanak ljudi koje želite promatrati.

Pregled programske dokumentacije

Interna programska dokumentacija može biti važan izvor podataka koji će vam omogućiti

bolje razumijevanje programa. Dokumenti mogu biti:

Misije i/ili strateški planovi

Organizacijske sheme

Godišnja izvješća

Rasporedi aktivnosti

Dnevnici

Zapisnici sastanaka

Prijedlozi financiranja

Evidencije nazočnosti

Promotivna literatura (brošure, bilteni, posteri,...)

Intervjuiranje osoblja i korisnika programa

Dubinski intervjui dobar su način prikupljanja detaljnih podataka od

ključnih osoba u programu, kao što su voditelj programa ili druge

osobe koje imaju posebnu ekspertizu i razumijevanje svojstveno

njihovom položaju.

Individualni i/ili grupni intervjui dobar su način istraživanja stavova

kod manjeg broja korisnika usluge.

Koristite promatranje i dokumentaciju

kako bi ste oblikovali pitanja

Promatranjem i pregledom dokumentacije

može se doći do podataka koje možete

iskoristiti u formuliranju pitanja za ankete i

intervjue.


Takvi dokumenti mogu biti izvor važnih informacija o pozadini programa i rezultatima

pojedinih projekata te dati uvid u promjene programa kroz vrijeme.

Druge metode poput Delphi metode, anketa ili stručnih radionica također su primjeri

kvalitativnih pristupa.

Kod ovih kvantitativnih i kvalitativnih metoda treba uzeti u obzir stavke poput stope

odgovora, vjerojatnosti, valjanosti, pouzdanosti itd., od kojih su neke obrađene u

tematskom radu ovog paketa instrumenata (vidjeti Dio 1.: tematski rad, str. 14. – 17.)

B: Analiza i interpretacija podataka

Nakon prikupljanja podataka treba:

Pročistiti podatke, odnosno organizirati ih i provjeriti ima li grešaka

Opisati zaključke

Analizirati i interpretirati podatke u kontekstu onoga što ocjenjujete

Raspraviti zaključke sa zainteresiranim stranama

Vrsta analize i interpretacije podataka koju trebate provesti ovisit će o tome je li vrsta

podataka koje ste prikupili kvantitativna ili kvalitativna.

1. Kvantitativni podaci

Kvantitativna analiza može varirati u složenosti od izračuna prosjeka do kompliciranijih

statističkih tehnika istraživanja odnosa između različitih varijabli. Jednostavnije kvantitativne

analize koje se sastoje od postotaka i prosjeka može provesti i osoblje koje radi na

programu, dok bi kompleksnije statističke analize trebao provesti netko s odgovarajućim

vještinama i ekspertizom u istraživanju.

Prilikom analize i interpretacije kvantitativnih podataka treba uzeti u obzir sljedeće korake:

Pročišćavanje podataka

Nakon što ste prikupili podatke, potrebno je:

Organizirati podatke unošenjem u statistički softverski paket poput Excela ili SPSS-a

te

Provjeriti ima li u podacima pogrešaka.

Interpretacija podataka

Prilikom interpretacije podatka i izvješća o rezultatima, budite jasni i otvoreni u

vezi ograničenja podataka (npr. interna i eksterna valjanost i pouzdanost) i

nemojte prenaglasiti ili pretjerivati sa zaključcima. Na taj način vaša će evaluacija

biti pouzdana i izbjeći ćete netočne zaključke.


Analiza podataka

Ovisno o odabranom nacrtu istraživanja (npr., eksperimentalno, kvazi-eksperimentalno ili

nacrt “prije-poslije”) pokušat ćete otkriti:

Postoji li vidljiva razlika u prikupljenom uzroku (odnosno, je li skupina u programu (ili

prije provođenja programa) drugačija od kontrolne skupine (koja je program prošla)

u kontekstu varijable od interesa?

Iako to nije često u evaluacijama manjih razmjera, u nekim slučajevima mogli biste

poželjeti otkriti postoje li te razlike u široj populaciji (odnosno, kod svih sudionika

programa).

Kolika je vjerojatnost pogreške? (tj. otkrivanje razlike koja u stvarnosti ne postoji i

obratno?)

Vrste statističkih ispitivanja koje se mogu koristiti kako bi se pronašli odgovori na ova

pitanja ovisit će o prirodi podataka koje ste prikupili. Kako je ranije spomenuto, uvodni

priručnik ne može dati detaljna objašnjenja različitih tehnika analize i interpretacije.

Interpretacija podataka

Prilikom interpretacije podataka, a prije donošenja zaključaka ili preporuka, treba uzeti u

obzir sljedeće (Izvor: US Department of Health and Human Services, 2011. Introduction to

program evaluation for public health programs: A self-study guide, str. 77.):

Postoje li alternativna tumačenja vaših rezultata?

Kakvi su vaši rezultati u odnosu na rezultate sličnih programa?

Jesu li vaši podaci u dosljednosti s teorijama koje su rezultat prijašnjih istraživanja?

Jesu li različite metode prikupljanja podataka kojima ste mjerili napredak dale slične

rezultate?

Odgovaraju li dobiveni rezultati onima koje ste očekivali? Ako ne, zbog čega mislite

da je došlo do odstupanja?

Ako ste se u fazi planiranja evaluacije dobro pripremili i

napravili prethodna istraživanja (vidjeti B.1., str. 13),

trebali biste moći odgovoriti na prethodna pitanja.

Ekspertiza

Ako se ne snalazite u kvantitativnim analizama, zatražite pomoć statističara ili

analitičara.


Valjanost

Kako je ranije spomenuto, mnoge

kvalitativne metode ne

podrazumijevaju generaliziranje

dobivenih rezultata, stoga treba

izbjegavati zaključke o utjecaju

vašeg programa!

Prilikom interpretacije podataka, uzmite u obzir ograničenja, tj. valjanost (internu i

eksternu) i pouzdanost rezultata.

Valjanost rezultata može se odnositi na opseg na koji

se rezultati mogu načelno primijeniti ili prenijeti na

skupinu veću od one unutar koje su podaci prikupljeni,

a može se odnositi i na kvalitetu nacrta istraživanja i/ili

uzimanje u obzir uzročnosti, odnosno, pripisivanje.

Pouzdanost rezultata odnosi se na dosljednost rezultata.

Provjerava se, na primjer, mogu li se istraživačke metode

replicirati i pritom dobiti jednaki rezultati. Za više informacija

o valjanosti i pouzdanosti, vidjeti također tematski rad ovog

paketa instrumenata (str. 15. – 16.).

2. Kvalitativni podaci

Interpretacija kvalitativnih podataka prilično se razlikuje od interpretacije numeričkih

podataka, s obzirom da podrazumijeva tumačenje izjava raznih ljudi i smještanje istih

unutar različitih tema povezanih s pitanjima u vašoj evaluaciji. Taj je postupak često vrlo

zahtjevan s obzirom da metode kvalitativnih istraživanja mogu rezultirati velikim količinama

podataka bez jasnog načina kako predmetne podatke uobličiti kako bi dobili jasan smisao.

Unatoč tomu, iako ne postoji jedinstveni pristup kodiranju i analizi kvalitativnih podataka,

sljedeći koraci mogu vam pomoći u uobličavanju prikupljenih kvalitativnih podataka13.

Napravite pregled. Iščitajte transkripte, bilješke s intervjua itd. i napravite općenite

zabilješke o svim temama, uzorke ili točke od interesa na koje naiđete.

13 Za više informacija povezanih s analizom kvalitativnih podataka, vidjeti: The Magenta Book: guidance notes for

policy evaluation and analysis – izdanje 2007., str. 8:36


Kauzacija i korelacija

Obratite pažnju na razliku između kauzacije i korelacije.

Kauzacija podrazumijeva situaciju u kojoj jedno uzrokuje drugo, primjerice, što više

vježbate, potrošit ćete više kalorija. U tom slučaju, fizička aktivnost uzrokuje izgaranje

kalorija.

S druge strane, korelacija podrazumijeva istovremeno zbivanje dviju stvari. Iako su

te stvari međusobno povezane, ne uzrokuju jedna drugu. Na primjer, onih dana kad je

cijena sladoleda viša, veći broj ljudi odlazi na plivanje, no to ne znači da plivanje

potiče ljude na konzumaciju sladoleda (ili obratno), nego se obje aktivnosti zbivaju

onih dana kada je vruće.

Sukladno tomu, treba biti oprezan prilikom izravnog pripisivanja utjecaja (npr.

smanjena stopa krađa automobila) vašeg programa (npr. podizanje svijesti vezano za

krađe automobila) te se prvenstveno trebaju uzeti u obzir i druga moguća objašnjenja.



Počnite kodirati podatke. Kodiranje je kategoriziranje podataka kako bi se

razlikovale pojedine teme, trendovi i uzorci. Nemojte čekati da svi intervjui završe,

započnite s kategorizacijom čim prije, na taj ćete način imati manju količinu podataka

s kojom je lakše raditi. Tako ćete izbjeći i osjećaj preplavljenosti podacima.

Ponavljajte ovaj postupak te svaki put napravite veći broj što detaljnijih zabilješki.

Upravo to je kodiranje podataka.

Pregledajte kodove/kategorije. Uz koji koncept/koncepte ste vezali odabrane

kategorije (vidi pitanja u evaluaciji)? Je li koja od tih ideja opisana u literaturi? Jesu li

neke od kategorija međusobno povezane?

Donošenje zaključaka. Nakon svega ovoga, trebali biste moći donijeti neke

općenite zaključke o podacima. Pokušajte pronaći poveznice između različitih

koncepata/tema i objasniti ih.

3. Razgovor o dobivenim rezultatima sa zainteresiranim stranama

Nakon analize svih podataka i stvaranja nacrta rezultata, preporučljivo je u konačnu

redakturu evaluacijskog izvješća uključiti zainteresirane strane. Trebalo bi održati nekoliko

sastanaka s evaluacijskom skupinom, savjetodavnom komisijom i ostalim relevantnim

stranama kako bi se raspravili rezultati evaluacije i zajednički odlučilo o njihovom

izvještavanju i objavi.

Kodiranje bojama

Ako podatke bilježite ručno, jednostavan, ali učinkovit način kodiranja podataka

dobivenih kvalitativnim intervjuima korištenje je boja u kodiranju transkripata

intervjua. Neka svaka boja označava drugu temu. Kada završite kodiranje

transkripata bojom, moći ćete lakše grupirati teme temeljem boje.

Transkripcija intervjua

Transkripcija kvalitativnih intervjua često je dugotrajan i zahtjevan proces.

Odvojite mnogo vremena za transkripciju te, ako vam to proračun dopušta,

razmotrite upošljavanje osobe koja će intervjue transkribirati umjesto vas.


Odjeljak 3: Izvještavanje i predstavljanje vaših evaluacijskih

saznanja

Nakon osmišljavanja i provedbe vaše evaluacije nužno je uspješno predstaviti saznanja o

vašem programu.

Bez obzira na odabrani pristup evaluaciji, konačno evaluacijsko izvješće bi trebalo:

Biti napisano razumljivim jezikom

Točno odražavati rezultate evaluacije. Razumljivo predočiti što je funkcionalno, a što

ne (navodeći i razloge!), za koga i u kojem kontekstu ili pod kojim okolnostima.

Uključiti prednosti kao i ograničenja programa

Biti shvatljivo ciljnoj skupini. Drugim riječima, prilagoditi ga potrebama ciljne skupine

uz primjenu jezika, stila i načina obraćanja koji im je lako razumljiv, bez uporabe

stručnog jezika.

Sadržavati podatke i/ili preporuke koje će pomoći u donošenju odluke

Učinkovito objavljeno evaluacijsko izvješće imat će, osim pomoći u postupku donošenja

odluka, dodatne pogodnosti, poput iskazivanja odgovornosti davateljima novčane potpore i

drugim relevantnim tijelima, iskazivanja pozitivnih učinaka programa na različite skupine,

poboljšanja ljudskog razumijevanja prevencije kriminaliteta, posebice u lokalnoj zajednici, te

stvaranja raširenije podrške za takve slične programe.

1. Struktura konačnog izvješća

Iako postoje različiti načini predstavljanja evaluacijskih izvješća, u praksi se uobičajeno

koriste sljedeći dijelovi i struktura (Na temelju US Department of Health and Human

Services, 2011. Introduction to program evaluation for public health programs: A self-study

guide, p. 86):

Sažetak: treba dati kratki pregled vaših glavnih otkrića, počevši s onima koja su

najvažnija i najzanimljivija. Kao jedna od mogućnosti, ovom dijelu može prethoditi

jedna stranica na kojoj su navedena glavna saznanja koja su rezultirala evaluacijom

(pogledati format 01:03:25 pod okvirom „savjeti“ ispod), što je namijenjeno čitatelju

s vrlo ograničenim vremenom.

Pozadina i svrha

o Pozadina programa i opis: sadržaj i kontekst

o Određivanje sudionika i njihovo sudjelovanje

o Razlozi evaluacije: objašnjenje zašto je evaluacija provedena i što se njome

željelo postići

o Ključna evaluacijska pitanja/fokus

Uključivanje sudionika

Važno je znati da se evaluacije provode kako bi se osobama pružila pomoć u donošenju

odluka o programu. Sudionici bi od samog početka trebali biti uključeni u rasprave o

najboljem načinu predstavljanja rezultata evaluacije, odnosno ciljnoj skupini kojoj će se

rezultati predstaviti. Na ovaj ćete način lakše razumjeti zahtjeve relevantnih sudionika

te olakšati prilagodbu konačnog evaluacijskog izvješća njihovim potrebama.


Metode evaluacije

o Opis metoda (nacrt, uzorkovanje, pokazatelji, postupci prikupljanja

podataka,…)

o Sažetak prikupljenih podataka

o Analiza podataka: objašnjenje provedenih analiza + ograničenja

o Ključna evaluacijska pitanja/fokus

Rezultati

o Saznanja i zaključci koji se mogu donijeti na temelju rezultata

o Preporuke na temelju rezultata i iskustava

Dodaci: za sve druge relevantne i važne podatke koji nisu predočeni u glavnom dijelu

izvješća (primjerice, ankete, smjernice za intervjue i drugi dokumenti korišteni

tijekom evaluacije)

2. Predstavljanje vaših rezultata

U ovisnosti o visini vašeg

proračuna i ciljane

skupine kojoj težite,

postoje brojni načini na

koje možete objaviti

saznanja iz vaše evaluacije. Neki od

njih uključuju tiskane kopije

konačnog izvješća, elektronsku

verziju izvješća koja bi bila dostupna na Internetu, kratki sažetak izvješća u kojem se kratko

i jasno navode glavna saznanja iz evaluacije, odnosno kraći filmski zapis u kojem je

predstavljen program i evaluacija.

Naglasite relevantne podatke!

Vrlo je vjerojatno da su čitatelji vašeg izvješća osobe koje su iznimno zaposlene. Stoga

biste na početku trebali navesti vaše podatke sročene jasno razumljivim jezikom

(primjerice, rad s natuknicama kako bi naglasili vaše glavne rezultate).

Na ovaj ćete način uspješnije osigurati da su rezultati vašeg evaluacijskog izvješća

shvaćeni.

Format 1:3:25, koji se primjenjuje u britanskom Ministarstvu unutarnjih poslova i u

australskom i kanadskom sustavu javnog zdravstva, može služiti kao primjer načina

pisanja izvješća koje je pogodno čitateljima. Jedna stranica koja sadrži natuknice s

glavnim rezultatima, tri stranice sažetka i 25 stranica na kojima su predstavljeni vaši

rezultati, pisano jezikom koji je jasan i razumljiv nestručnim osobama. (Vidjeti

http://www.hse.gov.uk/research/producing-reports-advice.pdf)

Izvješće učinite zanimljivim i privlačnim

Zanimljiva izvješća vjerojatno će naći put do šireg

kruga čitatelja. Koristite po potrebi grafove, tablice, i

isječke iz intervjua kako bi vaša izvješća bila što

zanimljivija i privlačnija za čitanje.

Prezentirajte vaša iskustva

Očigledno je da ljudi vole predstaviti uspješne priče, ali i čuti o njima.

Stoga je često teško istaknuti programske nedostatke ili manjkavosti.

Ipak, tim je još važnije podijeliti ove rezultate kako bi se u budućim

programima moglo učiti na bilo kojim greškama.

http://www.hse.gov.uk/research/producing-reports-advice.pdf


Koristite različite metode i kanale kako bi rezultate svog izvješća dostavili vašem čitateljstvu,

primjerice:

Društvene mreže i druge web stranice kojima ćete naglasiti ključna saznanja.

Konferencije i seminari na kojima će se raspravljati o saznanjima iz vaše evaluacije s

drugim stručnjacima i profesionalnim osobama.

prezentacije udruženjima iz zajednice, lokalnim organizacijama/udruženjima, …

Tiskovne konferencije te intervjui s članovima medija (televizija, radio, novine, ...).

Biltene raznih (suradničkih) organizacijama.

Korištenje osobne mreže, baze podataka i kanala voditelja programa u svrhu za

širenja saznanja

Ako je prikladno, razmislite o pisanju članaka koji su recenzirale osobe vaših

kompetencija, u priznatom akademskom časopisu.

Neki relevantne baze podataka zaprimaju i prijave izvješća, primjerice:

https://www.ncjrs.gov/library/contribute.html

http://opengrey.eu/about/contribute

Dobre prakse i demonstriranje

Koristite interaktivne metode komunikacije kako biste povećali učinak.

Primjerice, koristite dobre prakse demonstriranja prilikom predstavljanja

rezultata kako biste imati veći učinak i kako biste integrirali evaluaciju u

standardni način rada.

https://www.ncjrs.gov/library/contribute.html

http://opengrey.eu/about/contribute


Dodaci: Radni listovi

Radni list 1.A.1 – Utvrđivanje relevantnih sudionika

Najprije izradite popis svih mogućih relevantnih sudionika primjenjujući sljedeća pitanja kao

vodič u izradi: • Osobe/Organizacije koje povećavaju kvalitetu (vjerodostojnost) evaluacije? • Osobe/Organizacije koje vode program? • Osobe/Organizacije koje će možda koristiti rezultate evaluacije? • Osobe/Organizacije na koje utječe program?

Radni list za sudionike

Sudionik Pitanja za evaluaciju Područje od interesa u

vezi programa

Primjerice, udruženje

mladih

Primjerice, povećanje

vjerodostojnosti evaluacije

Primjerice, provedba i

zagovaranje promjena

Primjerice, potpora mladim

počiniteljima kaznenih djela

Primjerice, lokalne vlasti Primjerice, financiranje

programa

Primjerice, programom se

potiče manji broj ponovnog

počinjenja

Radni list 1.A.2 – Proračun

Radni list proračuna

Faza projekta

(planiranje,

provedba,

izvještavanje)

Zadatak Procijenjeni

troškovi

Izvor

Primjerice,

planiranje

Primjerice, sastanak

sudionika

Primjerice, XXX

Eura

Primjerice, financiranje

bespovratnim sredstvima

Radni list 1.A.3 – Kontrolni popis dokumentacije za nadmetanje

Ako odlučite vašu evaluaciju ponuditi putem natječaja vanjskim tijelima za evaluaciju,

natječajni dokument koji izrađujete treba sadržavati sljedeće:


Pozadinu programa/projekta kojeg želite evaluirati

Svrhu evaluacije (što se treba postići evaluacijom)

Metode evaluacije koje želite da se primjene (dubinski intervjui s glavnim

sudionicima, istraživanje korisnika usluga, analiza već postojećih podatka, itd.)

Razni zadaci koje je poduzeo uspješni kandidat (prikupljanje podataka, analiza,

pisanje izvješća, itd.)

Evaluacijski rokovi

Financijske pojedinosti (iznosi koji si određeni, pojedinosti relevantnih financijskih

propisa)

Detalji koje zainteresirana tijela za evaluaciju moraju dostaviti:

Kontakt informacije

Podatke o relevantnoj stručnosti i iskustvu u tom području

Životopise djelatnika evaluacijskog tijela

Obrazac traženih informacija (primjerice, prezentacija, pisanu prijavu za

natječaj)

Uvjete na temelju koji se bira uspješni kandidat na natječaju (iskustvo, provedivost

ponuđenih usluga, odnos ponuđenog i cijena usluge, itd.)

Kontakt točka za dostavljanje prijava

Krajnji datum za primanje natječajnih prijava

Radni list 1.B.1 – Opis programa

(Izvor: US Department of Health and Human Services, 2011. Introduction to program

evaluation for public health programs: A self-study guide)

Arbejdsblad – programbeskrivelse

Aktivnost Opis

Potreba: Koji problemi se pokušavaju riješiti

ovim programom?

Ciljevi: Koje skupine/organizacije moraju

provesti promjene ili poduzeti korake kako bi

se osigurao napredak u rješavanju

problema?

Ishodi: Kako i na koji se način ove ciljane

skupine moraju promijeniti? Koje radnje

moraju poduzeti?

Aktivnosti: na koji će način program

potaknuti ove ciljane skupine na promjene ili

poduzimanje koraka?

Ishodi: Koji vidljivi produkti će biti rezultat

aktivnosti ovog programa?


Sredstva i inputi: što je potrebno

primijeniti iz šireg okruženja kako bi se

aktivnosti uspješno pripremile i provele?

Odnos između aktivnosti i ishoda: koje

aktivnosti su provedene koje bi dovele do

napretka u kojim izvorima?

Faze razvoja: program je tek započeo, u

fazi provedbe, ili traje već jedan određeni

period?

Okruženje: Koji faktori/kretanja u širem

okruženju mogu utjecati na uspjeh ili

neuspjeh programa?

Radni list 1.B.2a – Redoslijed aktivnosti i ishoda

Aktivnosti Ishodi

Rane aktivnosti Kasnije aktivnosti Rani ishodi Kasniji ishodi

Primjerice, odrediti

ciljane skupine

Primjerice, izrada

komunikacijskog

plana + sredstva

Primjerice, više

znanja o načinu

prevencije provala

Primjerice, pojačane

mjere

predostrožnosti u

obiteljskim

domovima kako bi se

spriječile provale

Radni list 1.B.2b – Pregled inputa, aktivnosti, outputa i ishoda

Inputi Ranije

aktivnosti

Kasnije

aktivnosti

Outputi Raniji

ishodi

Kasniji ishodi

Primjerice,

financiranje

Primjerice,

utvrđivanje

ciljanih

skupina

Primjerice,

izrada

komunikacijskog

plana +

sredstva

Primjerice,

komunikacijska

izvješća

Primjerice,

više

znanja o

načinu

prevencije

provala

Primjerice,

pojačane

mjere

predostrožnosti

u obiteljskim

domovima

kako bi se

spriječile

provale


Radni list 1.B.3 – Ranija istraživanja/evaluacije

Ranija istraživanja/evaluacije

Autor

(abecednim

redom)

Naziv (izdanja) Izvor + godina izdanja

(Časopis/knjiga/online

izvor)

Glavne

točke/glavni

rezultati

Primjerice, Verwee,

I.: Ponsaers, P. &

Enhus, E.

Primjerice, Provale

su moje zanimanje,

obrasci i praksa

provala

Primjerice, Knjiga (2007) Primjerice, Nužnost

cjelovitog i

integriranog

pristupa

Radni list 1.B.4a – Pitanja za evaluaciju

Formuliranje pitanja za evaluaciju

Komponente programa

(aktivnost/ishod)

Pitanja za evaluaciju

Primjerice, 6 mjeseci nakon provedbe

programa, broj izvješća o sumnjivom

ponašanju povećan za 25%

Primjerice, je li Program postigao svoj cilj

povećanjem broja izvješća sumnjivog

ponašanja?

Primjerice, nakon jednogodišnje službe,

razina straha od zločina kod korisnika

smanjena za 40%

Pokazuju li korisnici usluge nižu razinu straha

od kaznenih djela nakon programa u usporedbi

s onima koji nisu korisnici usluge?

Radni list 1.B.4b – Povezivanje pitanja za evaluaciju s podacima

Povezivanje pitanja za evaluaciju s prikupljanjem podataka

Evaluacijska

pitanja

Vrsta podataka Izvori podataka Metode

prikupljanja

podataka

Primjerice, je li

program postigao

svoj cilj povećanja

broja izvješća o

sumnjivom

ponašanju?

Primjerice,

kvantitativni

Primjerice, policijske

evidencije

Primjerice,

Istraživački odjel

analizira sekundarne

podatke

Primjerice,

kvantitativni

&

Primjerice,

istraživanja

viktimizacije (ICVS)

Primjerice,

stručnjaci za

statistiku sa

sveučilišta


Primjerice,

kvalitativni

Primjerice,

pojedinačne usluge i

osobe koje ne

koriste usluge

analiziraju

sekundarne podatke

Primjerice,

prikupljanje

primarnih

podataka:dubinski

intervjui koje

provode obučeni

volonteri i koje

analizira istraživački

odjel

Radni list 1.B.5a – Evaluacija procesa

Evaluacija procesa

Predviđeni proces

(aktivnost)

Provedeni proces

(aktivnost)

Razlozi izmjene Daljnje potrebne

izmjene

(preporuka)

Primjerice, 25

lokalnih policijskih

službenika koji će

dragovoljno biti

obučeni kako bi

podigli razinu svijesti

o ovom pitanju

Primjerice, obučeno

je 10 policijskih

službenika

Manjak zanimanja

kod lokalnih

policijskih službenika

Primjerice, obuka

mora biti obvezna za

sve lokalne

službenike

Radni list 1.B.5a – Evaluacija procesa

Evaluacija ishoda

Predviđeni ishod Stvarni ishod (Mogući) razlozi

postojećih razlika

Preporučene

izmjene

Primjerice, 6 mjeseci

nakon provedbe

programa, broj

izvješća o sumnjivom

ponašanju porastao

bi za 25%

Primjerice, povećanje

od 10%

Primjerice, leci u

lokalnoj knjižnici nisu

došli do ciljane

skupine

Primjerice, manjak

obučenih djelatnika

za posjete od vrata

do vrata

Primjerice, koristiti

različite distribucijske

kanale

Primjerice, obuka

mora biti obvezna za

sve lokalne

službenike


Riječi zahvale

Zahvaljujemo svim stručnjacima koji su sudjelovali u radionicama i čiji su iscrpni doprinosi

bili neizostavni dio u razvoju ovog priručnika.

Posebno bi željeli spomenuti i zahvaliti se profesoru Mark Leys-u, s Vrijje Universiteit Brussel

(Belgija) koji je pružio iznimnu podršku Tajništvu EUCPN tijekom cijele pripremne faze ovog

instrumentarija te koji je vodio drugu radionicu u Brusselu.

Na kraju, također želimo izraziti našu zahvalnost gđi Eriki Sallander iz švedskog Nacionalnog

vijeća za prevenciju kriminaliteta (Brottsförebyggande rådet - BRA), koja nisu sudjelovala u

radionicama, ali koja je bila iznimno spremna podijeliti svoja znanja u ovoj stvari i dati

povratnu informaciju i neke vrlo korisne komentare o prijašnjoj verziji ovog dokumenta.

Stručnjaci koji su sudjelovali:

Radionica I – 25.03.2013, Dublin, Ireland

Mr. Barry Connan, An Garda Síochána analysis Service, Ireland

Dr. Yvonne Daly, Dublin City University, Ireland

ms. Jenny Jakobson, Ministry of interior, Estonia

Mr. Philip Jennings, Safer Blanchardstown, Dublin, Ireland

Prof. Wolfgang Kahl, German Forum for Crime Prevention (DFK), Germany

Dr. Aogan Mulcahy, University College Dublin, Ireland

Dr. kieran o’Dwyer, Independent Consultant, Ireland

ms. Sarah o’Gorman, South Dublin County Council, Ireland

Supt. Colette Quinn, Director Juvenile Diversion Programme, An Garda Síochána, Ireland

Mr. Sean Redmond, Irish Youth Justice Service, Department of Children and Youth Affairs,

Dublin, ireland

Mr. Gurchand Singh, Head of An Garda Síochána Analysis Service, Ireland

Dr. Helga Sneddon, Centre for Effective Services, Dublin, Ireland

ms. Charlotte vincent, Danish Crime Prevention Council, Denmark

Radionica II – 6.6.2013., Brussels, Belgium

Ms. Ileana Bogatoniu, General Directorate of Bucharest Police – Crime Analysis and

Prevention Department, Romania

Mr. Alessandro Carini, Polizia di Stato – Direzione Centrale Anticriminelle, Italy


Mr. Peter Colle, Local Prevention and Security, City of Ghent, Belgium

Ms. Saskia De Clercq, Ministry of Interior – General Directorate Local and Integral Security,

Belgium

Mr. Tomas Jansson, Police Halland, ECPA Winner 2012, Sweden

Dr. Theo Lorenc, London School of Hygiene & Tropical Medicine, United Kingdom

Mr. Robert Pawlak, Police Headquarters Łódź, Poland

Dr. Aiden Sidebottom, University College London – Department of Security and Crime

science, United Kingdom

Prof. Nick Tilley, University College London – Department of Security and Crime science,

United Kingdom

Mr. Didier Vanbesien, Ministry of Interior – General Directorate Local and Integral Security,

Belgium


Contact details:

EUCPN Secretariat

Phone: +32 2 557 33 30

Fax: +32 2 557 35 23

Email: [email protected]

Website: www.eucpn.org

[D.P : Philip Willekens – Boulevard de de Waterloo 76 – 1000 Brussels]

mailto:[email protected]

http://www.eucpn.org/

European Crime Prevention Network - EUCPNeucpn.org/sites/default/files/document/files/... ·...

Documents

Transcript of European Crime Prevention Network - EUCPNeucpn.org/sites/default/files/document/files/... ·...