Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the...
Transcript of Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the...
![Page 1: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/1.jpg)
Om utvärderingsanalys och kausalitet Rolf Sandahl
![Page 2: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/2.jpg)
Utvärdering - definition Noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer. Vedung
![Page 3: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/3.jpg)
Utvärdering - grundklossar Noggrannhet Bedömning Användning
![Page 4: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/4.jpg)
Noggrannhet? ... program evaluation is the application of systematic research methods to the assessment of program design, implementation, and effectiveness Chelimsky
![Page 5: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/5.jpg)
Värdefrågan
Evaluation is the science of valuing
Scriven
![Page 6: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/6.jpg)
Värdefrågan The fact – value dichotomy is a particularly difficult problem for evaluation since values lie at the heart of evaluation. I doubt that anything in the field has caused more trouble than this belief
House
![Page 7: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/7.jpg)
Värdefrågan? “ Tell me who the evaluator is and I will tell you what the design will be. Tell me the design and I will predict the results, and therefore: Tell me the evaluator and I predict the results!”
Smith
![Page 8: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/8.jpg)
Användbarhet
...evaluation is more art than science and should be oriented toward meeting needs of program decision makers and stakeholders.
Cronbach
![Page 9: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/9.jpg)
Kausalitet?
“Causation. The relation between mosquitos and mosquito bites. Easily understood by both parties but never satisfactorily defined by philosophers or scientists.”
Michael Scriven
9
![Page 10: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/10.jpg)
Att spåra effekter och orsaker
![Page 11: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/11.jpg)
Validitet
![Page 12: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/12.jpg)
Intern validitet
We use the term internal validity to refer to instances about whether observed co-variation between A and B reflects a causal relationship from A to B in the form in which the variables were manipulated or measured.
Shadish, Cook & Campbell
![Page 13: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/13.jpg)
Extern validitet
External validity concerns inferences about the extent to which a causal relationship holds over variations in persons, settings, treatments, and outcomes.
Shadish, Cook & Campbell
![Page 14: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/14.jpg)
Vad menas med kausalitet? Lagbundenhet
Förändrad sannolikhet
Verkande mekanismer Manipulerbarhet
Kontrafakticitet
![Page 15: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/15.jpg)
Humes regler The cause and effect must be contiguous in space and time
The cause must be prior to the effect
There must be a constant union betwixt he cause and effect.
Hume
![Page 16: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/16.jpg)
Kausalitet - lagbundenhet
We may define a cause to be an object followed by another, and where all the objects, similar to the first are followed by objects similar to the second. Or, in other words, where, if the first object had not been, the second never had existed.
Hume
![Page 17: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/17.jpg)
Förändrad sannolikhet
Many factors are usually required for an effect to occur, but we rarely know all of them and how they relate to each other. This is one reason that the causal relationships we discuss in this book are not deterministic but only increase the probability that an effect will occur.
Shadish, Cook & Campbell
![Page 18: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/18.jpg)
INUS-villkor
Insufficient but Necessary part of a complex of conditions which is Unnecessary but Sufficient
Mackie
![Page 19: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/19.jpg)
INUS-villkor
The traditional ´does it work´ question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why?
Pawson
![Page 20: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/20.jpg)
Mekanismer
It is through the notion of program mechanisms that we take the step from asking whether a program works to understanding what it is about a program which makes it work.
Pawson & Tilley
![Page 21: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/21.jpg)
Effektkedja
![Page 22: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/22.jpg)
Effektkedja med mekanismer
![Page 23: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/23.jpg)
Manipulerbarhet
The paradigmatic assertion in causal relationships is that manipulation of a cause will result in the manipulation of an effect. […] Causation implies that by varying one factor I can make another vary.
Cook & Campbell
![Page 24: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/24.jpg)
Manipulerbarhet
Historikernas uppgift är att analysera redan inträffade händelser och försöka förstå orsakssammanhangen bakom dem. Han kan t.ex. ställa sig frågan varför det gick så snabbt och smärtfritt för Tyskland att ockupera Danmark i april 1940 och peka på olika förhållanden som kan ha haft betydelse för detta. Man kan diskutera rimligheten i hans hypoteser, men det är först om dessa förutsättningar kunde manipuleras och vi kunde observera utfallet som vi kan komma bortom sådana spekulationer.
Kjellberg & Sörqvist
![Page 25: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/25.jpg)
Kontrafakticitet
We think of a cause as something that makes a difference, and the difference it makes must be a difference from what would have happened without it.
Lewis
![Page 26: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/26.jpg)
Kontrafaktisk utveckling? Insats Effekt Faktisk utveckling
![Page 27: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/27.jpg)
Problem
Vilket är det kontrafaktiska scenariot till orsaken?
Ingen insats?
En modifierad insats?
En annan insats?
![Page 28: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/28.jpg)
Kontrafakticitet Om den statliga satsningen inte leder till ökad fortbildning utan bara ersätter fortbildning som ändå skulle ha genomförts, kan vi tala om en nolleffekt Statskontoret
![Page 29: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/29.jpg)
Kausalitet och utvärderingsdesign
![Page 30: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/30.jpg)
Experiment
Målet med ett experiment är att påvisa orsakssamband mellan en oberoende variabel och en beroende variabel, och experiment är den enda typ av undersökning som med säkerhet kan fastslå att ett sådant samband föreligger. Andra metoder där forskaren inte manipulerar något (t.ex. intervjuer eller enkäter) kan alltså aldrig ge ett ovedersägligt underlag för att förklara varför något sker.
Kjellberg & Sörqvist
![Page 31: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/31.jpg)
Kausalitet och experiment
Hence experiments are well-suited to studying causal relationships. No other scientific method regularly matches the characteristics of causal relationships so well.
Shadish, Cook & Campbell
![Page 32: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/32.jpg)
Gradering av vetenskaplig säkerhet (5) randomisering mellan program och kontroll, (4) för- och eftermätning med kontrollgrupp och statistisk
kontroll för andra förklaringsvariabler, (3) för- och eftermätning med kontrollgrupp men utan statistisk
kontroll, (2) för- och eftermätning utan kontrollgrupp och (1) Sambandsstudier
![Page 33: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/33.jpg)
Utbildningsdepartementet USA Proposed evaluation strategies that use neither experimental designs with random assignment nor quasi-experimental designs using a matched comparison group nor regression discontinuity designs will not be considered responsive to the priority when sufficient numbers of participants are available to support those designs.
33
![Page 34: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/34.jpg)
Extern validitet
External validity concerns inferences about the extent to which a causal relationship holds over variations in persons, settings, treatments, and outcomes.
Shadish, Cook & Campbell
![Page 35: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/35.jpg)
Variation
Practical social action, in contrast [to science], must recognize diversity at an early date. Striking an average over diverse phenomena is almost never enough; the task is to understand the diversity.
Cronbach
![Page 36: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/36.jpg)
Vad behöver vi veta? The traditional ´does it work? ´question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why. Ray Pawson
36
![Page 37: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/37.jpg)
Orsakbeskrivning - ej orsaksförklaring
Även om vi dokumenterat rektorns betydelse för hur en skola fungerar är det svårt att karaktärisera vad ett gott ledarskap består av eller att identifiera faktorer som kan förutspå ett gott ledarskap.
IFAU
![Page 38: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/38.jpg)
Mekanismer Ett genomgående tema i översikten har varit att vi för program efter program vet relativt lite om vilken typ av arbetslösa som gynnas av en specifik insats. Sådan kunskap är viktig eftersom det är möjligt att ett visst program fungerar bra för en viss typ av arbetslösa men sämre för andra.
IFAU
![Page 39: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/39.jpg)
Teoretisk bakgrund
Det polisiärt brottsförebyggande arbetet i Sverige vilar inte på någon tydlig teoretisk grund, vilket bland annat får till följd att möjligheterna att på ett tillfredställande sätt utvärdera verksamheten försvåras.
Brå
![Page 40: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/40.jpg)
Att kombinera upplägg
[…] den kvalitativa syntesen används för att tolka resultaten av den kvantitativa syntesen, eller för att besvara frågeställningar som den kvantitativa analysen inte ger svar på.
SBU
![Page 41: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/41.jpg)
Politik
Samtidigt som jobbskatteavdraget infördes gjordes vidare flera andra regelförändringar som kan ha påverkat arbetsutbudet och sysselsättningen, t.ex. förändringar i arbetslöshetsförsäkringen, sjukförsäkringen och socialavgifterna, vilket innebär att det är svårt att identifiera den isolerade effekten av jobbskatteavdraget.
Prop 2011/12:1
![Page 42: Om utvärderingsanalys och kausalitet - · PDF filefrom A to B in the form in which the variables were manipulated or ... och peka på olika förhållanden som kan ha haft ... Målet](https://reader034.fdocuments.us/reader034/viewer/2022051723/5aac9a737f8b9a693f8d4462/html5/thumbnails/42.jpg)
TILLVARATAGNA EFFEKTER