Diagnostik und Evaluation - Uni Trier: Willkommen · STEPP-Items STEPT-Items 01 K Im heutigen...
Transcript of Diagnostik und Evaluation - Uni Trier: Willkommen · STEPP-Items STEPT-Items 01 K Im heutigen...
Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?
1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und EvaluationLiteraturBastine, R. (1998, 3. Auflage). Klinische Psychologie, Bd. 1. Stuttgart: Kohlhammer.Krampen, G. (1998). Diagnostik nach der ICD-10. Report Psychologie, 23, 44-63.Krampen, G. (2002). Stundenbogen für die Allgemeineund Differentielle Einzel-Psychotherapie (STEP).Handanweisung und Verbrauchsmaterialien.Göttingen: Hogrefe.Krampen, G. & Hank, P. (2006). Prozessdiagnostik und kontrollierte Praxis. In B. Röhrle, F. Caspar & P. Schlottke (Hrsg.), Lehrbuch der klinisch-psychologischen Diagnostik. Stuttgart: Kohlhammer (Im Druck; Manuskript im SA Krampen).Patry, J.-L. & Perrez, M. (2000). Theorie-Praxis-Probleme und die Evaluation von Interventionsprogrammen. In W. Hager, J.-L. Patryund H. Brezing (Hrsg.). Handbuch Evaluation psychologischer Interventionsmaßnahmen (S. 19-38). Bern: Huber.Petermann F. (1982). Einzelfalldiagnose und klinische Praxis. Stuttgart: Kohlhammer.
Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?
1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
(aus Krampen, 2002)
Schritte und Elemente des diagnostischen ProzessesSchritte und Elemente des diagnostischen Prozesses
nach Krampen (1995, 1998, 2002)
Prozessdiagnostik: Formative Indikation und EvaluationProzessdiagnostik: Formative Indikation und Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?
1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?
1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?
1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Wissenschaftliche Fundierung der Praxis– Nachweis der beabsichtigten Wirksamkeit– Erklärung der Wirkmechanismen
Kontrollierte Praxis (Petermann, 1982)Generierung von HypothesenGenerierung von HypothesenÜÜberprberprüüfung von Hypothesenfung von HypothesenAufstellen von Aufstellen von AnwendungsregelnAnwendungsregeln und und EffektivitEffektivitäätsbehauptungentsbehauptungenVergleichende Vergleichende ÜÜberprberprüüfung der fung der AnwendungsregelnAnwendungsregelnBeurteilung der Beurteilung der AnwendungsregelnAnwendungsregeln in der in der PraxisPraxis
NomologischeNomologischeTheorieTheorie
TechnologischeTechnologischeTheorieTheorie
NomologischeNomologischeAussageAussage
BasissatzBasissatz BasissatzBasissatz
TechnologischeTechnologischeAussage (Regel)Aussage (Regel)
PraktischePraktischeHandlungHandlung
GG--ErklErkläärungrung
EE--ErklErkläärungrung
FundierungFundierung
EvaluationEvaluationPraktischePraktischeUmsetzungUmsetzung
AA
BB--AA
BungeBunge--AlgorithmusAlgorithmus
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?
1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Qualitätssicherung– Globalziel 31 der WHO– SGB V, Psychotherapierichtlinien
Sicherstellung eines hohen Sicherstellung eines hohen Leistungsstandards in der Leistungsstandards in der ambulanten und stationambulanten und stationäären ren VersorgungVersorgung
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit3. Rahmenkonzept der Evaluation
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit3. Rahmenkonzept der Evaluation
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit3. Rahmenkonzept der Evaluation
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
A Evaluation der ProgrammkonzeptionAntizipatorische oder prospektive Evaluation
B Formative EvaluationFortlaufende Evaluation, ggf. Modifikationder Programmkonzeption
C Eval. der ProgrammdurchführungImplementations- und BegleitforschungProzessevaluation
D Evaluation der ProgrammwirksamkeitProzessevaluation, Ergebnis- oder Erfolgsevaluation
E Evaluation der ProgrammeffizienzKosten-Nutzen und Kosten-Effektivitäts-Analysen
Vor derErprobung
Während derDurchführung
Während derErprobung
Nach derDurchführung
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
Wirksamkeit Wirkmodell
Kompetenz(Disposition)
Basissatz
Wirkungs-Komponenten
undWirkungsweisen
Wirkungs-mechanismen
undWirkprozesse
Warum hat P Wirkung?Warum hat P Wirkung?
wodurchwodurchProgrammProgramm PersonenPersonen
Hat P Wirkung? Wie groHat P Wirkung? Wie großß??
Keine Programm bezogene Theorie Programm bezogene Theorie
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
Methodische Probleme der ProzessdiagnostikReliabilität der DifferenzwerteKorrelation von Anfangs- und DifferenzwertValiditätsproblem der Veränderungsmessung
Verallgemeinerung der TestmodelleDreidimensionale DatenstrukturLernen während der TestbearbeitungBestimmung der Ursachen einer Veränderung
Formen der VeränderungsmessungDirekte vs. Indirekte Veränderungsmessung
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung
1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation
2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
...5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
STEPPSTEPP--ItemsItems STEPTSTEPT--ItemsItems01 K Im heutigen Gespräch erschienen mit einige
meiner Schwierigkeiten in einem neuen Licht.02 P Heute habe ich praktische Hinweise zur
Bewältigung meiner Schwierigkeiten erhalten.03 B Ich konnte den Aussagen des/der Th. gut
folgen.04 K In der heutigen Sitzung habe ich mehr Einsicht
in meine Person und Probleme gewonnen.05 P Ich habe heute neue Verhaltensmöglichkeiten
kennen gelernt.06 B Ich habe heute von dem/der Th. Hilfe und
Unterstützung bekommen.07 K Heute ist mir klarer geworden, was ich
eigentlich will.08 P Das, was ich heute erfahren habe, wird mir in
Zukunft eine Hilfe sein, mit meinen Schwierigkeiten besser umgehen zu können.
09 KHeute gelang es mir, mein Problem differenzierter zu sehen.
10 B Ich fühlte mich heute von dem/der Th. verstanden.
11 K Ich konnte heute meine Probleme von einer neuen Warte sehen.
12 PWas ich heute gelernt habe, wird mir auch außerhalb der Sitzung helfen, mich anders zu verhalten.
Der/Die P. hat heute einige seiner/ihrer Schwierigkeiten aus einer anderen Perspektive sehen können.Heute habe ich dem/der P. praktische Anleitungen zur Problembewältigung gegeben.Der/Die P. konnte meinen Aussagen gut folgen.In der heutigen Sitzung gelang es dem/der P. mehr Einsicht in seine/ihre Probleme zu gewinnen.Der/Die P. hat heute neue Verhaltensmöglichkeiten kennen gelernt.Der/Die P. nahm heute meine Hilfe und Unterstützung an.Dem/Der P. ist klarer geworden, was er/sie eigentlichwill.Das, was der/die P. heute erfahren hat, kann er/sie auch zukünftig zur Problembewältigung einsetzen.
Der/Die P. hat sein/ihr Problem differenzierter sehen können.Der/Die P. fühlte sich heute von mir verstanden.
Der/Die P. hat heute eine vertiefte Einsicht in seine/ihre Probleme bekommen.Die heute vermittelten Inhalte werden dem/der P. auch außerhalb der Sitzung helfen, sich anders zu verhalten.
80
70
60
50
40
30
20
T-Wert
STEP-Verlaufsauswertung Code: _____________________ Blatt-Nr.: _____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
Sitzung-Nr. ____
STEPP-K:STEPP-P:STEPP-B:
Abbildung 6Beispiel für die STEPP-Verlaufsauswertung der ersten Sitzungen einer ambulanbei einem Patienten mit einer generalisierten Angststörung (Studie IV)
1 2 3 4 5 6 7 8 9
1
STEPSTEP--KonstruktionKonstruktionKonzeptorientierte Itemformulierung – Klärungsperspektive: 4 Items– Problembewältigungsperspektive: 4 Items– Beziehungsperspektive – Problemaktualisierung: 3 Items– Beziehungsperspektive – Ressourcenaktivierung: 3 Items
Vorstudie– N = 170 ambulante Pat. und ihre 25 Th.
Faktorenanalysen– Scree-Tests führten zu 3-faktoriellen Lösungen mit reinen
Ladungen für die Faktoren:Klärungsperspektive: 5 ItemsProblembewältigungsperspektive: 4 ItemsBeziehungsperspektive: 3 Items
Interne Konsistenz der Subskalen– Cronbach‘s alpha: .68 < rtt < .87
Profilreliabilität– rtt/prof = .54 (STEPP) und .67 (STEPT)
0
1
2
3
4
5
6
1 2 3 4 5 6 7 8 9 10
Faktor
Data #1
Therapeuten/innen-Bogen
Patienten/innen-Bogen
Eigenwert
Faktor
Abbildung 7Eigenwertverläufe der Faktoren für die Stundenbogen für Patienten/innenund für Therapeuten/innen in Vorstudie I (N = 170)
0
1
2
3
4
5
1 2 3 4 5 6 7 8 9 10
Faktor
Therapeuten/innen-Bogen
Patienten/innen-Bogen
Faktor
Eigenwert
Abbildung 8Eigenwertverläufe der Faktoren für die Stundenbogen für Patienten/innen undfür Therapeuten/innen (jeweils N = 254 aus den Studien II, III, VI, XIII-X)
Faktorenanalytische Replikation (N = 254)Faktorenanalytische Replikation (N = 254)
STEPP Fakt. I Fakt. II Fakt. III01 K .82 .15 .1502 P .19 .67 .0103 B .13 .16 .7704 K .80 .17 .1205 P .11 .71 .0206 B .21 .03 .7407 K .02 .45 .6308 P .22 .68 .1509 K .81 .16 .1210 B .05 .40 .6311 K .83 .22 .0612 P .17 .70 .19-----------------------------------------------eij 4.21 1.64 1.46rel. Var. 35.1% 13.6% 12.2%
STEPT Fakt. I Fakt. II Fakt. III.80 .08 .17.30 .71 .08.15 .04 .79.65 .28 .23.14 .78 .24.04 .13 .85.47 .27 .36.28 .71 .01.83 .16 .03.30 .28 .52.70 .33 .09.11 .81 .18
-----------------------------------------------4.73 1.34 1.2939.4% 11.2% 10.7%
Varianzaufklärung: 60.9% Varianzaufklärung: 61.3%~
AusgewAusgewäählte Befunde:hlte Befunde:(1) Variationsunterschiede im Erleben der Wirkfaktoren (1) Variationsunterschiede im Erleben der Wirkfaktoren
zwischen Patienten/innen und Therapeuten/innenzwischen Patienten/innen und Therapeuten/innen
Korrelationen innerhalb und zwischen den STEPP- und STEPT-Skalen (N = 592; MMMT-Analyse)------------------------------------------------------------------------------------------
STEPP (Q-Daten) STEPT (L´-Daten)-K -P -B -K -P -B
------------------------------------------------------------------------------------------STEPP-K (Q) 1.00 .61 .40 .41 .24 .30STEPP-P (Q) 1.00 .49 .31 .52 .19STEPP-B (Q) 1.00 .17 .29 .51
STEPT-K (L´) 1.00 .40 .48STEPT-P (L´) 1.00 .43STEPT-B (L´) 1.00------------------------------------------------------------------------------------------Alle Korrelationskoeffizienten: **p < .01
Konvergent: .48Diskriminant: .25Differenz: .23**
rtt/prof = .66
rtt/prof = .71r2 = .23
AusgewAusgewäählte Befunde:hlte Befunde:(2) Lokationsunterschiede im Erleben der Wirkfaktoren (2) Lokationsunterschiede im Erleben der Wirkfaktoren
zwischen Patienten/innen und Therapeuten/innenzwischen Patienten/innen und Therapeuten/innen
Mittelwertsvergleiche der STEPP- und STEPT-Skalenwerte für 11 Studien
STEPP- versus STEPT-Skala (t-Tests)Studie N -K -P -B
1. 210 T=P T<P T<P2. 125 T<P T>P T<P3. 30 T<P T<P T<P4. 840 T=P T<P T<P5. 312 T=P T>P T=P6. 322 T>P T<P T>P7. 125 T<P T>P T=P8. 85 T>P T=P T=P9. 144 T>P T=P T=P10. 432 T<P T>P T=P11. 112 T>P T>P T<P
T = P: 10 xT > P: 10 xT < P: 13 x
T > P: 4x 5x 1xT < P: 4x 4x 5xT = P: 3x 2x 5x
AusgewAusgewäählte Befunde:hlte Befunde:(3) Erleben und Wahrnehmung der Wirkfaktoren in (3) Erleben und Wahrnehmung der Wirkfaktoren in unterschiedlichen Therapiesettings und unterschiedlichen Therapiesettings und ––phasenphasen
ambulante vs stationäre Behandlungen: 2.86(6/986)
therap. Schwerpunktverfahren: 2.06+
(12/938)Berufserfahrung der Therapeuten: 4.12* (6/146)Anfangs- vs Endphase amb. Behandlung: 2.28
(6/642)Anfangs- vs Mittelphase stat. Behandl.: 0.79
(6/620)unterschiedliche Primärdiagnosen: 1.84 (12/377)
Therapiesetting MANOVA-F (df1/df2)
AusgewAusgewäählte Befunde:hlte Befunde:(4) Korrelate der STEPP(4) Korrelate der STEPP--SkalenSkalen
Soz. Erwünschtheit (MCSD) .10 .15 .19
Therapiemotivation (FMP-1) .28** .16 .32**Depressivität (BDI) -.12 .09 .32**Symptombelastung (AT-SYM) .18 .21 .45**
Private objektive SA (SAM) .55** .27** .21*Selbstwirksamkeit (FKK-SKI) .45** .34** .23*
Pat.-Zufriedenheit mit Sitzung .16** .21** .71**Perz. Pat.-Zuf. durch Therapeut .24** .31** .69**
Variable STEPP-K STEPP-P STEPP-B
AusgewAusgewäählte Befunde:hlte Befunde:(5) Kurzfristiger Vorhersagewert der STEP(5) Kurzfristiger Vorhersagewert der STEP--Skalen ...Skalen ...
... für die Zufriedenheit mit der Therapiesitzung (N = 432)------------------------------------------------------------------------------------------
---------Pat.-Zufriedenheit perzipierte Pat.-
ZufriedenheitPrädiktor rcrit beta rcrit beta------------------------------------------------------------------------------------------
---------STEPP-K .16** .14STEPP-P .21** .11STEPP-B .71** .49**STEPT-K .24** .32STEPT-P .31** .41STEPT-B .69** .91**------------------------------------------------------------------------------------------
---------R (R2) .78** (.61) .76** (.58)
AusgewAusgewäählte Befunde:hlte Befunde:(4) Korrelate der STEPP(4) Korrelate der STEPP--SkalenSkalen
Soz. Erwünschtheit (MCSD) .10 .15 .19
Therapiemotivation (FMP-1) .28** .16 .32**Depressivität (BDI) -.12 .09 .32**Symptombelastung (AT-SYM) .18 .21 .45**
Private objektive SA (SAM) .55** .27** .21*Selbstwirksamkeit (FKK-SKI) .45** .34** .23*
Pat.-Zufriedenheit mit Sitzung .16** .21** .71**Perz. Pat.-Zuf. durch Therapeut .24** .31** .69**
Variable STEPP-K STEPP-P STEPP-B
AusgewAusgewäählte Befunde:hlte Befunde:(5) Kurzfristiger Vorhersagewert der STEP(5) Kurzfristiger Vorhersagewert der STEP--Skalen ...Skalen ...
... für die Zufriedenheit mit der Therapiesitzung (N = 432)------------------------------------------------------------------------------------------
---------Pat.-Zufriedenheit perzipierte Pat.-
ZufriedenheitPrädiktor rcrit beta rcrit beta------------------------------------------------------------------------------------------
---------STEPP-K .16** .14STEPP-P .21** .11STEPP-B .71** .49**STEPT-K .24** .32STEPT-P .31** .41STEPT-B .69** .91**------------------------------------------------------------------------------------------
---------R (R2) .78** (.61) .76** (.58)
AusgewAusgewäählte Befunde:hlte Befunde:(6) Langfristiger Vorhersagewert der STEP(6) Langfristiger Vorhersagewert der STEP--Skalen ...Skalen ...
... für den Therapieerfolg (3-Jahres-Katamnese bei 55 ambulanten Pat. mit depressiven Störungen)---------------------------------------------------------------------------------------------------Prädiktor BDI-Wert-Reduktion BDI-Wert-Reduktion(letzte Sitzung) rcrit beta rcrit beta---------------------------------------------------------------------------------------------------STEPP-K .64** .73**STEPP-P .45** .49STEPP-B .41** .19STEPT-K .42** .31STEPT-P .57** .83**STEPT-B .69** .64---------------------------------------------------------------------------------------------------R (R2) .75** (.56) .73** (.53)
Fazit zur STEPFazit zur STEP--EmpirieEmpirie
STEP sind ökonomisch und mit hoher Akzeptanz einsetzbare Verfahren für die Prozessdiagnostik in der Allgemeinen und auch in der schwerpunkt-orientierten Psychotherapie
Fazit zur STEPFazit zur STEP--EmpirieEmpirie
STEP ergänzen sinnvoll die Therapie-Dokumentation und unterstützen die Dokumentationspflicht
Fazit zur STEPFazit zur STEP--EmpirieEmpirie
Psychometrisches zu den STEP– gute Skalen- und Profil-Reliabilitäten– STEP-Struktur ist a posteriori faktorenanalytisch replizierbar– STEPP und STEPT ergänzen sich sinnvoll
gemeinsame Variation: maximal 27 %signifikante Lokationsunterschiede
– STEP erwiesen sich bislang als unabhängig von ...Therapie-Setting (ambulant versus stationär)BehandlungsphaseStörungsbild der Patienten
– STEP variieren dagegen mit ...der Berufserfahrung von Therapeutenin der Tendenz mit dem therap. Schwerpunktverfahren
– STEP haben prognostische Validität für ...Zufriedenheit mit der Sitzunglängerfristigen Therapieerfolg bei depressiven Patienten
Diagnostik und EvaluationDiagnostik und Evaluation
1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung
2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit
3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation
1. GAS2. STEPP/STEPT3. VEV
5. Untersuchungsdesigns zur Evaluation
Veränderungsfragebogen des Erlebens und Verhaltens
AutorenAnwendungs-bereich
Zielke, M & Kopf-Mehnert, C. (1978).Psychotherapiepatienten
Bearbeitungs-zeit
10-15 Minuten
Testintention Fragebogen zur quantitativen Einschätzungder subjektiv wahrgenommenen Veränderungen im Erleben und Verhalten. Direkte Erfassung der eingeschätzten Veränderung
Veränderungsfragebogen des Erlebens und Verhaltens
Entwicklung Zusammenstellung von Aussagen, von Psychotherapiepatienten vor, während und nach therapeutischen Sitzungen im Hinblick auf Änderungen im Erleben und Verhalten.Außerdem wurden Aussagen mit verschiedenen Aspekten der Selbstwahrnehmung aufgegriffen und in Komparativform gebracht, um Änderungen gegenüber dem vorhergehenden Zeitpunkt auszudrücken.
Veränderungsfragebogen des Erlebens und Verhaltens
Aufbau undAuswertung
42 Items, siebenfach gestuft (-3 bis +3)
VEV-R-2001 enthält bipolar formulierte Items
Items bilden einen bipolarer Faktor mit den Polen „Entspannung, Gelassenheit und Optimismus“ vs. Spannung, Unsicherheit und Pessimismus“
Kodierung der Antworten positiv formulierte Inhalte von +7 bis 1, für negativ formulierte Inhalte ist die Kodierung umgekehrt
42 < Gesamtwert < 294Grafische Aufbereitung des Ergebnisses
Veränderungsfragebogen des Erlebens und Verhaltens
Gütekriterien Objektivität: gegebenReliabilität
Split Half Relibilität: .97 < r < .99Innere Konsistenz: .96 < r < .99Stabilität: r = .61
Validitätkonvergente Validität: .29 < r < .61diskriminante Validität: -.11 < r < -.18
Keine Zuordnung von Rohwerten zu Standardwerten
Normierung
Gegenüberstellung von Einzelfall- und Gruppenanalyse
Kleine StichprobengrößeViele Messwiederholungen
Messfehlerkontrolle über die Zeit möglich
Stichprobeneffekte und Generalisierung der Ergebnisse durch ReplikationFeldforschungAufwand für Datenerhebung: viele Erhebungszeitpunkte
Große StichprobeWenige (2-3) MesswiederholungenMessfehlerkontrolle über längere Zeitabschnitte nicht möglichStichprobeneffekte und Generalisierung der Ergebnisse durch KreuzvalidierungLaborforschungAufwand für Datenerhebung: viele Personen
Gegenüberstellung von Einzelfall- und Gruppenanalyse
Kleine StichprobengrößeViele Messwiederholungen
Messfehlerkontrolle über die Zeit möglich
Stichprobeneffekte und Generalisierung der Ergebnisse durch ReplikationFeldforschungAufwand für Datenerhebung: viele Erhebungszeitpunkte
Große StichprobeWenige (2-3) MesswiederholungenMessfehlerkontrolle über längere Zeitabschnitte nicht möglichStichprobeneffekte und Generalisierung der Ergebnisse durch KreuzvalidierungLaborforschungAufwand für Datenerhebung: viele Personen
1. Singuläre Hypothesen2. Pseudosinguläre Hypothesen3. Unbestimmte Existenzhypothesen4. Bestimmte (lokalisierende) Existenzhypothesen5. Quasi-universelle Hypothesen6. Beschränkte universelle Hypothesen7. Unbeschränkte universelle Hypothesen8. Aggregat-Hypothesen
Hypothesen und Hypothesengenerierung
Anzahl der verschiedenen Phasen im Untersuchungszeitraum,Sequenz der Wiederholungen dieser Phasen,Anzahl der Messungen an verschiedenen Versuchspersonen zum gleichen Zeitpunkt,der Anzahl der pro Phase zu erfassenden Variablen,Auswahl der Bezugsgrößen undBei Interventionsstudien: Veränderungen der Anforderungen in der Zeit
Einzelfall-Untersuchungsdesign
Interaktionsdesign
000 I1 0 I1 0 I1 0 I2 0 I2 0 I2 0 I1 I2 0 I1 I2 0 I1 I2 0
Phase 1 Phase 2 Phase 3 Phase 4
Phase 1 Datenregistrierung ohne InterventionPhase 2 Datenregistrierung und Intervention 1Phase 3 Datenregistrierung und Intervention 2Phase 4 Datenregistrierung und
Intervention 1 und 2 kombiniert
Validität von Einzelfalldesigns
Zwischenzeitliche GeschehenReaktive InterventionInterferenz multipler InterventionenInstrumentationInstabilitätExperimentelle EinbußenInteraktion von Selektion und anderen Störfaktoren