Prof. Petra Riemer-Hommel, Ph.D.1 Deckblatt Ökonomische Evaluation – Definitionen/Anwendungen.

Prof. Petra Riemer-Hommel, Ph.D. 1

Deckblatt

Ökonomische Evaluation –

Definitionen/Anwendungen


„The power of these analytic techniques should not be overstated. None of the approaches is intended to be a magic formula for removal of judgment, responsibility, or risk from decision making activities, though each is capable of improving the quality and consistency of decision-making.“

Drummond et. al. 1997


Selbst denken! – Ziel der evidenzbasierten Forschung

Sapere aude!

„Du siehst die Welt freylich nicht, wie sie ist, sondern wie

man sie von deinem Standorte, durch das von deinen

Wünschen gefärbte Glas sehen kann; und dieser Standort

ist dir zu lieb, als dass du ihn verlassen wolltest.“

Adam Weishaupt (1778)

„Du sollst nicht Gedanken, sondern denken lernen!“

Immanuel Kant (1765)


Ökonomische Evaluation - Zielsetzung

Ökonomische Evaluation beantwortet 2 Fragen:

(1) Ist es ein Programm, eine Leistung, eine Prozedur wert

angeboten zu werden, oder sollten die dazu benötigten

Ressourcen anderen Verwendungszwecken zugeführt

werden?

(2) Sind wir damit zufrieden, dass die Ressourcen diesem

und keinem anderen Verwendungszweck zugeführt

werden?



Vorab zu beantworten:

(1) Kann es funktionieren? (efficiacy)

(2) Funktioniert es? (effectiveness)

(3) Erreicht es diejenigen, die es benötigen? (availability)



Motivation:

(1) Systematische Analyse hilft alle relevanten Alternativen zu

identifizieren

(2) Unterschiedliche Perspektiven können zu unterschiedlichen

Entscheidungen führen

(3) Ohne Messversuch gibt es keine fundierte Entscheidung


Ökonomische Evaluation - KlassifikationWerden sowohl Kosten (inputs) als auch Ergebnisse (outputs) der Alternativen untersucht?

Werden 2 oder mehr

Alternativen

verglichen?

Nein Nein Ja

Nur Ergebnisse

Nur Kosten

Ergebnisbe-schreibung

Kostenbe-

schreibung

Kosten-Ergebnis Beschreibung

Ja Wirksam-

keits oder Effektivtäts-analyse

Kosten-

Analyse

Kostenminimierungs- Analyse

Kosten-Effektivitätsanalyse

Kosten-Nutzwertanalyse

Kosten-Nutzen Analyse

(Messung der Effizienz)


Ökonomische Evaluation - Vorgehensweise

1. Definition der zu untersuchenden Alternativen2. Kosten und Ergebnisse erfassen3. Quantifizieren und Bewerten von Kosten und Ergebnissen4. Vergleich der Kosten und Ergebnisse5. Sensitivitätsanalyse6. Verteilungsgesichtspunkte

Bewertung ökonomischer Evaluationsstudien

1. Wurde eine klar definierte, beantwortbare Frage gestellt?

2. Wurde eine umfassende Beschreibung der vorliegenden Alternativen gegeben?

3. Wurde die Effektivität der Programme oder Leistungen etabliert?

4. Wurden alle wichtigen und relevanten Kosten und Ergebnisse für alle Alternativen identifiziert?

5. Wurden alle Kosten und Ergebnisse in angemessenen physischen Einheiten gemessen?



6. Wurden Kosten und Ergebnisse glaubwürdig bewertet? 7. Wurden Kosten und Ergebnisse für unterschiedliche Zeitpunkte

adjustiert?8. Wurde eine inkrementelle Analyse für Kosten und Ergebnisse der

Alternativen vorgenommen?9. Wurde Unsicherheit bei der Schätzung von Kosten und

Ergebnissen berücksichtigt? 10. Wurden in der Diskussion der Ergebnisse alle für den Nutzer

relevanten Punkte angesprochen?



Hannoveraner Konsens (siehe Handout)


Standards DeGEval - Nützlichkeit


N1 Identifizierung der Beteiligten und BetroffenenDie am Evaluationsgegenstand beteiligten oder von ihm betroffenen Personen bzw. Personengruppen sollen identifiziert werden, damit deren Interessen geklärt und so weit wie möglich bei der Anlage der Evaluation berücksichtigt werden können.

N2 Klärung der EvaluationszweckeEs soll deutlich bestimmt sein, welche Zwecke mit der Evaluation verfolgt werden, so dass die Beteiligten und Betroffenen Position dazu beziehen können und das Evaluationsteam einen klaren Arbeitsauftrag verfolgen kann.

N3 Glaubwürdigkeit und Kompetenz des Evaluators / der EvaluatorinWer Evaluationen durchführt, soll persönlich glaubwürdig sowie methodisch und fachlich kompetent sein, damit bei den Evaluationsergebnissen ein Höchstmaß an Glaubwürdigkeit und Akzeptanz erreicht wird.

Standards DeGEval - Nützlichkeit


N4 Auswahl und Umfang der InformationenAuswahl und Umfang der erfassten Informationen sollen die Behandlung der zu untersuchenden Fragestellungen zum Evaluationsgegenstand ermöglichen und gleichzeitig den Informationsbedarf des Auftraggebers und anderer Adressaten und Adressatinnen berücksichtigen.

N5 Transparenz von WertenDie Perspektiven und Annahmen der Beteiligten und Betroffenen, auf denen die Evaluation und die Interpretation der Ergebnisse beruhen, sollen so beschrieben werden, dass die Grundlagen der Bewertungen klar ersichtlich sind.

N6 Vollständigkeit und Klarheit der BerichterstattungEvaluationsberichte sollen alle wesentlichen Informationen zur Verfügung stellen, leicht zu verstehen und nachvollziehbar sein.

N7 Rechtzeitigkeit der EvaluationEvaluationsvorhaben sollen so rechtzeitig begonnen und abgeschlossen werden, dass ihre Ergebnisse in anstehende Entscheidungsprozesse bzw. Verbesserungsprozesse einfließen können.

N8 Nutzung und Nutzen der EvaluationPlanung, Durchführung und Berichterstattung einer Evaluation sollen die Beteiligten und Betroffenen dazu ermuntern, die Evaluation aufmerksam zur Kenntnis zu nehmen und ihre Ergebnisse zu nutzen.

Standards DeGEval - Durchführbarkeit

D1 Angemessene VerfahrenEvaluationsverfahren, einschließlich der Verfahren zur Beschaffung notwendiger Informationen, sollen so gewählt werden, dass Belastungen des Evaluationsgegenstandes bzw. der Beteiligten und Betroffenen in einem angemessenen Verhältnis zum erwarteten Nutzen der Evaluation stehen.

D2 Diplomatisches VorgehenEvaluationen sollen so geplant und durchgeführt werden, dass eine möglichst hohe Akzeptanz der verschiedenen Beteiligten und Betroffenen in Bezug auf Vorgehen und Ergebnisse der Evaluation erreicht werden kann.

D3 Effizienz von EvaluationDer Aufwand für Evaluation soll in einem angemessenen Verhältnis zum Nutzen der Evaluation stehen.


Standards DeGEval - Fairness F1 Formale Vereinbarungen

Die Pflichten der Vertragsparteien einer Evaluation (was, wie, von wem, wann getan werden soll) sollen schriftlich festgehalten werden, damit die Parteien verpflichtet sind, alle Bedingungen dieser Vereinbarung zu erfüllen oder aber diese neu auszuhandeln.

F2 Schutz individueller RechteEvaluationen sollen so geplant und durchgeführt werden, dass Sicherheit, Würde und Rechte der in eine Evaluation einbezogenen Personen geschützt werden.

F3 Vollständige und faire ÜberprüfungEvaluationen sollen die Stärken und die Schwächen des Evaluationsgegenstandes möglichst vollständig und fair überprüfen und darstellen, so dass die Stärken weiter ausgebaut und die Schwachpunkte behandelt werden können.

F4 Unparteiische Durchführung und BerichterstattungDie Evaluation soll unterschiedliche Sichtweisen von Beteiligten und Betroffenen auf Gegenstand und Ergebnisse der Evaluation in Rechnung stellen. Berichte sollen ebenso wie der gesamte Evaluationsprozess die unparteiische Position des Evaluationsteams erkennen lassen. Bewertungen sollen fair und möglichst frei von persönlichen Gefühlen getroffen werden.

F5 Offenlegung der ErgebnisseDie Evaluationsergebnisse sollen allen Beteiligten und Betroffenen soweit wie möglich zugänglich gemacht werden.


Standards DeGEval - Genauigkeit

G1 Beschreibung des EvaluationsgegenstandesDer Evaluationsgegenstand soll klar und genau beschrieben und dokumentiert werden, so dass er eindeutig identifiziert werden kann.

G2 KontextanalyseDer Kontext des Evaluationsgegenstandes soll ausreichend detailliert untersucht und analysiert werden.

G3 Beschreibung von Zwecken und VorgehenGegenstand, Zwecke, Fragestellungen und Vorgehen der Evaluation, einschließlich der angewandten Methoden, sollen genau dokumentiert und beschrieben werden, so dass sie identifiziert und eingeschätzt werden können.

G4 Angabe von InformationsquellenDie im Rahmen einer Evaluation genutzten Informationsquellen sollen hinreichend genau dokumentiert werden, damit die Verlässlichkeit und Angemessenheit der Informationen eingeschätzt werden kann.


Standard DeGEval - Genauigkeit

G5 Valide und reliable InformationenDie Verfahren zur Gewinnung von Daten sollen so gewählt oder entwickelt und dann eingesetzt werden, dass die Zuverlässigkeit der gewonnenen Daten und ihre Gültigkeit bezogen auf die Beantwortung der Evaluationsfragestellungen nach fachlichen Maßstäben sichergestellt sind. Die fachlichen Maßstäbe sollen sich an den Gütekriterien quantitativer und qualitativer Sozialforschung orientieren.

G6 Systematische FehlerprüfungDie in einer Evaluation gesammelten, aufbereiteten, analysierten und präsentierten Informationen sollen systematisch auf Fehler geprüft werden.

G7 Analyse qualitativer und quantitativer InformationenQualitative und quantitative Informationen einer Evaluation sollen nach fachlichen Maßstäben angemessen und systematisch analysiert werden, damit die Fragestellungen der Evaluation effektiv beantwortet werden können.

G8 Begründete SchlussfolgerungenDie in einer Evaluation gezogenen Folgerungen sollen ausdrücklich begründet werden, damit die Adressatinnen und Adressaten diese einschätzen können.

G9 Meta-EvaluationUm Meta-Evaluationen zu ermöglichen, sollen Evaluationen in geeigneter Form dokumentiert und archiviert werden.


Ökonomische Evaluationsstandards - DeGEVAL

Handlungsorientierung Qualitätsmaßstab? Übertragung auf Bildung?/ Wirtschaftspolitik?


Economic evaluators survival guide

See Drummond et al (2005) pp. 365-367


Kostenanalyse

Analyse der Kosten alternativer Behandlungen oder Programme (Aspekt der in allen ökonomischen Evaluationen vorkommt)

Relative Effektivität der zu vergleichenden Methoden ist nicht relevant

Beispiel: Langzeit-Sauerstofftheraphie zu Hause, Vergleich der Kosten von Sauerstoffzylindern, Flüssigsauerstoff und Sauerstoffverdichtern


Kostenanalyse

Zu beantwortende Fragen:– Welche Kosten sollen berücksichtigt werden?

– Wie sollen die Kosten geschätzt werden?

– Wie detailliert muß die Bestimmung der Kosten sein?

– Fallen Kosten zu unterschiedlichen Zeitpunkten an

– Wie sollen Gemeinkosten verteilt werden?


Kostenbestimmung

Wie werden Kosten für nicht-marktgängige Faktoren bestimmt? (e.g. Freiwillige Helfer?)

Wann sollten existierende Marktpreise angepasst werden? Für wie lange sollten Kosten bestimmt werden? Sollen nicht direkt mit dem Programm oder der Intervention verbundene

Kosten betrachtet werden? Wie sollen Kapitalkosten berücksichtigt werden? Welchen Einfluß hat die Betrachtung von Durchschnitts- im Vergleich zu

Grenzkosten? Wie sollen Veränderungen der Produktivität behandelt werden?




• Vollständige ökonomische Evaluation

• Kosteneffektivität: eindeutige Zielsetzung der Intervention und klare Dimension anhand derer die Effektivität gemessen werden kann (Beispiel: Vergleich zweier Therapien im Hinblick auf die hinzugewonnenen Lebensjahre)

• Kostenminimierung: eindeutige Zielsetzung, verschiedene Interventionen erreichen sie im gleichen Maß (ex ante immer eine Kosten-Effektivitätsdesign)



Zentrale Fragen:

– Welche Kennzahl wählen wir für Effektivität?

– Woher stammen unsere Effektivitätsdaten?

– Wie verknüpfen wir Zwischenergebnisse und Endergebnisse?

– Sollten Änderungen in der Produktivität berücksichtigt werden?

– Sollten in der Zukunft auftretende Effekte abdiskontiert werden?

– Wurde eine Sensitivitätsanalyse vorgenommen?


Kosten-Effektivitätsanalyse - Sensitivitätsanalyse

•Möglichkeit Unsicherheit anzugehen, wenn keine stochastischen Daten vorliegen

•Vorgehen in drei Schritten:

– Identifikation der unsicheren Parameter

– Vorgabe einer plausiblen Bandbreite innerhalb derer die Parameter sich wahrscheinlich bewegen

– Berechnung der Studienergebnisse auf der Basis verschiedener Kombinationen: beste Schätzung; konservativste Schätzung; nicht-konservative Schätzung

Evidenzen und ihre Güte


Evidenz Empfehlung

I große randomisierte Versuche mit eindeutigen Ergebnissen (geringe Irrtumswahrscheinlich-keit)

A

II Kleine randomisierte Versuche mit unsicheren Ergebnissen (mittlere bis hohe Irrtumswahrschein-

Lichkeit)

B

III Nicht-randomisierte, gleichzeitige Kontrollen

C

IV Nicht-randomisierte, historische Kontrollen

D

V Keine Kontrollen, Fallserie

E

Evidenzen und ihre Güte

Studiendesign im Bildungsbereich/Gesundheitsbereich – Datenlage?

Sind kontrollierte Designs immer möglich?


Prof. Petra Riemer-Hommel, Ph.D. 28Prof. Petra Riemer-Hommel, Ph.D. 28

Kosten-Effektivitätsanalyse - AnwendungFür die südafrikanische Regierung sollen sie die Kosteneffektivität vorgeburtlicher HIV-Tests bewerten. Folgende Informationen stehen zur Verfügung:• Eine mit HIV-infizierte Frau, deren Infektion während der Schwangerschaft nicht

entdeckt wird, überträgt den Virus mit einer Wahrscheinlichkeit von 26% auf das Kind

• Wird die Infektion während der Schwangerschaft entdeckt, dann kann ein Risikoreduktionsprogramm gestartet werden (Kaiserschnitt, Stillverbot, Anti-Retroviral-Therapie). Dieses Programm verursacht 800 Euro mehr Kosten als eine normale Geburt. Die Übertragungswahrscheinlichkeit reduziert sich auf 7%, 95% der Frauen akzeptieren die Intervention.

• Ein Bluttest kostet 10 Euro, Test ist 100% korrekt (keine falsch positiven oder negativenErgebnisse)

• 5% der schwangeren Frauen sind infiziert ohne es zu wissen

Annahmen: • Keine Frau entscheidet sich nach einem positiven Test für eine Abtreibung• Jeder positiv getesteten Frau wird das Interventionsprogramm angeboten


Kosten-Effektivitätsanalyse des Einsatzes von NSAID (non-steroid anti-inflammatory drugs) in 3 Ländern. Kritisch beim Einsatz dieser Medikamente sind die Nebenwirkungen (Magengeschwüre).

Anschaffungskosten in $ Auftreten von Magen-

Geschwüren in einer

6-Monatsperiode (%)

Land 1 Land 2 Land 3 Endosko-

pisch festgestellt

Adjustiert

für stumme

Geschwüre

Mobifren 225 75 121 23,9 14,3

Osteotec 294 100 134 17,8 10,7

Voldene 300 136 126 10,2 6,1


Land 1 Land 2 Land 3

Wahrscheinlichkeiten

KH-Behandlung Patienten mit Magengeschwüren

0,086 0,053 0,050

KH-Behandlung +

Operation

0,12 0,43 0,20

Behandlungskosten

Ambulant 901 540 87

Stationär 3450 1548 133

Stationär + OP 15700 2533 555

Aufgabenstellung

Erstellen sie einen Entscheidungsbaum Wieso können die relativen Kosten in den

verschiedenen Ländern variieren? Welche Argumente können sie für den Einsatz von

Voldene vorbringen? Wieso ist diese Vorgehensweise sinnvoll?



Kosten-Nutzwertanalyse

• Primäre Anwendung im Gesundheitsbereich• Defizite der Kosten-Effektivitätsanalyse:

– Kann nicht genutzt werden um Vergleiche eines größeren Spektrums an Interventionen vorzunehmen (gleiches Effektivitätsmaß ist Bedingung für KEA)

– Kann nicht herangezogen werden, wenn mehr als ein Ergebnismaß interessant und relevant ist

– Kann unterschiedliche Wertigkeiten der Ergebnisse nicht erfassen

• ABER: Kosten-Nutzwert Analyse braucht Endergebnisse!!!


Kosten-Nutzwertanalyse Einsetzen, wenn:

– (Gesundheitsbezogene) Lebensqualität ist zentrales oder wichtiges Ergebnis

– Programme haben Einfluss auf Mortalität und Morbidität und ein einheitliches Ergebnismaß ist gewünscht

– Verglichene Programme haben ein weites Spektrum an Ergebnissen und eine einheitliche Messeinheit wird gewünscht

– Vergleich mit Programmen, die bereits mit KNA bewertet wurden

Nicht einsetzen, wenn:– Nur Zwischenergebnisse

verfügbar sind– Alternativen gleiche

Effektivität besitzen– Effektivität des neues

Programms dominant besser ist– Kosten um Daten zu erhalten

sind zu hoch


Kosten-Nutzwertanalyse - PräferenzmessungAntwortmethode Fragestellung

Sicherheit (Werte)

= no unknowns, no probabilities, does not capture risk attitude

Unsicherheit (Nutzwerte)

Skalen Rating scale

Category scaling

Visual analogue scale

Ratio scale

Wahl Time-trade off

Paired comparison

Equivalence

Person trade-off

Standard gamble


Kosten-Nutzwertanalyse – Beispiel EuroQol

• 6 Attribute (Mobilität, Selbstversorgung, Hauptaktivitäten, soziale Beziehungen, Schmerz, Stimmung)

• 3 Ebenen pro Attribut (kein Problem, einige Probleme, schwerwiegende Probleme)

• Präferenzwerte für Bewertungsformel beruhen auf einer Zufallsstichprobe von etwa 3000 Erwachsenen in Großbritannien


Kosten-Nutzwertanalyse – Beispiel EuroQolKoeffizienten für TTO Tarife

Dimension Koeffizient

Konstante 0.081

Mobilität Level 2 0.069

Mobilität Level 3 0.314

Selbstversorgung Level 2 0.104

Selbstversorgung Level 3 0.214

Hauptaktivitäten Level 2 0.036

Hauptaktivitäten Level 3 0.094

Schmerz Level 2 0.123

Schmerz Level 3 0.386

Stimmung Level 2 0.071

Stimmung Level 3 0.236

N3 0.269



Bewerten sie Zustand 12123 Lösung: Vollständig gesund: = 1Konstante -0.081Mobilität Level 1 -0Selbstversorgung Level 2 -0.104Hauptaktivitäten Level 1 -0Schmerz Level 2 -0.123Stimmung Level 3 -0.236N3 -0.269

Schätzwert für Zustand 12123 = 0.1870



•Zu beachtende Punkte:

• Welche Entscheidung steht im Vordergrund (welche Gesund-

heitsdimension soll betrachtet werden?)

• Unterschiede in den betrachteten Populationen; welche

Instrumente werden genutzt, um die Formeln abzuleiten

• Gleiche Patientengruppe kann sehr unterschiedliche Werte

erzielen (je nach System)

• Welche Systeme wurden für vergleichbare Fragestellungen

genutzt?

• QWB basiert auf Präferenzen aus San Diego; HUI aus Hamilton;

EQ-5D und SF-60D Großbritannien

QALYs – quality adjusted life years

Kombiniert Gewinne aus reduzierter Morbidität (Qualitätsgewinn) und reduzierter Mortalität (Quantitätsgewinn) in ein einziges Maß

Qualitätsgewichte werden benötigt, um die gesundheitsbezogene Lebensqualität der verschiedenen Gesundheitszustände darzustellen

Qualitätsgewichte sollten– Auf Präferenzen basieren– Zwischen Tod und vollständiger Gesundheit verankert sein– Auf einer Intervallskala gemessen werden (üblich 0-1)



Kosten-Nutzenanalyse

• Was bietet KNA im Vergleich zu KEA und KNWA? – KNA kann herangezogen werden, wenn keine

Alternativen vorhanden sind

– KEA/KNWA sind auf Programme mit vergleichbaren Ergebnissen beschränkt

– KEA/KNWA auf Kunden fokussiert, bilden Spill-over Effekte nicht ab (Externalitäten)

– Ordnet allen Alternativen Geldwerte zu

– Anwendung in der Umweltökonomie/Gesundheitsökonomie


Kosten-Nutzenanalyse

• Methoden um Ergebnissen Geldwerte zuzuordnen:

– Human-Kapital Ansatz

– Offengelegte Präferenzen

– Contingent valuation (Ausgedrückte Zahlungspräferenzen)


Kosten-Nutzenanalyse – Contingent Valuation

• Setzt Umfragemethoden ein, um Befragte mit hypothetischen Szenarien über zu vergleichende Programme oder zu bewertende Probleme zu konfrontieren

• Nutzer werden gefragt, was sie bereit wären für eine Änderung in der Bereitstellung eines Gutes zu zahlen, und daher nicht für andere Güter zur Verfügung zu haben (man unterscheidet „offene“ und „geschlossene“ Befragungs-Techniken)



• Szenario muss verständlich, nachvollziehbar und für den Antwortenden von Bedeutung sein

• Trittbrettfahrer-Problem• Andere Anreize falsche Antworten zu geben• Implizite Wertmarker• Szenario falsch spezifiziert• Verzerrungen durch falsche Spezifikation des

Kontextes


Kosten-Nutzenanalyse – Contingent ValuationWTP Schätzer 3 Wege ein Gut für

WTP Bewertung basierend auf Gesundheitsnutzen zu definieren

Andere gemessene Bestandteile des Programmnutzens die in die WTP Bewertung eingeschlossen werden könnten

W

Keine Unsicherheit

Sicheres Gesundheitsergebnis

Zukünftige Ersparnisse im Gesundheitswesen

+/-

Produktivitätseffekte und Einkommenseffekte

W*

Unsicherheit auf der Angebotsseite

Behandlung mit unsicherem Ergebnis

W**

Unsicherheit auf Angebots- und Nachfrageseite

Zugang zu Behandlungspro-gramm, bei dem zukünftige Nutzung und Behandlungsergeb-nisse unsicher sind



• Kriterien-Validität lässt sich für Gesundheitsprogramme kaum feststellen, da wir üblicherweise nicht beobachten können, was Nutzer tatsächlich zu zahlen bereit wären

• Konstrukt-Validität testet zwei „Konstrukte“ aus der ökonomischen Theorie:

– positive Einkommenselastizität

– Je mehr eines positiv bewerteten Gutes von einem hypothetischen Programm bereitgestellt wird, desto größer sollte die Zahlungsbereitschaft einer Person sein (wobei der Grenznutzen wahrscheinlich abnimmt)

Prof. Petra Riemer-Hommel, Ph.D.1 Deckblatt Ökonomische Evaluation – Definitionen/Anwendungen.

Documents

Transcript of Prof. Petra Riemer-Hommel, Ph.D.1 Deckblatt Ökonomische Evaluation – Definitionen/Anwendungen.