Critical Appraisal of a Topic (CAT) Christel van Gool, Monique ...

Critical Appraisal of a Topic (CAT)

Christel van Gool, Monique Mommers (& Carin de Brouwer)

Capaciteitsgroep Epidemiologie, Universiteit Maastricht, FHML

Faculty name

Inhoud presentatie

1. Positionering CAT Maastricht

2. Wat is CAT?

3. Structuur CAT

4. Organisatie CAT‐onderwijs jaar 3 UM

Faculty of Health, Medicine and Life Sciences

1.1 Wetenschappelijke vorming

• Raamplan geneeskunde

• Rode draad door “nieuw” geneeskunde curriculum 2001 MaastrichtMaastricht

• 2 grote peilers namelijk;2 grote peilers namelijk;– CAT‐onderwijs jaar 3 (vorm van EBM, patiëntniveau)– Wetenschap stage jaar 6 (wetenschappelijk onderzoek is basisWetenschap stage jaar 6 (wetenschappelijk onderzoek is basis voor EBM, groepsniveau)


1.2 Evidence Based Medicine (EBM)

definitie EBM (Offringa e.a., 2008):

EBM is gewetensvol, expliciet en oordeelkundig gebruik van het huidige beste bewijsmateriaal om beslissingen te nemen voorhuidige beste bewijsmateriaal om beslissingen te nemen voor individuele patiënten. De praktijk van EBM impliceert het integreren van individuele klinische expertisemet het beste externe bewijsmateriaal dat vanuit systematisch onderzoekbeschikbaar is. De voorkeuren, wensen en verwachtingen van de patiënt spelen bij de besluitvorming een centrale rolpatiënt spelen bij de besluitvorming een centrale rol.


1.3 Pijlers EBM in schema

Patiënt; prognose en voorkeur

Evidence; beste bewijs uit Beslissing: keuze met Evidence; beste bewijs uit wetenschappelijk onderzoek

E i f ili i k

betrekking tot medisch handelen

Expert; expertise, faciliteiten en voorkeur


1.4 Niveaus wetenschappelijke vorming

• Expert vs. Evidence based

EBM op verschillende niveaus:literatuurliteratuur

– Lezen (replicators)Kritisch lezen (users)– Kritisch lezen (users)

– Kritisch lezen en becommentariëren (do‐ers)


CAT Test

M lti CAT

M th d l i hCli i

Multi‐CAT

Methodologische criteria

Clinicus

Literatuur Search

VoorkennisEindtermen

Diagnostiek PrognostiekFollow up


p

2.1 Critical Appraisal of a Topic (CAT)

• Format

• Gereedschapp

• Vaardigheid (bundeling van vaardigheden)


2.2 Format CAT; 7 vaste onderdelen

Patiënt (praktijk) WetenschapExpert (vertaalslag)

1. Klinisch Scenario

2. Klinische Vraag

3 Literatuur SearchTrefwoorden

3. Literatuur Search

4. Kritisch beoordelen artikel

6.Commentaar:EBM gestuurd

5. Evidencebesluitvormingsproces verwoorden7. Bottom Line


2.3 Gereedschap

waarmee op basis van de beste wetenschappelijke kennis op dat moment voor handen antwoord wordt gezocht op een klinische vraag die gerezen is in de medische praktijk naar aanleiding van een patiënten contact.

Patiënt Wetenschap


2.4 Basisvaardigheden CAT:

Studenten moeten aantal vaardigheden combineren om tot eindresultaat te komen:

• klinisch redeneren (scenario & commentaar)• klinische vraag formuleren• systematisch zoeken• kritisch beoordelen evidence• wegen evidence en toepassen op patiënt

itk t t l i di h h d l• uitkomst vertalen in medisch handelen


2.5 Wanneer CAT (later) in praktijk

Wel:– Als actueel onderwerpp– Als specifiek onderwerp– Als onbekend met onderwerp– Als patiënt complex/aandoening zeldzaam

Algemeen: bij onzekerheid m.b.t. medisch handelen

Niet: Als consensus bereikt over medisch handelen in protocollen/richtlijnen (vorm van EBM)


3 Structuur CAT (onderdeel 1 t/m 7)

CAT heeft altijd hetzelfde format en bestaat uit 7 onderdelen:

• Klinische scenario (patiënt beschrijving + spanningsveld)• Klinische vraag (wat wil ik weten voor mijn patiënt)• Zoeken (systematische zoekstrategie opstellen m.b.v. stappenplan)Zoeken (systematische zoekstrategie opstellen m.b.v. stappenplan)• Kritisch beoordelen artikel (a.h.v. methodologische criteria voor diagnostisch,

prognostisch of therapeutisch onderzoek)• Evidence (cijfers uit artikel die je als bewijs wil gebruiken)• Evidence (cijfers uit artikel die je als bewijs wil gebruiken)• Commentaar (is bewijs van voldoende kwaliteit, geldig en bruikbaar voor

patiënt)• Bottom Line (= direct antwoord op klinische vraag)


3.1 Klinisch Scenario

Patiënt presentatie zoals je die voor vakgenoten of binnen een multidisciplinair behandelteam moet kunnen presenteren

+Onzekerheid m.b.t. medisch handelen/klinisch dilemma

V di h id ië i h ij d id lijkVaardigheid: patiëntpresentatie schrijven met duidelijk accent op klinische relevantie


3.2 Klinische Vraag

Per methodologisch domein een aantal elementen

Diagnostiek:• Patiënt: Relevante patiënt kenmerken• Aandoening • Test waarmee patiënt wordt onderzocht

(eventueel referentietest)

Vaardigheid: beantwoordbare klinische vraag formuleren (goed operationaliseren, onderdelen vloeiend aan elkaar schrijven)


3.3 Search: Zoeken van evidence

Zoeken in databases:

• Pubmed (o.a. Medline +)• Medline • Embase• Cinahl• Psyclit

Vaardigheid: systematisch leren zoeken in literatuurdatabase Pubmed a.h.v. gestructureerd stappenplan


3.4 Kritisch beoordelen artikel

Beoordeel in welke mate de onderzoekers die het gekozen artikel geschreven hebben volgens de spelregels gehandeld hebben

Per domein een Appendix met methodologische criteria (“spelregels”) in de trainings‐handleiding

Vaardigheid: kritisch lezen en beoordelen van een wetenschappelijk artikel


3.5 Evidence table

Cijfers uit het artikel die als evidence dienen om het antwoord op de klinische vraag mee te onderbouwen, overzichtelijk presenteren in een tabel (voorzien van 95% betrouwbaarheids‐intervallen)

Vaardigheid: samenvatten en interpreteren van relevante cijfers uitVaardigheid: samenvatten en interpreteren van relevante cijfers uit een wetenschappelijke publicatie (berekenen 95% btbh‐intervallen m.b.v. calculator)


3.6 Commentaar

Methodologische kwaliteit afwegen tegen bruikbaarheid/geldigheid voor eigen patiënt.

Ook secundaire uitkomstmaten in de overweging betrekken (in geval van diagnostiek; kosten risico’s belasting ect)diagnostiek; kosten, risico s, belasting ect)

Expert en faciliteiten plus voorkeur patiënt spelen ook een rol

Vaardigheid: wegen van evidence en toepassen op de patiënt


3.7 Bottom Line

Hier wordt een compact antwoord geformuleerd op de klinische vraag!

Geen afwegingen meer, die staan onder commentaar

Kracht van evidence blijkt uit woordkeuze in Bottom Line

Vaardigheid: terugvertalen van conclusies uit het besluitvormingsproces naar patient uit klinische vraag


4 Tussen voorkennis en eindtermen 3e jaar geneeskunde UM4. Tussen voorkennis en eindtermen 3e jaar geneeskunde UM

Test

M lti CAT

M th d l i hCli i

Multi‐CAT


Clinicus

Literatuur Search




p

4.1 Organisatie Onderwijs jaar 3

CAT onderwijs jaar 3 Geneeskunde, Universiteit Maastricht:methodologische domeinen, medisch inhoudelijke clusters, carrouselstructuur, parallelonderwijs

groe Blokperiode 3.1 Blokperiode 3.2 Blokperiode 3.3 Blokperiode 3.4p1 Abdomen Bewegingsapparaat Circulatie en longen Psychomedisc

2 Bewegingsapparaat Abdomen Psychomedisc Circulatie en longen

3 Circulatie en longen Psychomedisc Abdomen Bewegingsapparaat

4 Psychomedisc Circulatie en longen Bewegingsapparaat Abdomen


4.2 Organisatie & Onderwijsvormen run 1

• College• CAT‐training deel 1: Inleiding op methodologisch onderwerp Diagnostiek &

Onderdeel 1 t/m 3 CATOnderdeel 1 t/m 3 CAT • Thuis: Artikel + Hfst 1,2 en3 lezen & opdracht 3.8 t/m 3.16 maken • CAT‐training deel 2: Opdracht 3.8 t/m 3.16 uit handleiding nabespreken

P ti t ti ti k b k i t t• Practicum statistiek: berekenen en interpreteren van betrouwbaarheidsintervallen

• Multi CAT (met medestudenten maken, 4 per onderwijsgroep, powerpoint‐presentatie van ieder groepje in onderwijsgroep daarna feed back tijdenspresentatie van ieder groepje in onderwijsgroep, daarna feed back tijdens nabespreking van docent Epidemiologie + Klinische Coach!)

• Solo CAT (alleen, schriftelijke feed back van docent epidemiologie)


4.3 Organisatie & onderwijsvormen run 2,3 en 4

• Run 2 Prognose; vrijwel gelijk run 1 (ook veel contacturen)

• Run 3 Therapie; alleen nog CAT‐training, multi‐ en solo‐CAT

• Run 4 Follow‐up; alleen nog CAT‐training en multi‐CAT nabespreking

Vaardigheden nemen toe, contacturen nemen af!


4.7 Beoordeling CAT

Duidelijke criteria voor solo en multi cat (Formulier in Appendix 3.3, 4.3, 5.3 handleiding)

Algoritme verschilt per run, lat steeds hoger

N.B. multi CAT leermoment, accent op feedbacksolo CAT, beoordeling centraal (test)

Maar beide moeten voldoende zijn!

Anders direct na run herkansing (1X!), als herkansing niet gehaald dan in volgend g ( ), g g gjaar run opnieuw = 10 weken studievertraging!


5 Plan voor eigen setting?5. Plan voor eigen setting?

Test

M lti CAT

M th d l i hCli i

Multi‐CAT


Clinicus

Literatuur Search




p

6.1 Opbouw trainingshandleiding CAT

Hoofdstuk 1 CAT als vorm van EBM:

– Positionering CAT in geneeskundecurriculum UM– Onderdelen CAT koppelen aan EBM vaardigheden– Organisatie & Onderwijsvormen CAT UM– Beoordeling CAT (gestandaardiseerd formulier per methodologisch

domein)



Hoofdstuk 2; Systematisch literatuur zoeken

– Trainen formuleren beantwoordbare klinische vraag– Korte functionele introductie Pubmed

d i l– Introductie stappenplan– Uitvoering volledig stappenplan gekoppeld aan Klinische Vraag

(uitgewerkt voorbeeld)( g )– Selectie beste artikel a.h.v. short list per methodologisch domein



Methodologische hoofdstukken: Hfst. 3 DiagnostiekgHfst. 4 PrognostiekHfst. 5 Therapie

Deel 1: Theorie & Opdrachten

Deel 2: CAT‐training methodologisch domein



Hoofdstuk 6 Follow‐up van de chronische patiënt:– Integratie alle voorgaande kennis en vaardighedeng g g– Maken CAT voor chronische patiënt a.h.v. suboptimale literatuur– Klinische ervaring nog belangrijker, want kloof tussen patiënt en

wetenschap vaak groot– Aangepaste onderwijsvorm (groepsopdracht)



Hfst. 1 & 2 betreffen voorkennis methodologische hoofdstukken:

– 1,2 & 3: basis CAT Diagnostiek– 1,2 & 4: basis CAT Prognose– 1,2 & 5: basis CAT Therapie– 1,2,3,4, 5 & 6 basis CAT Follow‐up


Samenvattend over CAT training:

• CAT is vorm EBM • CAT is “life‐long learning skill”• Sluit aan bij patiënt (niet abstract=motiverend) • Laat ruimte voor expertise (geen kookboekgeneeskunde)• Ook in coschappen en daarna belangrijke tool!• Focus ligt op aanleren vaardigheden• Inzoomen op onderdelen is goed mogelijk• Inzoomen op onderdelen is goed mogelijk• CAT biedt frame voor positionering vaardigheidstraining• Inventariseer voorkennis en eindtermen• Selecteer vaardigheden die je wil trainen


Bedankt voor u aandacht!

Vragen?Vragen?


Praktische training na pauze

Voorbeeld psychomedisch run 4• Gegeven scenariog

– Opdracht: formuleer een aantal klinische vraag, prioriteer en kies de meest relevante

– Specificeer domein– Specificeer zoektermen

A h di fAchtergrondinfo:


Instructie studenten

• Top 5 zoekstrategie per methodologisch domein

• Voorkennis bij aanvang CAT‐training: Pubmed instructie door bieb

• Top 5 zoekstrategie per methodologisch domein

Top 5 Diagnostiek Prognostiek Therapie1 Aandoening Aandoening Aandoening2 T t Uitk t t I t ti2 Test Uitkomstmaat Interventie3 Methodologische

termenMethodologische termen

Methodologische termen

4 Patiëntkenmerk Patiëntkenmerk Patiëntkenmerk5 Referentie test Prognostische factor Uitkomstmaat


Top 5 1 2 3 4 5Therapie

1

Zoekactie

Aandoening Interventie Methodologische termen

Controle behandeling

Uitkomstmaat

2

A (A1) Mesh (A2) Mesh (A3) Mesh (A4) Mesh (A5) Mesh

3 7 10 13 16

B (B1) Query 12

4 6 9 15

C (C1)Vrije tekst

(C2)Vrije tekst

C(3)Vrije tekst

(C4)Vrije tekst

(C5)Vrije tekst

5 8 11 14 17

D D1 =(A1 OR B1 OR C1)

D2 =(A2 OR C2)

D3 =(A3 OR C3)

D4 =(A4 OR C4)

D5 =(A5 OR C5)

1818

E E1 =(D1 AND D2)

E1 = (D1 AND D2 AND D3)

E1 = (D1 AND D2 AND D3 AND D4)

E1 = (D1 AND D2 AND D3 AND D4 AND D5)


aandoening

methodologische term

uitkomstmaat

3333

interventie

Controle behandeling


Vragen?


Critical Appraisal of a Topic (CAT) Christel van Gool, Monique ...

Documents

Transcript of Critical Appraisal of a Topic (CAT) Christel van Gool, Monique ...