MCQ Analysis - Srinakharinwirot Universitymed.swu.ac.th/mededu/images/Documents/MedEdu... · MCQ...
Transcript of MCQ Analysis - Srinakharinwirot Universitymed.swu.ac.th/mededu/images/Documents/MedEdu... · MCQ...
MCQ Analysis
Achara Wuttiprasittipol
MD, MMed
Principles of Educational Assessment
• Validity
• Reliability
• Acceptability
• Educational impact
• Cost effectiveness
Good Characteristics of MCQ
• Validity
• Reliability
• Objectivity
• Practicability
• Comprehensiveness
• Good level of difficulty
• Good discrimination power
MCQ Analysis
• วเคราะหรายขอ
Item Analysis
• วเคราะหขอสอบทงฉบบ
Whole Test Analysis
Item Analysis
• ความยากงาย 0-1 (before-AI, after-p)
Level of Difficulty
• คาอ านาจการจ าแนก(เดกเกง vs เดกออน), r (-1 to +1)
Discrimination Power
• ประสทธภาพตวลวง
Distractibility
Level of Difficulty
• AI = acceptability index (0-1.0)
คาความยากงายกอนสอบ (ประมาณการ)
• p value = difficulty index (0-1.0)
คาความยากงายหลงสอบ (ไดจาก OMR) p = จ านวนผ ทตอบถก จ านวนผ เขาสอบทงหมด
•p < 0.2 ยาก •p 0.3-0.7 ปานกลาง (0.5-0.6: ideal) •p > 0.8 งาย
MPL
Discrimination Power
• เปนการบอกวาขอสอบนนสามารถจ าแนกคนเกง (ในความหมายทวาตอบถกไดคะแนนรวมมากกวา)และไมเกงไดเพยงใด
• ขอสอบในกลมทคนเกงตอบถกมากกวาคนในกลมไมเกง ถอวาอ านาจจ าแนกสง
• Discrimination index (d or r): -1 to 1
d = H-L
n
•H = คนกลมคะแนนสงทตอบถก •L = คนกลมคะแนนต าทตอบถก •n = จ านวนผ เขาสอบทงหมด
Discrimination Power
• r > 0.35 ดเยยม
• r 0.25-0.34 ด
• r 0.15-0.24 พอใช
• r < 0.15 Need revision!
Distractibility
• ประสทธภาพของตวลวง จะชวยใหขอสอบขอนนสมบรณยงขน
• ตวลวงนนจะมประสทธภาพยงขน เมอสามารถลวงคนในกลมไมเกงใหเลอกตอบไดมากกวาคนในกลมเกง และมการกระจายของผ เลอกตวลวงตางๆ
• โดยทวไป ตวลวงแตละขอ ควรมผ เลอกประมาณรอยละ 5 ของจ านวนผสอบทงหมด
• การพจารณาประสทธภาพของตวลวง ใชคา discrimination index แตพจารณาทตวลวงแทน
Distractibility
– ถาตวลวงตวใดมคา d (หรอ r) ตดลบ (คอ สดสวน L > สดสวน H) แสดงวาลวงถกตอง เพราะกลมคนไมเกงเลอกตอบตวเลอกนนมากกวากลมคนเกง
– ถาตวลวงตวใดมคา d (หรอ r) เปนบวก (คอ สดสวน L < สดสวน H) บงบอกวา เปนตวลวงทไมด
– ถา d (หรอ r) = 0 (คอ สดสวน L = สดสวน H) แสดงวาลวงใครไมไดเลย ซงอาจหมายความวา นกศกษามความรวาตวลวงนนผดจรง หรออาจเปนตวลวงนนงายหรอชดเกนไป จนทกคนรวาตวลวงนนผด
Whole Test Analysis
• Reliability
• Validity
• Score: distribution, mean, median, mode,
SD, range
• Standard error of measurement (SEM)
• Level of difficulty
• Discrimination power
Validity
“Degree to which a test measures what it is
supposed to be measured”
• Face validity
• Content validity
• Predictive validity
• Concurrent validity
• Construct validity
Content Validity
• พจารณาวาขอสอบฉบบนนๆ สามารถวดเนอหาหรอวตถประสงคการเรยนร ไดมากนอยเพยงใด
• สราง “Table of specification”
Table of Specification
Level
Content
Know/Remember
Comprehend Apply Higher learning
Total
Total
Table of Specification
Type
Content
Etiology Pathophysiology
Clinical
manifestation
Management
Prevent Total
Total
Content Validity
• Index of Item-Objective Congruence
• ผ เชยวชาญใหคะแนน +1/0/-1: แนใจ/ไมแนใจวาตรงจดประสงค/แนใจวาไมตรงจดประสงค
• คะแนนรวม/จ านวนผ เชยวชาญ > 0.5 : valid
IOC
• Content validity index
• ผ เชยวชาญใหคะแนนวาขอสอบวดตรงจดประสงคหรอไม โดยมคะแนน 1-4 (1: ไมตรงเลย 4: ตรงอยางสมบรณมาก)
• จ านวนขอทผ เชยวชาญให3หรอ4/จ านวนขอ > 0.8 : valid
CVI
Construct Validity
“Degree to which a test measures hypothetical
construct or non-observable trait which explains behavior”
• ความสามารถของขอสอบ ในการวดพฤตกรรมและสมรรถภาพดานตางๆ ไดตามจดมงหมายทก าหนดไว และเปนไปตามหลกการของทฤษฎ
• Logical by expert, Known-Group Technique
Reliability
• Test-retest reliability
• Equivalent form reliability
• Internal consistency reliability
-Split half reliability
-KR-20 (Kuder-Richardson)
-KR-21
-Cronbach’s Alpha
Mark 0,1 (0=wrong, 1=right)
KR-20
• ในกรณทคาความยากงายของขอสอบแตละขอไมเทากน
ขอสอบนกเรยนแพทย มกใชคาน เพราะในขอสอบ 1 ฉบบ มกยากงายไมเทากน
KR-21
• ในกรณทคาความยากงายของขอสอบแตละขอเทากน หรอไมแตกตางกนมาก
Standard Setting
• Norm- versus criterion-referenced standards
• Test-centered or Examinee-centered methods
Standard Setting Test-centered methods
• Angoff method
• Modified Angoff method
• Ebel method
• Nedelsky method
• Bookmark method
Examinee-centered methods
• Contrasting groups
method
• Borderline group method
• Hofstee method
MCQs OSCEs
Angoff Method
ผ เชยวชาญ 5-6 คน ประเมนวาผสอบกลมborderline (just pass) จะตอบขอนนถกตองประมาณรอยละเทาใด
หาคาเฉลยของคาสดสวนทผ เชยวชาญแตละคนประเมนในแตละขอ
น าคาเฉลยของสดสวนทผ เชยวชาญประเมนในแตละขอนนมาบวกกน = standard cut score =X
MPL (proportion) = X/จ ำนวนขอ
X100 =%
Angoff Method
MPL = 5.27/8 = 0.65 0.65x100 = 65%
ควรท าได5 or 6 ขอ (ขนกบกรรมการ) จาก 8 ขอ จงผานเกณฑ
Modified Angoff Method
ผ เชยวชาญ 5-6 คน ประเมนวาผสอบกลมborderline (just pass) จะตอบขอนนถกตองหรอไม โดยตอบถกให 1 คะแนน ตอบผดให 0 คะแนน
รวมคาคะแนนทผ เชยวชาญแตละคนใหในแตละขอ แลวน าคาทงหมดมาบวกกน เปนคา S
MPL (%) = S x 100% (จ ำนวนขอxจ ำนวนผเชยวชำญ)
Modified Angoff Method
ขอ ผเชยวชำญ
1 2 3 4 5 6 7 8 9 10
1 1 1 0 0 0 1 0 0 1 1
2 0 1 0 1 0 1 0 1 1 1
3 0 0 0 1 0 0 1 0 0 1
4 1 1 1 1 1 1 1 1 1 1
5 1 0 1 1 0 0 1 0 1 0
Total 3 3 2 4 1 3 3 2 4 4 29
Modified Angoff Method
• MPL = [29/(10x5)]x100% = (29/50)x100% = 58%
• เกณฑผาน คอ รอยละ 58 คอ ตองผาน 5 หรอ 6 ขอใน 10 ขอ ตามแตผ เชยวชาญตกลงกน
Ebel Method ผ เชยวชาญ แบงกลมของค าถามตามระดบความยากงาย และความถในการพบปญหาในเวชปฏบต (common/uncommon)
ผ เชยวชาญ ประเมนวาสดสวนของผสอบกลมborderline (just pass) ทจะตอบค าถามขอนนๆถกตอง มเทาใด (Angoff method)
หาคาเฉลยของสดสวนทประเมนนน โดยแยกตามกลมของค าถามทแบงไวตงแตขนตน
Ebel Method
น าคาเฉลยเหลานน มาคณกบจ านวนค าถาม ในแตละกลม ตามทไดแบงไวตงแตแรก จากนน น าผลเหลานนมาบวกกน = X1 + X2 … + X100 = standard cut score = S
MPL (%) = S x 100% (จ ำนวนขอ)
Ebel Method
MPL = 75x100% = 75% 100
100
Nedelsky Method
• ผ เชยวชาญประเมนวา ผสอบกลม borderline (just pass) จะมความสามารถในการตดตวเลอกลวง และเหลอตวเลอกทจะตอบไดถกตองเปนสดสวนเทาใด
• ถาเหลอตวเลอกเดยวทจะเลอกตอบ แปลวาโอกาสทจะตอบถก คอ 100% • ถาเหลอตวเลอกทตองตดสนใจ 2 ตว จาก 5 ตว แปลวาโอกาสทจะตอบถก คอ
50% • ถาเหลอตวเลอกทตองตดสนใจ 3 ตวเลอก จาก 5 ตวเลอก แปลวาโอกาสทจะตอบ
ถก คอ 33% • ถาเหลอตวเลอกทตองตดสนใจ 4 ตวเลอก จาก 5 ตวเลอก แปลวาโอกาสทจะตอบ
ถก คอ 25% • ถาเหลอตวเลอกทตองตดสนใจ 5 ตวเลอก จาก 5 ตวเลอก (ตดขอใดไมไดเลย)
แปลวาโอกาสทจะตอบถก คอ 20%
Nedelsky Method
ผ เชยวชาญประเมนวา เมอตดตวเลอกลวงไดแลว ผสอบกลมborderline (just pass) จะมโอกาสตอบขอนนไดถกตองประมาณรอยละเทาใด
หาคาเฉลยของคาทประเมนโอกาสตอบถกของผ เขาสอบในแตละขอ ทประเมนโดยผ เชยวชาญแตละคน
น าคาเฉลยทผ เชยวชาญประเมนโอกาสตอบถกในแตละขอนนมาบวกกน = standard cut score =X
MPL (proportion) = X/จ ำนวนขอ
X100 =%
Nedelsky Method ขอ
ผเชยวชำญ 1 2 3 4 5 6 7 8 9 10
1 1 0.5 0.33 0.5 0.5 0.33 0.5 0.33 0.2 0.33
2 0.5 0.33 0.33 0.5 0.5 0.25 0.5 0.33 0.2 0.5
3 0.33 0.25 0.33 0.2 0.5 0.25 0.33 0.5 0.2 0.5
4 0.5 0.2 0.5 0.25 1 0.2 0.25 0.25 0.25 0.33
5 0.5 0.5 0.2 0.5 1 0.2 0.2 0.25 0.5 0.5
Average 0.56 0.35 0.34 0.39 0.7 0.25 0.36 0.33 0.27 0.4
Nedelsky Method
• Standard cut score = 3.95 4 (out of 10)
• MPL = (4/10)x100% = 40%
Bookmark Method
เรยงล าดบขอสอบแตละขอตามความยากงาย (AI or P) จากงายสดไปยากสด
ผ เชยวชาญแตละคนประเมนวาผ เขาสอบกลมborderline (just pass)จะสามารถตอบถกไดถงขอใด (ขอยากกวานน จะตอบผด) แลววางเครองหมายไว (bookmark)
Standard cut score กคอ คาเฉลยของคะแนน(ขอ)ทผ เชยวชาญbookmarkไว = x
MPL (proportion) = X/จ ำนวนขอ
X100 =%
Hofstee Method
• Standard setters produce four judgements, as
follows:
-The maximum acceptable failure rate
-The minimum acceptable failure rate
-The maximum cut score
-The minimum cut score
• Remember that the cut score is the score for a
borderline candidate – one who just scrapes a pass
Hofstee Method
1. วาดกราฟ โดยใหแกน Y เปน % cumulative students ทจะ fail และแกน Xเปนคะแนน
2. กรรมการก าหนด maximum acceptable failure rate, minimum acceptable failure rate และplot ทง 2 คาในกราฟ โดยลากเสนขนานกบแกน X จะไดเสนขนานแกน X 2 เสน
3. กรรมการก าหนด maximum cut score, minimum cut score และplot ทง 2 คาในกราฟ โดยลากเสนขนานกบแกน Y จะไดเสนขนานแกน Y 2 เสน
4. Plot คะแนนผ เขาสอบในกราฟ จะมบางจดทคะแนนอยในกรอบสเหลยมดงกลาว
5. Pass mark คอ จดทเสนคะแนนนกเรยนตดกบเสนทแยงมม
จาก2,3 จะไดกรอบสเหลยม ใหลากเสนทแยงมมจากขวาลางไปซายบน
Hofstee Method: Example
• The maximum acceptable failure rate 30%
• The minimum acceptable failure rate 5%
• The maximum cut score 65 marks
• The minimum cut score 50 marks
Borderline Group Method
• Examiners work from their direct observations at
the time of the exam taking place, so no extra
time involved.
• Uses an itemised checklist and a global rating
scale.
• Scoring of each candidate by means of the
itemised checklist and the global rating scale.
• Borderline candidates are identified by the
global rating scale for each test item.
Borderline Group Method
• The mean checklist mark for the borderline
candidates is then calculated.
• This sum of the mean score (plus one SEM –
the standard error of measurement) is the pass
mark for the whole exam.
Contrasting Groups Method
• Examiners as a group choose a random sample of
candidates and categorise each candidate into a
“pass” or a “fail” group based on the candidates’
answers to all test items in the examination.
• The examination scores for the two groups are
plotted on the same graph. (As two curves.)
• Number of candidates on Y axis, score on X axis.
Contrasting Groups Method
• A point on the graph is chosen as the pass mark.
• The cut score is usually set at the point of least
overlap between the two distributions.
ควรผานแตตก ควรตกแตผาน