מכון הנרייטה סאלד

המכון הארצי למחקר במדעי ההתנהגות

תוקף במחקרי הערכה

Validity in Evaluation Studies

יצחק פרידמן

: הרצאה במסגרת יום עיון במכון הנרייטה סאלד

סוגיות במדידה ובהערכה? כיצד לתקף

)20.6.2007(ז "בתמוז תשס' ד

2

תוקף במחקרי הערכה

ידמןיצחק פר

שנים כמושג פרטני 65- לפני כלהתגבששל כלי המדידה החל )Validity(מושג התוקף

מבחנים בתחום הפסיכולוגיה ( כלי מדידה מאפייניהמתייחס להיבטים השונים של ) יפרטיקולאר(

הגדרות נפרדות וייחודיות לכל אחד מן ההיבטים של הניבהזאת פרטנית המשגה . )והחינוך בעיקר

תוקף ", "נראהתוקף "כמו , סוגים רבים של תוקף כלי מדידההוגדרו. כלי המדידה מאפייני

תוקף ", "נבנה- תוקף מושג", "תוקף לוגי", "תוקף ניבוי", "תוקף גורמי", "תוקף אמפירי", "תוכן

ללא קשר חזק במיוחד , מזוויות ראייה שונותאפוא נבחן תוקפם של כלי המדידה . ועוד "הגדרות

, אך התוקף האמפירי שלו נמוך, שתוקף התוכן של מבחן גבוה, למשל, היה למצואאפשר . ביניהן

).כמובן, או ההיפך(שלו נמוך ) Construct(הנבנה - אך תוקף המושג, או שתוקף הניבוי שלו גבוה

במובן זה שיש ) Unitary( ההכרה שתוקף כלי המדידה הוא מושג יחידתי נתגבשהבמשך השנים

התפתחות נוספת שחלה במשך השנים . מספר שטחותהשיש ל, ידה אחתיחאל להתייחס אליו כ

בתפיסת מושג התוקף הייתה מעבר מהתמקדות בשאלת התוקף של כלי המדידה לתוקף של

תשומת מתמקדתלפי התפתחות זאת . )הערכות, ציונים (השימושים בתוצאות של כלי המדידה

שאפשר לייחס למסקנות ,"אמת" ה לשאלתומתייחסתבמטרות שלשמן חובר כלי המדידה הלב

של תוקף מדידה ) או נמוכה(רמה גבוהה . שאפשר להסיק מן הממצאים הנובעים מכלי המדידה

" מדויקות", "נכונות"מפיק מידע שעשוי להוביל להחלטות עשויה להיקבע כאשר כלי מדידה

).או לא" (אמינות"ו

מעבר משיוך בלעדי של המושג ההתפתחות השלישית שאפשר להבחין בה במשך השנים היא ה

שמיועדות , לשיוך המושג לכלי מדידה ולתהליכים כמו מחקרים או פעולות, תוקף לכלי מדידה

.ולבחון בעזרת המושג הזה את ערכה של האמת הנובעת מאותן פעולות, לחשוף אמת אמפירית

3

הגדרותיו ומשמעותו: במדידההמושג תוקף

של 40- נרשמו במחצית שנות הבמדידה ר את מושג התוקף הגדילניסיונות שיטתיים ראשונים

באופן "והציע ש, התייחס למושג התוקף של מבחנים) Guilford, 1946(גילפורד . המאה הקודמת

ואמנם חוקרים ). 429' עמ" (כללי מבחן יכול להיחשב תקף לכל דבר שיש לו אתו מתאם

וכך , מסוימות או תכונותופעותים בין מבחנים ובין תי הציעו קשרים מתאמותיאורטיקנים

,Cronbach(היה זה קרונבך רק כעבור שנים לא מעטות . של תוקף) ורבים(הגדירו סוגים שונים

שונים " סוגים"ועל כן אין לדבר על " (כל פעולות התיקוף הן למעשה דבר אחד"שקבע כי , )1980

). 99' עמ) (של תיקוף

, )מבחנים בדרך כללשל ( במדידהלקביעת התוקף לסיווג העדויות המשמשות המקובלתהדרך

או ליתר דיוק , היא לחלק אותן לשלושה סוגים מובחנים, של המאה שעברה50-מאז שנות ה

:)2ראו תרשים (באופן הבא, שאחד מהם נחלק לשניים, לשלושה סוגים

2תרשים

התוקףיסוג

תוכן המבחן דוגם את שבודקים באיזו מידה די כך י- מוערך על) Content Validity(תוקף תוכן

. או להסיק מסקנות, שבנוגע להם מבקשים לקבל החלטות, המצבים או התכנים, תחום האוניברס

מבוסס על שיפוטים מקצועיים על הרלבנטיות של תוכן ) מבחנים(תוקף במדידה , במלים אחרות

ועל מידת הייצוגיות שבה , ניינותנושהוא נשוא התע, התנהגות מסוים המבחן לתוכנו של תחום

.פריט או משימה מסוימים מכסים את הנושא שבו יש לנו עניין

ידי השוואת ציוני -מוערך על) Criterion Related Validity(תוקף שמתייחס לקריטריון

שנחשבים כמספקים מידה ישירה של מאפייני , )הקריטריון(המבחן עם משתנה אחד או יותר

תוקף המתייחס לקריטריון

תוכןתוקף

המושג תוקף )הנמדד(

זמני- בותוקף ניבויתוקף

4

נמדד בדרך כלל ש, ון מבוסס על קשר אמפיריתוקף המתייחס לקריטרי. חנתההתנהגות הנב

.בין ציוני המבחן ובין ציוני הקריטריון, במונחים של מתאמים ורגרסיות

מראה את המידה שבה הרמה העתידה של תפקוד ) Predictive Validation(תוקף ניבוי

ידי ביצועיו של היחיד - ת עלמנובאו, או בהקשר של הקריטריון, היחיד בתחום הקריטריון

.במבחנים קודמים

מראה את המידה שבה ציוני המבחן מעריכים ) Concurrent Validation(זמני -תוקף בו

.בעת הנוכחית, את רמת תיפקודו או מעמדו של היחיד בהקשר או בתחום של הקריטריון

וגם על ממצאים , נדגיש כי תוקף שמתייחס לקריטריון מתבסס על תיאוריה רלבנטית ברורה

.אמפיריים הקשורים בתיאוריה זאת

ידי הניסיון לחקור ולתת תשובות על -מוערך על) Construct Validity(נבנה -תוקף מושג

ידי קביעה של הרמה שבה -כלומר על, שהמבחן מודד, מהם המאפיינים או התכונות: השאלה

תוקף מושג נבנה מבוסס על . ןמסוימים אחראים לביצוע במבח) בלתי תלויים(מושגים מסבירים

הציונים הנובעים מכלי . שילוב של כל עדות הנשענת על הפרשנות או המשמעות של ציוני המבחן

.וגם אין הם מנסים להגדירו, מדידה כלשהו אינם מושווים עם המושג שאותו הם מודדים

הוא מושג חשוב להבין שתוקף, ללא קשר לסוג התיקוף או לתהליך התיקוף שנבחר לנקוט בו

התיקוף התוקף או של תהליכי במובן זה שהסוגים השונים של , )Unitary Concept(מאוחד

נקודה זאת ראויה לציון משום שעד לפני כשני . שיש לה מספר שטחות, מהווים יחידה אחת

, תוקף תוכן( תוקף סוגיעשורים מקובל היה לדון ולדווח על התוקף של מבחנים במונחים של

גם חוקרים שלא קיבלו את תפיסת הסוגים השונים של ). נבנה- ריון ותוקף מושגתוקף קריט

,Ghiselli(קמפבל וצדק , משום שלפי גיזלי, התוקף נשענו על החלוקה המשולשת הנזכרת למעלה

Campbell, & Zedeck, 1981( ,זה מה שאנשים עשו באופן מסורתי.

: עניין של דרגההוא אלא ,)ל או לא כלוםוהכ( וגם איננו מושג מוחלט תוקף אינו מושג דיכוטומי

יכול להשתנות מרמה נמוכה ביותר ועד , או של כל פעולה מחקרית אחרת, התוקף של כלי מדידה

, כיוון שהעדויות. והתיקוף הוא תהליך נמשך, התוקף הוא תכונה מתפתחת.רמה גבוהה ביותר

על ף נשען על הסברים הגיוניים או התיקו, שמשמשות בסיס לתיקוף אינן תמיד מלאות או שלמות

כדי לקדם את הבנתנו בכל , שמאפשרים לכוון את השימוש במבחן או במחקר, מקרים הגיוניים

.הקשור במשמעותם של ציוני המבחן

לקבוע סטנדרטים למדידה חינוכית ידי אגודת הפסיכולוגים האמריקאית-שמונתה על, ועדה

- תוקף בו, תוקף ניבוי, תוקף תוכן: ה סוגים של תוקףהציעה ארבע) APA, 1954 (ופסיכולוגית

ידי ועדת סטנדרטים -על 1966 מחדש בשנת מוינואלה ). Construct (זמני ותוקף המושג הנבנה

5

תוקף לתוקף קריטריון ול, לתוקף תוכןוסווגו ,אחרת של אגודת הפסיכולוגים האמריקאית

: של המבחנים האלהמטרות המוגדרותסוגי תוקף אלה התייחסו ל). APA, 1966 (המושג הנבנה

) תוכןתוקף ( או תכניםלקבוע כיצד היחיד מתפקד בהווה במכלול של מצבים . 1

השונה , או לאמוד את מצבו הנוכחי לפי משתנה מסוים, לחזות את מצבו העתידי של היחיד . 2

) קריטריוןתוקף (ידי המבחן -מזה הנבדק על

שיש קושי למדוד אותה , סמויה בדרך כלל, דק תכונה מסוימתלהעריך באיזו מידה יש לנב . 3

). מושג נבנהתוקף (במישרין

) factorial validity(תוקף גורמי , )face validity(הצעות נוספות לסוגי תוקף היו תוקף נראה

התוקף . תוקף ההגדרותותוקף לוגי : היואחריםסוגים ). Anastasi, 1954(ותוקף אמפירי

ידי החוקרים כתוקף -לא תמיד נתפס על, תייחס למה שנראה על פניו שהמבחן בודקהמ, הנראה

תוקף גורמי מתייחס למתאם שבין ציוני המבחן ובין גורם משותף לקבוצה של מבחנים . של ממש

שכיום מוגדר , של המבחןהפנימיתוקף מסוג זה מתייחס למבנה . או למדידה אחרת של התנהגות

סגרת תוקף המושג הנבנה נכללו השוואות המשתנה או המשתנים במ. כתוקף המושג הנבנה

וכמו כן , גורמיםי וניתוחמתאמים עם מבחנים אחרים, שהמבחן בודק עם גילאים שונים

תוקף אמפירי . השוואות עם עקיבות פנימית והבדלים בציונים שנתקבלו לאחר טיפולים שונים

משתנה של מה שהמבחן מיועד השהוא , ןהמבחן וקריטריו) תוצאות(מתייחס ליחס בין ציוני

.לבחון

והספרות , לתהליך התיקוף) של הכלי(בשנים מאוחרות יותר הוסבה תשומת הלב ממושג התוקף

הציע קרונבך , במהדורה החמישית של ספרו. החלה לעסוק בסוגים השונים של פרוצדורות תיקוף

)Cronbach, 1990 ( לדבר על תיקוף)Validation (וקף ולא על ת)Validity( , תיקוףוהגדיר

הוא הדגיש שלמבחן אחד ). 145' עמ" (חקירה של איתנות הפרשנות הניתנת לציונים של מבחן"כ

תיקוף המכוון : והם, ראוי לערוך שלושה סוגי חקירה משולבים לצורך הערכת טיבו של מבחן

. תיקוף התוכן ותיקוף המושג הנבנה, לקריטריון

נמדד שאינו, ציון שהופק ממבחן להצהרה בדבר משתנה אחרםון מתרג לקריטריתיקוף המכוון

היה ) הקריטריון(אם המשתנה , הצהרה זאת היא ניבוי של מה שאפשר לצפות לו. באותו מבחן

שמשווים , זאת יכולה להתבטא במחקרי מעקבו, ניבוי זה מתבסס על התנסות. נמדד או נצפה

הנעשים , היא יכולה להתבטא במחקרים עכשוויים.ציוני מבחן עם ציונים על משתנים אחרים

אלא שהניבוי הוא, "ניבוי"אולם גם סוג זה של מחקרים הוא בבחינת , )Concurrent(במקביל

. מבחינת הזמן"עכשווי"

תכני מבחן המתיימר לבחון כשירויות או ייצוגם של א בדיקה קפדנית של ותהליך תיקוף התוכן ה

תוכן או של אותוומידת התאמתם לתכנים , ים מסוגים שוניםאו טיפולכדי להעריך תכניות , ידע

מתייחס לניסיון לאתר את ) construct validation(תיקוף המושג הנבנה . של אותן כשירויות

6

כלומר לתהליך או לתהליכים , שמונח ביסוד המבחן שניתן לנבדקים" מושג"או את ה" גורם"ה

.את ציוני המבחן" להסביר"זהו ניסיון . שנתקבלו במבחן) או הציונים(המסבירים את התגובות

ה של הקשר בין ייחשיפה והבנ, שפירושה ניתוח, construe נובעת מן המילה constructהמילה

ביחס למצבים , הכוונה של דבריםאת או ,או ניסיון להבין או להסביר את המשמעות (דברים

במגמה להבינם , עי להבניה או של ארגון דבריםהוא דרך או אמצ" מושג נבנה. ")נתונים מסוימים

) קריטריון ומושג נבנה, תוכן ( של בחינת השערות והפרכתןתהליך התיקוף המשולש. ולהסבירם

.כמעט ללא סוףועלול להמשך , ארוךהוא

מדידה "ספרן במהדורה השביעית של , )Anastasi & Urbina, 1997( ואורבינה יזסטאאאנ

התוקף של מבחן : "בפשטות רבה" תוקף"הגדירו , )Psychological Testing ("פסיכולוגית

התוקף מיידע ,כלומר, )113' עמ" (ועד כמה הוא עושה זאת היטב שהמבחן מודד למהמתייחס

התייחסו ,כמו קרונבך, ואורבינהאנאסטאזי. אותנו באשר למה שניתן להסיק מציוני המבחן

כל הפרוצדורות לקביעת תוקף המבחן יאופן בסיס כי בוהדגישו, תוקףתיקוף ולא לה לתהליך

הקשורות ,קשורות למבחןשאינן , עובדות נצפות וביןעות ליחסים שבין הביצועים במבחן נוג

). 113' עמ(במאפייני ההתנהגות הנבדקים

content-description(התוכן - תיקוף תוכן כתיקוף תיאוראנאסטאזי ואורבינה הגדירו

validation( , י לקבוע האם מדגם מייצג של מתקיימת בדיקה שיטתית של תוכן המבחן כדשבו

לתוקף " תוקף תוכן" בין הבחינוהן . במבחן") מכוסה("אמנם נכלל מסוים התנהגויות תחום

אלא למה שהדברים נראים , שאינו מתייחס למה שהמבחן באמת בודק, )face validity(נראה

לשאלה האם המבחן נראה תקף לנבחנים אפואמתייחסהתוקף הנראה . באופן שטחי שהוא בודק

. ולמתבוננים בלתי מקצועיים אחריםבולאנשים המשתמשים , בו

תהליכי ניבוי קריטריוןכתהליך תיקוף המתייחס לקריטריון מוגדר אצל אנאסטאזי ואורבינה

)criterion-prediction procedures( ,ן בניבוי שנועד להראות את מידת האפקטיביות של מבח

או בהווה ) ניבוי(הביצועים הנבדקים יכולים להיות עתידיים . ביצועיו של הנבחן בפעולות מוגדרות

). בו זמני(

ידי אנאסטאזי ואורבינה כמידה שבה המבחן מודד מושג - תיקוף המושג הנבנה מוגדר על

)construct ( או תכונה)trait (על מתאמים עם גם תהליך תיקוף זה יכול להתבסס . תיאורטיים

ידי בדיקת - ידי ניתוח גורמים ועל-על, שמשמעות המדידה שלהם מוכרת וידועה, מבחנים אחרים

הוא צריך , האחת. לענות לשתי דרישותתהליך תיקוף מושג נבנה צריך . העקיבות הפנימית

שעמם יש צידוק תיאורטי לכך שמתאמים , עם משתנים אחריםעל בדיקת מתאמים להישען

כלומר להראות , לכלול גם בדיקה מבחינהצריך תהליך התיקוף , השנייה. יתקיימוכאלה אמנם

,שתי דרישות אלו נקראות. נמצאים במתאם עם משתנים אחריםאינםשציוני המבחן הנבדק

)Discriminant Validation(ותיקוף מבחין ) Convergent Validation(תיקוף מתכנס , בהתאמה

7

)Campbell, 1960) (Campbell & Fiske, 1959 .( בשנים האחרונות התווספו לתהליך תיקוף

Structural(כמו מודלים של משוואות מבניות , המושג הנבנה גם שיטות מחקר מורכבות יותר

Equation Modeling( ,המבוססים על ניתוחי רגרסיה מרובה.

נטלה על עצמה ,גם היא כוועדות שקדמו להש, )APA, 1985(ועדה מיוחדת של אנשי מקצוע

לא הגיעה להגדרה מוסכמת אחת של , משימה לפתח סטנדרטים למדידה חינוכית ופסיכולוגית

מתייחס למידה "הציעה שתוקף וניסחה הוועדה את המאפיינים של המושג , במקום זאת. המושג

בעלות משמעות , שאנו משתמשים בהן כדי להסיק מסקנות מחקריות ראויות, שבה העדויות

ידי כלים -על(שנאספות במחקר , )נתונים, מידע (שעדויות, ראשית, רוצה לומר). 9' עמ ("ושמישות

הקריטריון , שנית. הן אלה שתוקפן עומד לבחינה, ידי פעולת המחקר עצמו-או על, מסוימים

או נכונות , אמינות, מבוססות, כלומר, להערכתה של רמת תוקף העדויות הוא המידה שהן ראויות

. ן לעשות בהן שימוש ראוי ונית,מצד אחד

) APA, 1985 ( של אגודת הפסיכולוגים האמריקאיתהסטנדרטיםכארבע שנים אחרי שוועדת

שנחשב אבן , את מאמרו הידוע) Messick, 1989(פרסם סמואל מסיק , את מסקנותיהפרסמה

ה דה שבישיפוט הערכתי משולב של המ"-כהוא הגדיר תוקף . דרך מרכזית בהבנת המושג תוקף

עדות אמפירית ורציונל תיאורטי תומכים במידה שבה ההסקה והפעולות המבוססות על ציוני

המלים ). 13' עמ, שם ("הולמות ומתאימות, הן ראויות, מבחנים או צורות אחרות של הערכה

לא , כלומר במשמעותן הכללית ביותר, מובאות בהגדרתו של מסיק באופן גנרי" ציוני מבחנים"

, אלא מתייחסות לכל אמצעי של התבוננות, כפי שהדבר נעשה בדרך כלל, בחניםרק בהקשר של מ

תוקף יכול אפוא להתייחס לכלי מדידה מסוים .ייחוסיםשל או תצפית ותיעוד של התנהגות או

. שלם) study(או למחקר ) מבחן, שאלון(

, )APA, 1985(ידי ועדת הסטנדרטים - הגדרתו של מסיק נשענת אמנם על המאפיינים שנוסחו על

מודגש בהגדרתו של מסיק כי תוקף מוערך . אלא שהיא מרחיבה את הבסיס שעליו נשען המושג

שאליה מכוון , תיאורטי של ההסקההרציונל ה הן של העדויות האמפיריות והן של שיפוטידי - על

על המאפיינים , התוספת החשובה ביותר של מסיק. הכלי או התהליך המיועד לאסוף עדויות

ראו ( של השימושים שייעשו במידע טיבםוכן , היא הצורך ברציונל תיאורטי, צעו לפניושהו

). 1תרשים

8

1תרשים

)Messick, 1989 (לפי מסיק, במדידה) Validity(מאפייני התוקף

למה בהשוואה , ידי ועדת הסטנדרטים ובהגדרתו של מסיק-שבמאפיינים שהוצעו עלהמיוחד

המתקבל מכלי הערכה השימושים האפשריים במידע אל שהם מתייחסים הוא ,עברשהיה ידוע ב

במלים . ולא אל כלי המדידה או כלי ההערכה עצמו, ההסקה והפעולותאל כלומר , או מדידה

אם יש בידינו שיפוט הערכתי המאפשר לנו לחשוב שהמידע שהתקבל מכלי הערכה , אחרות

נוכל –הולם ומתאים במידה רבה , ")טוב", "נכון("ראוי הוא , תת הערכה מסוימאו מפעול, מסוים

כלי מדידה או הערכה חשוב להדגיש כי . במידה רבה"תקף"מדידה או הערכה זה של לומר שכלי

ובעל תוקף נמוך עבור , יכול להיות בעל תוקף גבוה עבור שימוש מסוים אחד) מחקר הערכה(

.שימוש מסוים אחר

והמשתמע ממנה היא בכך שבבואנו לבחון את מידת התוקף של הגדרתו של מסיקחשיבותה של

והופעלו הופק המידע שבוהאופן את גם בקש לבחון נ, כלי הערכה מסוימיםשל כלי מדידה או

בדיקת ההתאמה , ואולי אפילו יותר, כמו כן חשובה לא פחות. רק בכלי עצמוולא נתמקד, כליםה

. שימוש בכלי ובמתקבל ממנושל דרך הכנת הכלי והכלי עצמו עם מטרות ה

, קשיים ללאאך אינה , ת והתיאורטיתי תועלת רבה ברמה המושגההגדרתו של מסיק מביא

" בעלות משמעות", "ראויות"ע מלציין מה יכול להיחשב כעדויות ק נמנימס. אופרטיביים בעיקר

ם מליישיהיה כדי שניתן , גבולות ותנאים, מושגים אלה כשלעצמם דורשים הגדרות". שמישות"ו

הן בהצעותיהן של ועדות הסטנדרטים ,אולם הדבר החשוב ביותר. בהגדרת התוקףבאופן ברור

או פעולת , הוא שהמושג תוקף,בהגדרתו של מסיקשל אגודת הפסיכולוגים האמריקאית והן

ים המתבססליישומיםאו , להשלכות או להסקהאלא , למדידה כל כךאינה מתייחסת, התיקוף

אלא , את כלי המדידה" מתקף"ו החוקר אינ, במלים אחרות. ים המתקבלים מן המדידהעל הציונ

וכדי למנוע , כיוון שכך). Cronbach, 1971(תהליך מסוים בהפרשנות של הנתונים המתקבלים את

מהם השימושים הצפויים , המדידהראוי להבהיר ולהגדיר מראש מהן מטרות , אי בהירות

היערכות לאיסוף מידע

הדרכים והשיטות לאיסוף המידע

)כיצד נאסף המידע(

: שימושים במידע פעולות, הסקה

רציונל תיאורטי

9

כלומר את מידת , זאת כדי לתחום את תנאי היסוד של המושג תוקףוכל , הבממצאים שיעלו ממנ

".שימושיות"ו" בעלות משמעות", "ראויות"היות ההסקות מממצאי המדידה

של מושג התוקף " קלאסית"הדברים שנאמרו עד כה מסכמים בקצרה את עיקרי התיאוריה ה

שנים האחרונות הוא הרעיון המרכזי במושג התוקף באפשר אפוא לסכם ולומר כי . במדידה

והפעולות המבוססות על ציוני ) המסקנות(המשמעות והשמישות של ההסקה , המידה הראויה

ושניתן להשתמש בהם , הם בעלי משמעות" תוצריו"כלי מחקר בעל תוקף גבוה הוא זה ש. המבחן

על המבחן לייצג היטב ובמדויק את התכנים שאותם הוא מבקש, כדי שדבר כזה יקרה. בביטחון

תוקף המתייחס – ניבוי או התאמה" (לקיים את הבטחתו"עליו להיות מסוגל , )תוקף תוכן(לבחון

חוקרי תוקף ). תוקף מושג נבנה(יסוד תיאורטי איתן על ועליו להתבסס על מבנה או ) לקריטריון

שמבטיחות , המדידה הציעו דרכים לשכנע בדבר המידה שבה למבחן אמנם יש התכונות האלה

.פעולות בביטחוןקיום סקת מסקנות וה, שימוש

תוקף במחקר

כשמדובר בתיקוף . מכלי מדידה למחקר, או התיקוף, הבה ננסה עתה להכליל את מושג התוקף

היאהמטרה של מחקר . של כלי המדידה, או במטרות, כלי מדידה אנחנו מתעניינים בשימושים

של מחקר גלומים בשאלת " מטרה"או ה" שימוש"ה, במלים אחרות. מתן תשובה לשאלה מוגדרת

באופן כללי ביותר אפשר לומר שתוקף המחקר מתייחס למטרת . או נובעים ממנההמחקר

זה שממצאיו , כאמור, הוא" תקף"מחקר .המחקר) שאלות(המחקר או לשאלת ) מטרות(

". נכונות"וניתן בהתבסס עליהם לקבל החלטות , הם ראויים, אמפירית" אמת"משקפים

של " ערך האמת"בחין בסוגית התוקף בין אסטרטגיות המחקר השונות יש שמגדירים את כדי לה

):Newman & Benz, 1998(כמוצג להלן , המחקר בהתאם לאסטרטגיה המחקרית

כמותיבמחקר " ערך האמת"הוא המונח שמשתמשים בו לציון ) Validity ("תוקף" •

)Campbell & Stanley, 1963 .(

הוא המונח שמשתמשים בו לציון ) trustworthiness(" ו ראוי לאמוןהיות "או, "אמינות" •

).Lincoln & Guba, 1985 (איכותניבמחקר " ערך האמת"

" ערך האמת"הוא המונח שמשתמשים בו לציון , )Consistency) (קונסיסטנטיות(עקביות •

).mixed-methods research (שיטות מעורבותבמחקרי

שיתאים להבנת המושג תוקף , )מבחנים(מאפייני התוקף במדידה אפשר ללמוד מ, אם כן, מה

. נקודות עיקריות5 אציע כאן? במחקר

ושניתן להסיק מהם , הם בעלי משמעות) ממצאיו" (תוצריו"מחקר בעל תוקף גבוה הוא זה ש .1

.בדבר פעולות נדרשותהחלטות בביטחון מסקנות ולקבל

10

המחקר )או שאלות( כלומר שאלת, המחקר" כןתו", גבוהה יהיה תקף ברמה שמחקרכדי .2

הסוגיות או , צריכים להיות מדגם מייצג של הנושאים, והנושאים שהוא מתמקד בהם

שאלת , במלים אחרות.שבנוגע אליהן מבקשים לקבל החלטות או להסיק מסקנות, השאלות

. עניין לייצג שאלות רחבות וכלליות יותר באותו תחום דעת אויםהמחקר או מטרתו צריכ

.צריכה להיות בהלימה עם השאלה המחקרית, )המתודולוגיה(שיטת המחקר .3

שהם בודקים באופן אמין את הרכיבים והמשתנים ,כלי המחקר צריכים להיות מכוונים לכך .4

.הכלולים בשאלת המחקר או נובעים ממנה

:מפורט להלןכ, תנאי היסוד של חקירה מדעית6-המחקר עונה ל .5

כאשר שלבי הרצף עשויים להשתנות , המבוצעים ברצף, תהליכים מאורגנים ושיטתיים. א

בפרדיגמות מחקר שונות

תהליכי המחקר ותוצאותיהם ניתנים לבדיקה ולבחינה חיצונית . ב

) רפלקציה(על ממצאי המחקר אפשר לחזור .ג

.כנדרש, המאפשר תיקונים, קיים תהליך משוב פנימי .ד

לפעמים תוך כדי חיפוש קשרים סיבתיים, הסביר תופעותהמחקר מכוון ל .ה

.תהליך המחקר מאפשר לבטוח בתוצאות המושגות באמצעותו .ו

להתייחס תבספרות המתודולוגישבהם מקובל , סקור את העקרונות והכלליםאבהמשך הדברים

העוסקת במחקרים ) הותיקה במידה רבה( נסקור תחילה את הספרות .אל התוקף של מחקר

בשיטות ) חדשים יחסית(ואחר כך אתייחס לסוגיית התוקף של מחקרים , מותיים ואיכותנייםכ

).Mixed-Methods Research(מעורבות

כמותיתוקף במחקר

נלד קמפבל ו של דהם ומחשבותיהםיון השיטתי בתוקף במחקר מתבסס בדרך כלל על עבודותידה

). Campbell, 1957, 1969; Campbell & Stanley, 1963; Cook & Campbell, 1979 (ושותפיו

& Campbell, 1957; Campbell(קמפבל וסטנלי ו , קמפבלנומוקדמות הבחיה הםיבעבודות

Stanley, 1963 (בשנים מאוחרות .תוקף חיצוניו תוקף פנימי : בין שני סוגים של תוקף במחקר

: סוגים4וכללו בו , קףאת סיווג התו) Cook & Campbell, 1979(יותר הרחיבו קוק וקמפבל

)Statistical Conclusion Validity ( או ההסקה הסטטיסטית,תוקף המסקנה . 1

)Construct Validity (הנבנה- תוקף המושג.2

תוקף פנימי .3

תוקף חיצוני.4

11

.ארחיב מעט את הדיבור על כל אחד מסוגי התוקף הסטטיסטית) או ההסקה( המסקנהתוקף . 1

נשענת על נתונים מדגמיים המצויים , שעניינו חקר השתנות משותפת, טיבו של מחקרהערכת

:שבהתבסס עליהם אנחנו מבקשים לקבל שלוש החלטות, בידינו

?האם המחקר רגיש דיו כדי לאפשר מתן אמירות סבירות בדבר השתנות משותפת ) 1(

סס עליהן אפשר להסיק שבהתב, האם ישנן עדויות סבירות, אם המחקר אמנם רגיש דיו ) 2(

?שהקשר הסיבתי המשוער אמנם קיים

? משתנים במשותףבאיזו מידה של עצמה המשתנים הנחקרים, אם יש עדות כזאת )3(

על מבחני , או ההסקה הסטטיסטית, קמפבל ועמיתיו ביססו את תוקף המסקנות הסטטיסטיות

, סוגיות כמו גודל האפקטעל אפוא תפיסת התוקף של מחקר הושתתה . מובהקות סטטיסטיים

ושאלת הקבלה או הדחייה של השערות II- וIטעות מסוג , המבחן הסטטיסטי) power(עצמת

.האפס

הנבנה-תוקף המושג. 2

של )Confounding(תוקף המושג הנבנה מתעניין במה שבמחקר ניסויי קרוי ערפול או ערבוב

קשר (שגורמים את יחסי הסיבתיות הוא מתייחס לאפשרות שהפעולות או המושגים . מושגים

הערפול . שקשה להפריד ביניהם, יכולים להיות מורכבים ממספר מושגים, )סיבתי בין משתנים

)Confounding (יחסים סיבתיים בין מושגים תיאורטיים כ אחד מפרש רפירושו שמה שחוק)Aו -

Bמ( נוספים ושונים , עשוי לפרש כיחסים סיבתיים בין שני מושגים אחריםרחוקר אח, ) למשל-A

ת ההבנה שתוקף המושג הנבנה במחקר מקובלבשנים האחרונות אולם בקרב החוקרים ). B-ו

המידה שבה : כלומר, יותר לתפיסת המשמעות של הסוג הזה של תוקף כמו בכלי מדידהקרוב

לפי הגדרה ). Johnson & Christensen, 2004(יוצג במחקר מסוים מושג מסדר גבוה אמנם מ

בהירות , ידי כך שהחוקר משתמש במחקר בהגדרות טובות-תוקף המושג הנבנה מתגבש על, זאת

של המושגים שנעשה בהם שימוש ובהסברים משכנעים בדבר המשמעות של המושגים ,ומדויקות

.האלה

מצביע על הקושי שבשימוש במושגים מסדר , בכלי מדידה כמו גם במחקר, תוקף המושג הנבנה

כך יש , משום שככל שהמושג מופשט יותר, )כדוגמה, "אלימות", "שחיקה", "יהאינטליגנצ("גבוה

דרך אחת להתגבר על קושי זה היא לייצג את . שלא קל לזהותם, לו רכיבים אפשריים רבים יותר

או המושגים הכלולים אופרציונליות פירושה שהמונחים. המושגים במחקר באופן אופרציונלי

ככל שנכללים במחקר היבטים רבים . קבץ ייחודי של צעדים ופעולותידי מ- מיוצגים בו עלבמחקר

כך גדלים הסיכויים שמושג זה יהיה מיוצג באופן מדויק , יותר של המושג הנחקר) ומשלימים(

בהגדרות ובאמצעי מדידה רבים , השימוש בהיבטים). תוקף המושג הנבנה יהיה גבוה יותר(יותר

12

ושימוש כזה , )Multiple Operationalism" (ליזם מרובהאופרציונ"נקרא , יותר של מושג אחד

.)Campbell, 1988(מומלץ ביותר במחקר

)Internal Validity(תוקף פנימי . 3

שהקשר הזה , מתייחס למידה המשוערת שבה אנו יכולים להסיק מקשר אמפירי בין שני משתנים

. תי בין שני המשתנים האלהאו שהיעדר קשר ביניהם רומז על היעדר גורם סיב, הוא סיבתי

שבו אנחנו מסיקים שקשר בין שני , תוקף מוערך " התוקף הפנימי הוא:בניסוח מעט שונה

). Cook & Campbell, 1979, p.37" (משתנים הוא סיבתי

) התופעה הנצפית(אם מה שהתרחש : כךאת התוקף הפנימיאפשר לנסח בצורה הרחבה ביותר

או שאפשר לשייך את מה , חוקר סבור שהם אלה המשפיעיםאמנם התרחש בגלל המשתנים שה

כלומר , התשובה לשאלה זאת תלויה בתשובות חלופיות, למעשה? שהתרחש למשתנים אחרים

כמו למשל (יוצא אפוא שככל שמחקר נעשה תחת בקרה טובה יותר . אפשרייםבהסברים חלופיים

חשיבותו של .ארים ללא שינויכשכל התנאים האחרים נש, כך הוא תקף יותר) בניסוי מבוקר

היא לקבוע ) במדעי החברה במיוחד(משום שמטרה מרכזית ביותר במחקר , התוקף הפנימי רבה

.קשרים סיבתיים בין משתנים או מושגים

)External Validity(תוקף חיצוני . 4

ר שלפיה הקשר הסיבתי שנמצא במחק, מתייחס להשערה )External Validity ("תוקף חיצוני"

והן , הן על משתנים אחרים הקשורים באותה סיבה ומסובב) generalized(יכול להיות מוכלל

ידי קמפבל -שנטבע עלתוקף חיצוני הוא מושג . למצבים ולזמנים שונים, בנוגע לאנשים אחרים

& Shadish, Cook(קוק וקמפבל , ידי שדיש- והורחב על, )Campbell & Stanley, 1963(וסטנלי

Campbell, 2002 .(אוכלוסיית יעד או לרוחב – תוקף חיצוני מתייחס להכללה של הממצאים ל

)across (או לזמנים שונים, לזירות שונות, אוכלוסיות יעד .

. אותהשהמדגם אמור לייצג, להכללה ממדגם או ממדגמים לאוכלוסייהת מתייחס..."הכללה ל"

כיוון שקשה לאמוד טעויות . רת המדגםבתהליך בחי, או נעוצה, ההכללה קשורה, כיוון שכך

.כשהכוונה היא הכללה לאוכלוסייה, הרי קשה לאמוד את רמת התוקף החיצוני של מחקר, דגימה

מעין ההכלל. החוצה אוכלוסיותמתייחסת להכללה ) generalization across ("הכללה לרוחב"

ל את ממצאיו על אוכלוסייה שיש כוונה להכלי, זאת יכולה לכלול מחקר מדגמי מאוכלוסייה אחת

שמבקשים להכליל את ממצאיו להקשר אחר , )בית ספר(או מחקר שנעשה בהקשר אחד , אחרת

). תעשייה(

13

הקשר בין ארבעת סוגי התוקף במחקר

הסקת מסקנות לא נכונות בדבר הקשר הסיבתי בין . קיים קשר בין ארבעת סוגי התוקף במחקר

) נכונה או מוטעית(הסקה כזאת . בו של התוקף הפנימימשתנים או מושגים במחקר היא לב ל

דגימה בלתי נכונה או לא , כמו חוסר מהימנות של מדידה(נשענת היטב על היבטים סטטיסטיים

, )bias(כמו כן ייתכנו במחקר השפעות כמו הטיה ). ב"חוסר יציבות במדידות חוזרות וכיו, יציבה

וכמו , ל ערכים של ממוצעי המשתנים במחקרן שיטתי עפהמתייחסת לגורמים המשפיעים באו

שמגדילה את ההשתנות ומפחיתה את הסיכוי לקבל אפקטים סטטיסטיים ) error(טעות

תוקף ההסקה הסטטיסטית יכול אפוא להיחשב כמקרה פרטי של התוקף הפנימי . מובהקים

תוקף . קרתוקף המושג הנבנה במחהן של הכללה היא לב ליבם הן של התוקף החיצוני ו. במחקר

) שנעשה במדגם(גבוה של מושג נבנה מקל מאוד על יכולתנו להכליל את ממצאי המחקר

. בזמנים ובהקשרים אחרים, או לאוכלוסיות אחרות, לאוכלוסייה הרחבה

מושגים נוספים הקשורים בתוקף חיצוני

. נישעניינה תוקף במחקר כוללת מושגים שונים הקשורים בתוקף חיצו, ספרות המחקר הענפה

.זכיר אותם כאן בקצרהא

תוקף המתייחס ליכולת להכליל מתוך מדגם של ). Population Validity(תוקף אוכלוסייה

- ולרוחב תת, ...)הכללה ל(לאוכלוסיית יעד רחבה של אנשים , שעליהם נעשה המחקר, יחידים

ש אפוא שני לתוקף אוכלוסייה י). הכללה לרוחב(במסגרת אוכלוסיית היעד , אוכלוסיות שונות

,Bracht & Glass) (ותת אוכלוסיות במסגרת האוכלוסייה הרחבה, האוכלוסייה הרחבה(רכיבים

1968.(

מתייחס ליכולת להכליל את התוצאות של מחקר ).Ecological Validity(תוקף אקולוגי

והעלה , שהתבסס על כיתות קטנות, מחקר שנעשה באזורים כפריים. למצבים ולמערכות שונים

שבהם , מבוססים, האם אפשר להכליל תוצאות אלו לבתי ספר עירוניים. ממצאים מסוימים

תוקף אקולוגי אפשרי כאשר תוצאות מחקר אינן קשורות ? מספר תלמידים רב יותר בכל כיתה

).Bracht & Glass, 1968(בסביבה או בתנאים סביבתיים מסוימים

של מחקר ניתנות להכללה דה שבה תוצאותלמי מתייחס). Temporal Validity(תוקף זמנים

נכונים , ויכולים לא להיות, נתונים נכונים לנקודת זמן מסוימת יכולים להיות. לזמנים שונים

.לנקודת זמן אחרת

מתייחס ליכולת להכליל תוצאות ). Treatment Variation Validity(תוקף השתנות הטיפול

, הוראה(דבר זה חשוב משום שמתן טיפול . נבדקיםהשתנות בטיפול שניתן ל) או לרוחב(לאורך

.יכול להשתנות מזמן לזמן, )הדרכה

14

מתייחס ליכולת להכליל את התוצאות של מחקר על ).Outcome Validity(תוקף תוצאות

.אך דומים, משתנים תלויים שונים

תוקף המחקר במחקרים איכותניים

מתייחסת למחקרים הנשענים על איסוף כשהיאית התוקף במחקר טופלה במשך השניםסוגי

עם , בשנים האחרונות. נעשים בהם עיבודים סטטיסטייםו, נתונים בכלי מדידה כמותיים

סוגיית איך אפשר להתייחס ל התעוררה השאלה ,התרחבות השימוש בשיטות מחקר איכותניות

" תוקף"ל חוקרים המדברים ע .למחקרים איכותנייםבנוגע גם ) וסוגיית המהימנות(התוקף

הוא ועל כן , שניתן לסמוך עליו, יןהם מתייחסים למחקר אמגם , בהקשר של מחקרים איכותניים

.)Smith, 1984 (הגנה-בר

דה שבה המידע המופק מן המחקר יאפשר לומר באופן כללי שהתוקף של מחקר איכותני הוא המ

י שאנ. ואמינה" נכונה"היא אמנם שלו ושהפרשנות שמתבססת על הממצאים , הוא אמין ומדויק

ומרבים לעסוק בדרכים לשמירה על , המחקר האיכותני ממעטים לעסוק בהגדרות המושג תוקף

.על אלה ארחיב את הדיבור בהמשך. תואתוקף המחקר ולהעל

. אפשר להציע דיון על היבטי תוקף כמו תוקף פנימי ותוקף חיצוני בהקשר של המחקר האיכותני

ולא לחיפוש קשרים , תופעות ולהסבירןרואילתכותני מכוון אולם בדרך כלל המחקר האי

כאשר חוקרים במחקר איכותני מזהים יחסים . שהם המהות והתוכן של התוקף הפנימי, סיבתיים

הם נדרשים לנקוט באסטרטגיות הדומות ביותר לאלו הננקטות במחקר , אפשריים של סיבתיות

ר איכותני אינו רואה עצמו מכוון מחקך כלל בדר. כך הדבר גם בנוגע לתוקף החיצוני. הכמותי

.אוכלוסיות-להכליל את ממצאיו לא לאוכלוסייה הרחבה ולא לתת

תוקף המחקר במחקרים במתודולוגיה מעורבת

בשנים האחרונות גוברים הקולות השוללים את ההפרדה בין שימוש במחקר בשיטות כמותיות

. ומצדדים בשילוב של שתי האסטרטגיות המחקריות, שימוש במחקר בשיטות איכותניותובין

ת והיא המתודולוגיה המעורב,קולות אלה מצביעים על האפשרות לנקוט באסטרטגיה שלישית

)Mixed-Methodology Research .(מחקר במתודולוגיה מעורבת נוקט בשתי שיטות בסיסיות :

במחקר בשיטות מעורבות החוקר משתמש . מעורבבמודל מעורבות ומחקר בשיטותמחקר

בפרדיגמות המחקר האיכותני בשלב אחד של המחקר ובפרדיגמת המחקר הכמותי בשלב אחר של

כמותיות ואיכותניות , במחקר במודל מעורב החוקר משתמש בשתי השיטות. אותו מחקר

מתודולוגיה המחקרי מתעוררת שאלת התוקף ב, שכךכיוון. באותו שלב של המחקר, במשולב

כיצד נתייחס לתהליך , או לחילופין, כיצד נתייחס לתוקף של מחקר בשיטות מעורבות. מעורבתה

?תיקופו של מחקר בשיטות מעורבות

15

ועקביות , )קונסיסטנטיות(העיקרון הבסיסי של התוקף במחקר בשיטות מעורבות הוא עקביות

ע את התהליך הנכון של תיקוף כדי לקבו. זאת צריכה להתבטא בכל רכיביו ושלביו של המחקר

מוצע לנקוט בשלושה שלבים , או כדי להעריך את רמת התוקף שלו, בשיטות מעורבותמחקר

:אלה

של מטרות המחקר ושאלות המחקרקביעה והבהרה. א

)ינאיכות, כמותי(מחקר הקביעת השילוב הנכון של אסטרטגיות . ב

.מעורבת במחקרי מתודולוגיה ה של עקביותשימוש בסטנדרטים להשגת רמה גבוה. ג

ושאלות המחקרמחקר המטרות קביעה והבהרה של . א

היא הבהרה וקביעה של , של מחקר, "אמת"או פשוט ה, "ערך האמת" בקביעת הצעד הראשון

או , לכך שהמחקר נעשה, או המניע, מטרת המחקר היא הסיבה. מטרות המחקר ושאלות המחקר

החוקר עושה את , בדיוק ככל האפשר, מטרת המחקר מנסה לזהות למה. הרציונל של המחקר

מזהות ומגדירות את תחום החקירה ותחום , או שאלות המחקר, שאלת המחקר. המחקר שלו

ישנם מחקרים שמתחילים בהגדרה ? מנסה החוקר למצוא, בדיוק, מה: העניין שבו עוסק המחקר

וישנם מחקרים , יה מנסה המחקר להשיבשעל, המחקר) או שאלות(ברורה ומפורטת של שאלת

.שיוצאים לדרך רק ברמז עמום בדבר שאלת המחקר

מטרות מחקר 9להלן רשימה של ? מהן מטרות המחקר האפשרויות במדעי החברה והחינוך

):Newman, Ridenour, Newman & DeMarco, 2003:לפי(עיקריות

.)לצורך יצירת חוקים כלליים(ניבוי .1

, פירוש חוזר של ממצאי מחקרים קיימים, רפליקציות ,אימות ממצאים( דע הקייםתוספת לי .2

).חיזוק בסיס ידע, הבהרת מבנה וקשרים

השפעה על יצירת , כת תיאוריות או טיעוניםרהפ(השפעה או תרומה מוסדית או אישית .3

).הצבת סדרי עדיפויות, קביעת מדיניות, קידום שינוי, שינוי

מדידת , בחינת השפעות של טיפול, מדידת השפעה של צרכי פעולה( הבדלים מדידת שינוי או .4

.)תוצאות

).הבנת אנשים, הבנת שינוי, הבנת תרבות, הבנת תופעות (הבנת תופעות מורכבות .5

בחינת , בדיקת רעיונות חדשים, בדיקת השערות, בחינת חידושים (בחינה של רעיונות חדשים .6

).פתרונות חדשים

, חשיפת קשרים, יצירת תיאוריה, יצירת השערות, חקירת תופעות (רעיונות חדשיםיצירת .7

).חשיפת תרבות

.)תיאור מצב קיים, יחסי ציבור, העלאת מודעות, ל הרחבהמידע לק (אספקת מידע .8

חקר ,בחינה מחודשת של הבנות ותיקות, של העבר, או פירוש חוזר,פירוש (בחינת העבר .9

).ות חברתיות קיימותמקורותיהן של סוגי

16

מחקרהת וקביעת השילוב הנכון של אסטרטגי. ב

רק . ההחלטה על אסטרטגית המחקר קשורה בקשר אמיץ במטרת המחקר ובשאלה המחקרית

אפשר להצדיק את השימוש הראוי , כאשר מטרות המחקר ושאלות המחקר מובהרות היטב

שיטות לשילוב עיקריים מודליםשה קיימים שלו. או בשילוב של שיטות המחקר, בשיטת המחקר

מודל תכנון מעורב סימולטאני ומודל של , לא אינטגרטיבימודל: מחקר במתודולוגיה המעורבת

מאורגנים על פני רצף מן הפחות חזק מושגית המודלים. איכותני-כמותי: אינטגרטיביהרצף ה

. יותר מדעית"חזק"יותר מדעית ל" חלש" מן ה–או במלים אחרות , לחזק יותר מושגית

הלא אינטגרטיביהמודל

או בסדר , מחקר כמותי–ואחריו , אינטגרטיבי מבוצע בשלב ראשון מחקר איכותניהלאבדפוס

, שתי הפרדיגמות משמשות באופן בלתי תלוי. לזולתה" מדווחת"מבלי שפרדיגמה אחת , הפוך

.מבלי שנעשה ניסיון לקשור את שתיהן למטרה או למטרות משותפות

סימולטאניהמעורב התכנון דל המו

כשלשני סוגי , בדפוס זה של מחקר החוקר מנסה לעשות מחקר איכותני וכמותי באופן סימולטאני

, דפוס עבודה כזה יוצר בעיות אפיסטמולוגיות קשות. המחקרים ישנה אותה מטרה או מטרות

קר כמותי מניח מח, למשל. משום שהנחות היסוד של המחקר הכמותי והאיכותני שונות בתכלית

באומדן , שממנה אפשר להכליל ממדגם לאוכלוסייה, "אובייקטיבית" מציאות"סוג מסוים של

" מציאות אובייקטיבית"זאת בעוד שבמחקר איכותני אין . כלשהו של ביטחון בעשייה כזאת

ואין אפשרות להכליל ממדגם לאוכלוסייה , המציאות היא ייחודית לכל יחיד. לפי ההנחה, מצויה

המחקר האיכותני והמחקר . וגם אין צורך או רצון לעשות כן, מידה סבירה של אמדן בטחוןב

.והנחות מתנגשות אינן יכולות לחיות בכפיפה אחת, הכמותי אינם הולכים אפוא ביחד

איכותני- כמותי:אינטראקטיביהרצף המודל

לשתי יחסים המודלים הראשונים מתיי נש. במספר היבטיםיוי קודמנמודל זה שונה מש

על ן השלישי דוחה דיכוטומיה זאת ונשעשהמודלבעוד , הפרדיגמות המחקריות באופן דיכוטומי

. שבו המחקר יכול להיות בעיקרו כמותי או בעיקרו איכותני, רצף

. שהן קשורות למטרות המחקר,נובעות משאלות המחקרבכל שלושת המודלים שיטות המחקר

, אפשר להציע, מעורבות הוא האסטרטגיה הראויה ביותרכדי לקבוע האם מחקר בשיטות

שראוי, או סטנדרטים של תכנון, עקרונות תכנוןMorse, 2003( 4(בהתבסס על עבודתה של מורס

:ואלה הם ,להתחשב בהם

, לשם הדוגמה, אם מטרת המחקר.היכרות עם הבסיס או המניע התיאורטי של נשוא המחקר. 1

הרי הכיוון , למצוא משמעות או לחקור תופעה מוכרת, ההיא לתאר או לחשוף תופע

שיטת המחקר הראויה ביותר עשויה להיות במקרה . התיאורטי למחקר זה יהיה אינדוקטיבי

רמה יחד עם , של מידע פנומנולוגי או נרטיבי" עבה"והתוצאה תהיה תיאור , כזה איכותנית

17

. תיאוריה מעוגנת שדהשעשויה להתקבל ממידע נרטיבי או מ, מסוימת של תיאוריה

כשאין עדיין הגדרה ממוקדת , אסטרטגיה איכותנית יכולה לשמש גם למטרות חקר ניסיוני

או לקבוע את , )השערות או תיאוריה(כשמטרת המחקר היא לאשש .של יעדי המחקר

והשיטה שראוי לנקוט , הכיוון התיאורטי יהיה דדוקטיבי, התפלגותה של תופעה באוכלוסייה

.רך כלל כמותיתבה היא בד

וכוללים מטרות הם מחקרים רבים מורכבים .היבטים השונים של נשוא המחקרה תהכר .2

מחקרים שבהם ישנה באו , מטרות או שאלות" דלי"במחקרים . שונות ושאלות מחקר רבות

מטרה בודדת זאת מכתיבה את הכיוון , רק מטרה אחת או שאלת מחקר אחת בלבד

יש להתבונן בהיבטים , שכיחים ביותר, במחקרים אחריםאולם. התיאורטי של המחקר

זיהוי רכיבי המחקר . השונים של המחקר ולסווג את הכיוון התיאורטי שנובע מכל אחד מהם

.והכרתם יסייעו לגבש את הכיוון התיאורטי או הכיוונים התיאורטיים של המחקר הנדון

כאשר , לדוגמה.מחקר שנבחרוה) או שיטות(הצמדות להנחות המתודולוגיות של שיטת .3

כלומר לבקש לדעת , "לספור"ישנם חוקרים שמתפתים , נוקטים בשיטת מחקר איכותני

, "מסוכן"אולם זהו פיתוי ". הליכה על קרקע בטוחה"דבר המעניק תחושה של דיוק ו, "כמה"

לא תמיד הנבדקים . משום שספירה אינה המטרה או הצד החזק של המחקר האיכותני

את תשובותיהם של הנבדקים " לספור"ועל כן אין זה נכון , נשאלים אותה שאלהבראיונות

, לעומת זאת). נוסחה באופן שונה מנבדק לנבדקנותוכי בראי, שייתכן(לשאלה מסוימת

,)שלפעמים נכתב בשולי כלי המדידה(נחשפים להערות או למידע מילולי " כמותיים"חוקרים

הערות רבות .דבר שעלול להיות מטעה, ל ההערות האלהמתפתים לעשות ניתוח תוכן שויש ש

.על חולשתו של כלי המדידה ואינן מספקות מידע חשוב אחרמסוג זה מעידות יותר

תכנון מעורב סימולטאני ורצף , דפוס לא אינטגרטיבי( יצירת השילוב ההולם ביותר .4

, מחקריות שונותיש לשלב את המידע מאסטרטגיות , ככל שהדבר אפשרי.)אינטראקטיבי

ותי מכיצירת שילוב אינטגרטיבי של מידע צמצום מערכי המידע פירושו . ליחידת מידע אחת

.אחתמצומצמת ומידע איכותני ליחידת מידע

).1ראו לוח ( מתאר קשרים משולבים בין מטרות המחקר לאסטרטגיות המחקר1לוח

18

1לוח

הקשר בין מטרת המחקר לאסטרטגיה המחקרית

רת המחקרמטאסטרטגיה בגישת המחקר

המסורתיאסטרטגיה בגישת המחקר

בשיטות מעורבותהשיטה ("מחקר כמותי ניבוי. 1

)פוזטיביסטי, "המדעית

מחקר כמותי

מחקר כמותי ואיכותני )הכללה(מחקר כמותי תוספת לידע. 2

מחקר איכותני בתוספת מחקר איכותני השפעה אישית ומוסדית. 3

כמותי

מחקר כמותי מחקר כמותי מדידת שינוי. 4

איכותני בתוספת כמותי מחקר איכותני הבנת בעיות מורכבות. 5

איכותני בתוספת כמותי מחקר איכותני בחינת רעיונות חדשים. 6

בחינת (מחקר כמותי יצירת רעיונות חדשים. 7

)השערות

בתוספת איכותני, כמותי

מחקר מעורב ימחקר כמותי או איכותנ מסירת מידע. 8

מחקר איכותני מחקר איכותני בחינת העבר. 9

Newman, et al., (2003): המקורעליו להביא בחשבון את , בשיטות המעורבות) המודל(משהחליט החוקר על אסטרטגית המחקר

:האלההדברים

והמחקר הכמותיהנחות היסוד ומגבלות התוקף של המחקר האיכותני •

המחקר הכמותי והאיכותני משתלביםשל הנחות היסוד האופן שבו •

תרומתם של המחקר האיכותני והכמותי למחקר הנדון •

.מטרות המחקר עצמו והקשרן לשילוב שיטות המחקר •

במחקרי מתודולוגיה משולבת גבוהה של עקביותהשימוש בסטנדרטים להשגת רמ. ג

הציעו ) Newman & Benz, 1998(וכן ניומן ובנץ ) Ridenour & Newman, 2001(ריידנור וניומן

:)2ראו לוח (ואלה הם , סטנדרטים לקביעת העקביות בתכנון מחקרים 8

19

2לוח

במחקרגבוהה עקביות ליצירת סטנדרטים

מוסכמות ומנוסחות היטב, כל מטרות המחקר צריכות להיות ברורות •

מוסכמות ומנוסחות היטב, כל שאלות המחקר צריכות להיות ברורות •

המחקר) ות( המחקר ומטרת)ות(ה להתקיים בין שאלתעקביות צריכ •

המחקר) ות(המחקר ובין שיטת) ות(עקביות צריכה להתקיים בין מטרת •

להוכיח שהן מסוגלות להשיג את מטרות המחקר) ות(המחקר צריכה) ות(שיטת •

להוכיח שהן מסוגלות לטפל בשאלות המחקר) ות(המחקר צריכה) ות(שיטת •

)ות(והשיטה) ות(השאלה, )ות(יכות להיות עקביות עם המטרהההנחות האפיסטמולוגיות צר •

הולמות את ההנחות האפיסטמולוגיותשיטות המחקר צריכות להוכיח שהן •

לפירוש ממצאי המחקרסטנדרטים

הממצאים צריכים להיות עקביים עם שיטות המחקר •

מטרות המחקר צריכות להיות עקביות עם המסקנות •

.יכות להיות עקביות עם מטרות המחקרההשלכות של ממצאי המחקר צר •

דרכי השמירה על רמת גבוהה של תוקף המחקר

תוקף פנימי במחקר כמותי

:ואלה הם, כדי להגיע למסקנה בדבר קשר סיבתיותישנם שלושה סוגי עדויות הנדרש

קיומו של מתאם

מתאמי יש צורך בעדות על כך שהמשתנה התלוי והמשתנה הבלתי תלוי אמנם קשורים בקשר

יש צורך להיווכח בכך ששינוים במשתנה הבלתי תלוי מתייחסים , במלים אחרות. כלשהו

כמובן שאין מה לחשוב על קשר סיבתי בין שני , אם אין הדבר כך. לשינויים במשתנה התלוי

. המשתנים

סדר הזמנים

המקור השני של העדות הנדרשת כדי לשער קשר סיבתי הוא סדר הזמנים של התרחשות

צריך להתרחש או לפעול ) הסיבה(זאת משום שהגורם המשפיע , האירועים הקשורים במשתנים

. שההשפעה ניכרתלפני

אי תלות במשתנה שלישי

מתייחס לכך שהמשתנים הנחקרים , שנדרש כדי להגיע למסקנה בדבר סיבתיות, הסוג השלישי

קיומו של משתנה . יצוניח, ואינם קשורים במשתנה שלישי, קשורים אחד בשני בקשר סיבתי

20

יגרום לכך שהם יימצאו , נמצאים אתו במתאם) התלוי והבלתי תלוי(ששני המשתנים , שלישי

.גם אם אין לכך כל קשר סיבתי, במתאם אחד עם השני

שבו החוקר הוא המבקר , תוקף פנימי של מחקר כוללים תהליך דדוקטיבישמור עלהניסיונות ל

אפשריים על התוקף הפנימי של המחקר " איומים"להלן מספר . והחריף והמעמיק ביותר של עצמ

יים בין משתנים או כלומר על יכולתנו לקבוע באופן אמין את הימצאותם של קשרים סיבת(

.)Cook & Campbell, 1979; Maxwell & Delaney, 1990לפי ) (מושגים במחקר

:איום על האפשרות להסיק הסקות סטטיסטיות אמינות .1

העשויה להביא להחלטה לא נכונה , )של מבחנים סטטיסטיים(סטטיסטית נמוכה עצמה •

נקבעה α-או שרמת ה, שנובעת מכך שהמדגם קטן מדי, )IIטעות מסוג (בדבר היעדר הבדל

נמוך מדי

הפרה של הנחות סטטיסטיות הקשורות במבחנים סטטיסטיים •

אחת מן ההשוואות ריבוי השוואות של הפרשי ממוצעים המעלה את ההסתברות שכל •

) Iטעות מסוג (בטעות " מובהקת"תיחשב

מהימנות הטיפול שניתן לאנשים ; מהימנות נמוכה של הציונים שהופקו מכלי המדידה •

ידי מטפלים שונים- שונים על

שהיה בהם כדי לשנות את תנאי , אירועים שהתרחשו בשעת ביצוע המחקר.היסטוריה . 2

. השוואה למצב ולהנחות היסוד בתחילת ביצוע המחקרב, התכניות או התופעות הנבדקות

השפעה רבה יותר על התוקף " היסטוריה"כך יש לרכיב ה, ככל שהמחקר נמשך זמן רב יותר

.הפנימי של המחקר

דבר זה מתרחש כאשר אנשים בקבוצת הביקורת או בקבוצת .זליגה של מידע או של טיפול .3

. ו צריכים לקבל לפי התכנית ושלא היה מיועד להםשלא הי, הטיפול מקבלים מידע או ניסיון

.מידע שזלג באופן כזה עשוי להפחית באופן ניכר ביותר את תוקף המסקנות מן המחקר

הם . רכיב זה מתייחס לשינויים המתרחשים באנשים המשתתפים במחקר.הבשלה .4

ובותיהם של החשש הוא שתג. ב"נעשים רעבים וכיו, מתעייפים, רוכשים ניסיון, מתבגרים

שנמצא במוקד (שאפשר לייחס אותן לטיפול , )ריכוז, תוקפנות, הניעה, למידה(האנשים

אפשר גם . עלולות להיות קשורות במלואן או בחלקן בתהליכי ההבשלה האלה, )המחקר

כדי , כלומר שהטיפול עצמו ישתנה, שההבשלה תהיה באינטראקציה עם הטיפול עצמו

מבלי שהחוקרים יבחינו בהשלכות , שתתפים במחקרלהתאים עצמו להבשלתם של המ

.הנובעות מכך

כשאין . מתייחסת לתהליך שבו מציבים אנשים לקבוצות טיפול ולקבוצות ביקורת.הצבה .5

.קיים חשש של הרכבים לא שווים בין הקבוצות, נעשה שימוש בהצבה אקראית

21

הביצועים שלהם עשויים ,אנשים נמדדים כמה פעמים על אותו משתנהכאשר . היבחנות .6

מהבנה , מזכירה של פריטים ותשובות קודמות, מרכישת ניסיון, בין השאר, להיות מושפעים

.ב"של מטרות המחקר וציפיות החוקרים וכיו

תיקוף פנימי עשוי להיפגע כאשר הבדלים בתוצאות של טיפולים שונים .שימוש בכלי מחקר .7

דבר זה עשוי לקרות . ם שונים של כלי המחקרלהיבטי, במידה זאת או אחרת, מיוחסים

דוגמה . בעוד שאין הדבר כך, )או דומים במידה רבה(ערך -כאשר סבורים ששני כלים הם שווי

לפעמים מבלי שהחוקרים (אך דרך העברתם משתנה , נוספת היא כאשר הכלים באמת שווים

).שמים לבם לכך

דנו בכך ) Furby, 1973; Wolins, 1982; Roberts, 1980( חוקרים .רגרסיה אל הממוצע .8

במשך הזמן אל הערך " מתקדמים"שתופעה זאת של שינויים בממוצעי תופעה נחקרת

בכל פעם ששני ) במקרים רבים ביותר(התופעה מתרחשת . הממוצע של ההשתנות שלהם

. אך בלתי מושלם, משתנים נמצאים במתאם חיובי

כיוון שתיקוף . לתוקף חיצוני, אם כי לא מספיק, ייש להדגיש שתוקף פנימי הוא תנאי הכרח

שבבסיסו הוא יותר , הוא בעייתי יותר מאשר תוקף פנימי, חיצוני מחייב הסקה אינדוקטיבית

). Cook & Campbell, 1979(דדוקטיבי

תוקף חיצוני במחקר כמותי

ר בתוקף במיוחד כשמדוב, מספר היבטים קשורים בפגיעה אפשרית בתוקף החיצוני של מחקר

נציין כאן כמה ). Pedhazur & Pedhazur-Schmelkin, 1991) (הכללה לרוחב(החוצה אוכלוסיות

: מהם

חוקרים צריכים להיות מודעים לכך שהם מבקשים להכליל את תוצאות מחקריהם . מדגם מייצג

, ותכאשר אוכלוסיות יעד כאלה מוגדר. להקשרים או לזמנים שונים, לאוכלוסיות יעד של אנשים

כלומר יכילו את רכיבי המאפיינים של , בהתאמה" מייצגים"יש צורך שמדגמי המחקר יהיו

שבהם אין לחוקר ידיעה ברורה בדבר , אולם ישנם מקרים. אוכלוסיות היעד המיועדות להכללה

דבר מסוג זה עשוי להתרחש כשהמטרה . אוכלוסיית היעד המיועדת להכללה של תוצאות המחקר

, כאשר מחברים מבחנים לדרגת כיתה מסוימת, וגם במחקר יישומי, יה כלליתהיא לגבש תיאור

אולם כאשר אוכלוסיית . למקומות או לזמן מוגדרים וידועים מראש, מבלי להתכוון לאוכלוסייה

כך שהמדגם , לשרטט מסגרת דגימה ולדגום מתוכה נבדקים– אם ניתן –היעד מוגדרת נכון הדבר

והנבדקים , תהליך דגימה כזה צריך להתחיל בדגימה מקרית. אפשרייצג את האוכלוסייה ככל ה

.שייבחרו בדגימה כזאת יוצבו לקבוצות המחקר והביקורת באופן אקראי

22

במודל . )Model of Deliberate Sampling for Heterogeneity(דגימה המכוונת להטרוגנית

להבטיח שטווח רחב של מקרים ו, הקשרים וזמנים, זה יש עניין להגדיר קבוצות יעד של אנשים

צורת דגימה כזאת אינה מחייבת דגימה מקרית . בתוך כל קבוצה יהיו מיוצגים בתכנון המחקר

לכן אין אפשרות להכליל את הממצאים שהתקבלו בדגימה כזאת . בכל אחד משלבי הדגימה

ים אולם אפשר לתאר בהרחבה את הממצאים ולהדגיש שאין ודאות שממצא. לאוכלוסייה אחרת

. ואולי אפילו לא לאותה אוכלוסייה שממנה נלקח המדגם, אלה תקפים גם לאוכלוסיות אחרות

מחייבת לדגום מקרים שהם שונים , שלעתים קרובות ביותר היא המעשית ביותר, דגימה מסוג זה

במיוחד במאפיינים שבנוגע אליהם יש , כלומר הטרוגניים ביותר, מאוד במאפייניהם אחד מן השני

.להכלילכוונה

לפי מודל זה החוקר . )Impressionistic Modal Instance Model(השכיח ההתרשמותי מודל

ואז לבחור , או הזמנים שבנוגע אליהם היה רוצה להכליל, ההקשרים, מציין את סוג האנשים

השלב הראשון . לפחות מקרה אחד מכל קבוצה שבאופן התרשמותי הוא דומה לשכיח הקבוצתי

והשלב השני הוא לחפש , זאת הוא הגדרה ופירוט של המאפיינים שיש בהם ענייןבשיטת דגימה

.ולבחור מספר מקרים בכל קבוצה, לתאר אותם, ולאתר את המקרים השכיחים באוכלוסייה

כאשר המטרה היא ). מאפייני אישיות, דרגת השכלה, מין (אינטראקציה בין טיפול ומאפיינים

הכללות לרוחב . יש צורך שמשתנים אלה ייכללו במחקר, יניםמאפי-להכליל לרוחב רמות משתני

.רמות של מאפיינים אפשרית כאשר אין אינטראקציה בין סוגי הטיפול ובין המאפיינים

מערכים מתייחסים לסביבות ).בית ספר ותעשייה(אינטראקציה בין טיפולים למערכים שונים

בדרך כלל ). שדה(או רחבים ) מעבדה(ם מערכים אלה יכולה להיות צרי. שבהן המחקרים נעשים

הכללה ממחקר שנעשה (מערך הטיפול מציב מגבלות על יכולת ההכללה של ממצאי מחקר

).במעבדה למצבי שטח

אלה מתרחשים כאשר קבוצה אחת של אנשים נחשפת למספר טיפולים או . טיפולים מעורבים

רצף מתן הטיפולים עשוי , ולתוכאן הטיפולים עצמם עשויים להפריע אחד לז. למספר משתנים

.ועמו גם האפקט, להשתנות

מן . איום מרכזי על התיקוף חיצוני הוא אפוא ההטרוגניות והייצוגיות של מדגם המחקר

, המפורסמות היא שחלק לא מבוטל של מחקרים נעשה בהתבסס על מדגמים לא הסתברותיים

נה מוחשית שהמחקרים שנעשו נשענו באופן כזה ישנה סכ. אלא על מדגמים שנבחרו מטעמי נוחות

שלא לדבר על כך , שהחוקרים כיוונו אליה, על מדגמים לא מייצגים את האוכלוסייה הראשונית

.אוכלוסיות שהוא מתבקש לייצג" לייצג"שאין כל ודאות שמדגם לא הסתברותי יצליח

23

תוקף המחקר האיכותני

כותני במשך השנים מספר אסטרטגיות אנשי המחקר האיפיתחו כדי לשמור על רמת תוקף גבוהה

להלן מספר אסטרטגיות לדוגמה. שנועדו לשפר את איכותו ואמינותו של המחקר, חשובות

)Maxwell, 1992, 1996; Johnson & Christensen, 2004:(

.)בדיקה צולבת של מידע ומסקנות בעזרת תהליכים או מקורות מרובים (טריאנגולציה

המתייחס , )Interpretive Validity( תוקף הפרשנות שנקרא גםחקרים משוב שוטף של הנ •

לאירועים ) הנחקרים(להצגה המדויקת של משמעות המיוחסת על ידי משתתפי המחקר

, סוג זה של תוקף מתייחס למידה שבה עולמם הפנימי של הנחקרים. שבהם הם נוטלים חלק

ידי החוקר - כהלכה עלכוונותיהם וחוויותיהם הובנו, רגשותיהם, כלומר מחשבותיהם

. והם מוצגים כראוי בדוח המחקר, האיכותני

באסטרטגיה זאת . אסטרטגיה חשובה להשגת תוקף פרשנות גבוה היא משוב משתתפים

לשם אימות , מוצגים בפני הנחקרים, פרשנותו של החוקר את הממצאים וכן מסקנותיו

קרובים ככל האפשר לאופן בכתיבת דוח המחקר נעשה שימוש בדיווחים ה. והשגת תובנות

ציטוטים מדויקים של . תוך שימוש מזערי בהכללות, ידי המשתתפים-שבו הוצגו הדברים על

.דברי הנחקרים הם דוגמה בולטת לצורה זאת של דיווח המובא בדוחות המחקר האיכותני

מתייחס לדיוק , )Descriptive Validity(תוקף התיאורים שנקרא גם , שיתוף עמיתים •

שנעשה בה שימוש כדי לחזק , אסטרטגיה יעילה. דתי של הדיווחים המתקבלים במחקרהעוב

אסטרטגיה זאת נשענת על מספר . היא טריאנגולציה של חוקרים, את התוקף התיאורי

חוקרים המתעדים ומתארים את התנהגותם של המשתתפים במחקר ואת ההקשר שבו

אפשרת בחינה ובדיקה צולבת של השתתפותם של חוקרים רבים מ. מתרחשת התנהגות זאת

כתוצאה מכך המחקר האיכותני אמין . כדי להשיג הסכמה על הדברים שהתרחשו, התצפיות

.יותר ובר הגנה

שמתייחס לדרגה , )Theoretical Validity(תוקף תיאורטי שנקרא גם בדיקות חיצוניות •

הם אמינים ובני ועל כן , מתאימים לנתונים, שנובעים ממחקר, שבה הסברים תיאורטיים

ומדוע, מתרחשת תופעה מסוימתכיצדתיאוריה מתייחסת לדיון בדבר השאלה , כידוע. הגנה

למחקר האיכותני ארבע אסטרטגיות המכוונות לחזק את התוקף ? היא מתרחשת באופן הזה

. התיאורטי של המחקר

דה שלפיה החוקר מבלה זמן ניכר בש,עבודת השדה הממושכתהאסטרטגיה האחת היא

באופן כזה ישנו בטחון רב יותר באשר . הנחקר ללימוד הנחקרים וההקשר שבו הם פועלים

. שהדברים מתרחשים, להבנת אופן התרחשותן של התופעות הנחקרות ובאשר לסיבות

24

מכוונת לבחון , )Denzin, 1989(טריאנגולציה של תיאוריה הקרויה , אסטרטגיה שנייה

. אוריות ונקודות מבטתופעה מסוימת לאורן של מספר תי

מכוונת לכך שעל בסיס התיאוריה שגיבש , התאמת דפוסיםהקרויה , אסטרטגיה שלישית

ניבויים אלה . החוקר הוא מנסח מספר ניבויים ובודק את מידת הדיוק של הניבויים האלה

והנתונים שנאספו במחקר נבחנים לאורם של דפוסי , מגבשים דפוסים של תוצאות אפשריות

. ת האלההתוצאו

לפי אסטרטגיה . בקרת עמיתיםהיא , שאינה ייחודית למחקר האיכותני, האסטרטגיה הרביעית

.הערות וביקורת, לצורך חוות דעת, זאת התיאוריה שגובשה נמסרת לעמיתים

שהם מטרות המחקר העיקרית , בחינה של מקרים הפוכים למקרים •

החוקר על ההטיה האפשרית העשויה מודעות עצמית ורפלקציה ביקורתית של (רפלקסיביות •

)להשפיע על תוצאות המחקר

דברי סיכום

הצגתי . במחקר בכלל ובמחקרי הערכה בפרט, בהרצאה זאת העליתי את נושא התוקף במדידה

–האחת . מתוך שתי זוויות ראייה, המוכרת לחוקרים במדעי החברה, את סוגיית התוקף

ה באופן שונה בהתאם לאסטרטגיה המחקרית מתייחסת למושג ז–והשנייה , התפתחותית

ההיבט ההתפתחותי של הדיון בסוגיית התוקף הראה שהתוקף הפך במשך השנים . הנבחרת

שלפיו התוקף (למושג יחידתי ) נפרדים ובלתי תלויים–שלפיו נרשמו סוגים שונים (ממושג פרטני

שבעוד , נוספת הייתההתפתחות ). המהווה יחידה מורכבת אחת, שטחות-במחקר הוא מושג רב

במשך השנים , וניסחו לכך הגדרות שונות, שבתחילה התמקדו החוקרים בתוקף כלי המחקר עצמו

, "תוקף השימושים"וניסו להגדיר את , התייחסו החוקרים לשימושים ולתוצרים של כלי המחקר

ד שבעוהעלתה סקירת התפתחות לימוד המושג , לבסוף". תוקף היישומים"ו" תוקף התועלת"

, מבחנים(שבראשית לימוד סוגיית התוקף התייחסו החוקרים אליה כרלבנטית רק לכלי מדידה

בהמשך הדברים הורחבה ההתעניינות במושג זה גם למחקר , )שאלונים וכלי מחקר אחרים

.ולתהליכי מחקר

" ערך האמת"הוא המונח שמשתמשים בו לציון ) validity(נמצא בספרות המחקר כי המושג תוקף

במחקר " ערך האמת"משמש לציון ) trustworthiness" (אמינות"המושג , מחקרים כמותייםב

בעוד . בשיטות מעורבות" ערך האמת"משמש לקביעת ) consistency(ועקביות , האיכותני

הוצגו בהרצאה זאת סטנדרטים ליצירת עקביות , "אמינות"וב" תוקף"שהספרות הרבתה לעסוק ב

.ת מעורבות בפרטגבוהה במחקר בכלל ובשיטו

25

מקורות

Anastasi, A. (1954). Psychological testing. New York: Macmillan.

Anastasi, A., & Urbina, S. (1997). Psychological testing (7th ed.). Upper Saddle

River, NJ: Prentice-Hall.

APA: American Psychological Association (1954). Technical recommendations for

psychological tests and diagnostic techniques. Psychological Bulletin, 5 (2, pt. 2).

APA: American Psychological Association (1966). Standards for educational and

psychological tests and manuals. Washington D.C: Author.

APA: American Psychological Association, American Educational Research

Association & National Council on Measurement in Education (1985). Standards

educational and psychological testing. Washington, D. C: American psychological

Association.

Bracht, G. H. & Glass, G. V. (1968). The external validity of experiments. American

Educational Research Journal, 5, 437-474.

Campbell, D. T. (1957). Factors relevant to the validity of experiments in social

settings. Psychological Bulletin, 54, 297-312.

Campbell, D. T. (1960). Recommendations for APA test standarts regarding

construct, trait, and discriminant validity. American Psychologist, 15, 546-553.

Campbell, D. T. (1969). Prospective: artifact and control. In R. Rosenthal & R. L.

Rosnow (Eds.), Artifact in behavioral research (pp. 351-382). New-York:

Academic Press.

Campbell, D. T. (1988). Definitional versus multiple operationism. In E. S. Overman

(Ed.) Methodology and epistemology for social science: selected papers (pp. 31-

36). Chicago University of Chicago Press.

26

Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by

the multitrait-multimethod matrix. Psychological Bulletin, 56, 81-105.

Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental

designs for research on teaching. In N. L. Gage (Ed.), Handbook of research on

teaching. (pp. 171-246). Chicago: Rand McNally.

Cook, T. D., & Campbell, D. T. (1979). Qusi-experimentation. Boston Mifflin

Company.

Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Ed.), Educational

measurement (2nd Ed.), pp. 443-507. Washington, D. C: American Council on

Education.

Cronbach, L. J. (1980). Validity on parole: how can we go straight? New directions

for testing and measurement: measuring achievement of a decade. Proceedings of

the 1979 ETS Invitational Conference (pp. 99-108). San Francisco: Jossey Bass.

Cronbach, L. J. (1990). Essential of Psychological testing (5th ed.). New-York:

Harper & Row.

Denzin, N. K. (1989). The research act: a theoretical introduction to sociological

methods. Englewoods Cliffs, N. J: Prentice-Hall.

Furby, L. (1973). Interpreting regression toward the mean in developmental research.

Developmental Psychology, 8, 172-179.

Ghiseli, E. E., Campbell, J. P., & Zedeck, S. (1981). Measurement theory for the

behavioral sciences. San Francisco: Freeman and Company.

Guilford, J. P. (1946). New standards for test evaluation. Educational and

Psychological Measurement, 6, 427-439.

27

Johnson, B., & Christensen, L. (2004). Educational research. Boston: Pearson.

Lincoln, Y., & Guba, E. (1985). Naturalistic inquiry. Newbury Park, CA: Sage.

Maxwell, J. A. (1992). Understanding and validity in qualitative research. Harvard

Educational review 62(3). 279-299.

Maxwell, J. A. (1996). Qualitative research design. Newbury Park, CA: Sage.

Maxwell, S. E., & Delaney, H. D. (1990). Designing experiments and analysis data.

Pacific-Grove, CA: Brooks/Cole Publishing Company.

Messick, S. (1989). Validity. In R. Linn (Ed.), Educational measurement (3rd ed.).

pp.13-103, New-York: Macmillan Publishing company.

Morse, J. M. (2003). Principles of mixed methods and multimethod research design.

In A. Tashakkori & C. Teddle (Eds.). Handbook of mixed methods research in

social & behavioral research (pp. 189-208). Thousand Oaks, CA: Sage.

Newman, I, & Benz, C. R. (1998). Qualitative-quantitative research: exploring the

interactive continuum. Carbondale, IL: Southern Illinois University Press.

Newman, I, Ridenour, C. S., Newman, C., & DeMarco, G. M. P. Jr. (2003). Typology

of purpose: a tool for thinking about research questions, designs, and mixed

methods. In A. Tashakkori, & C. Teddlie (Eds.), Handbook of mixed methods in

social and behavioral research. (pp. 167-188). Thousand Oaks, CA: Sage.

Pedhazur, E. J. & Pedhazur-Schmelkin, L. (1991). Measurement design, and analysis.

Hillsdale, N. J: Lawrence Erlbaum Associates, Publishers.

Ridenour, C. S., & Newman, I. (2001 June). Themes are not variables, and mixed

methods are not a "panacea" for educational researchers. Paper presented at the

28

annual meeting of the Midwestern Educational Research Association, Columbus,

OH.

Roberts, A. O. H. (1980). Regression toward the mean and the regression-effect bias.

In G. Echternacht (Ed.), Measurement aspects of Title I evaluation (pp. 59-82).

San Francisco: Jossey-Bass.

Shadish, W. R., Cook, T. D, & Campbell D. T. (2002). Experimental and quasi-

experimental designs for generalized causal inference. Boston: Houghton Mifflin.

Smith, J. K. (1984). The problem of criteria for judging interpretive inquiry and other

case studies. In L. Shuman (Ed.), review of research in education, Itasca, IL:

Peacock. Vol. 6. 316-377.

Wolins, L. (1982). Research mistakes in the social and behavioral sciences. Ames,

IA: Iowa State University Press.