תוקף פנימי: האם המניפולציה= הטיפול הניסויי (המשתנה הב"ת) היא שגרמה להבדלים בין קב' הניסוי והביקורת.
כלומר, מתאר את המידה בה הסברים חלופיים או מה שמכונה "ארטיפקט" יכולים להסביר את התוצאות. ארטיפקט= טעות שיטתית– השפעת משתנה חיצוני, שעלולה לשמש הסבר חלופי.
בעצם, אם הקפידו בניסוי על סדר הזמנים (הפעלת המשץנה הב"ת לפני מדידת השינוי במשתנה התלוי) ניתן לומר שתוקף פנימי הוא תנאי הכרחי ומספיק להיסק סיבתי.
מכאן, שלמחקר מתאמי יש תוקף פנימי נמוך, משום שיש אינסוף הסברים חלופיים.
יש 8 איומים על התוקף הפנימי:
כולם יכולים להשפיע על כל ניסוי, למעט מכשור ומדידה החלים רק על מחקרים בהם המשתנה התלוי הוא השינוי שחל בנבדקים בין 2 מועדים- בין המדידה שנערכה לפני הפעלת המניפולציה, לבין מדידה שנערכה אחריו.
- היסטוריה
כל המאורעות הקורים במהלך הניסוי בין מדידת המשתנה התלוי לפני הפעלת המניפולציה לבין מדידתו אחריה. התוקף הפנימי נפגע, כאשר ניתן לייחס את תוצאות הניסוי למאורע שהתרחש בזמן שעבר בין 2 מדידות אלו (למעט המשתנה הב"ת).
למשל, אם רוצים לבדוק את השפעת תשדירים על קניית מוצר כלשהו. אם שיעור הקניה עלה לאחר התשדירים, אך היו הקלות במע"מ בין השמעת התשדירים לרכישות, ניתן לייחס את השינוי להקלות- המאורע נתן הסבר חלופי לתוצאות.
ככל שטווח הזמן בין 2 המדידות גדל, גדלה ההסתברות לגורם ההיסטוריה.
- בשילה
התהליך שעוברים נבדקים בניסוי, כפונקציה של מעבר הזמן גרידא: התפתחות, עייפות, רעב וכו'. התוקף הפנימי נפגע, אם אפשר לייחס את התוצאות לשינויים הנובעים מבשילה.
למשל, בחנו שיטת הוראה במשך שנה על ילדים בני 6. הישגיהם השתפרו, אולם האם השיפור נגרם בשל ההוראה (המשתנה הב"ת) או בשל ההתפתחות הקוגניטיבית הטבעית (בשילה)?
- מכשור
התוקף הפנימי נפגע אם חלים שינויים במכשיר המדידה בין המדידה הראשונה לשנייה (לפני המניפולציה ואחריה).
למשל, המכשיר מכוייל בין המדידות, הנסיין מדייק פחות במדידה השנייה, תשובות הנבדקים לשאלון משתנות בין 2 הבדיקות בגלל העדר מהימנות וכו'.
- מדידה
לעתים, המדידה הראשונה משפיעה על השניה, ללא קשר למשתנה הב"ת.
נבדק העונה למבחן אינטליגנציה, למשל, יכול להיות מושפע מהביצוע הראשון שלו, כאשר הוא נבדק בפעם השנייה.
הוא יכול ללמוד איך משיבים למבחן, הסכנה היא שתהליך המדידה משנה את הנבדק או תכונה/יכולת שלו בלי קשר למשתנה הב"ת ובכך לפגוע בתוקף.
- רגרסיה לממוצע
למקבלי ציונים קיצוניים במדידה הראשונה יש נטייה סטטיסטית להתקרב לממוצע במדידה השנייה. יש לזה הסבר פשוט: אם מישהו קיבל את הציון הנמוך ביותר, יש סבירות גבוהה שציונו ישתפר בבחינה הבאה, כי כבר אין לו לאן לרדת. אם נבדק השיג ציון גבוה מאוד, הוא יתקשה לחזור על ההישג פעמיים.
כלומר, ככל שהציון במדידה הראשונה סוטה יותר מממוצע הקבוצה, כך הוא כולל מרכיב גדול יותר של טעות מדידה, ויש יותר סיכוי שבמדידה הבאה הוא יתקרב לממוצע.
תופעה זו לא מתרחשת במכשיר מדידה עם מהימנות מושלמת, כי אז אין טעויות מדידה, אבל במציאות אין מכשיר כזה.
הרגרסיה פוגעת בתוקף, אם קב' הניסוי/הביקורת נבחרו לפי ציוניהן הקיצוניים. סביר שציונים קיצוניים ישתנו במדידה השניה, ולכן, אי אפשר לדעת האם השינוי נבע מהרגרסיה או מהמניפולציה.
למשל, חוקר בדק את יעילות שיטת הוראה על טעוני טיפוח. במדידה הראשונה, הוא בדק את יכולתם של טעוני טיפוח, ובחר לקב' הניסוי את מקבלי הציונים הנמוכים ביותר. לאחר המניפולציה, הישגיהם השתפרו, אולם ייתכן שהשיפור נבע מהנטיה הטבעית להתקרב לממוצע, ולא משיטת ההוראה.
- ברירה (סלקציה)
אם הנבדקים לא הוקצו לקב' הניסוי והביקורת בצורה רנדומאלית, הקב' עלולות להיות שונות מלכתחילה (עוד לפני הפעלת המניפולציה). במקרה זה, ניתן לייחס את התוצאות להבדלים שהיו קיימים מראש בין הקבוצות, ולא למשתנה הב"ת.
- נשירה
אם הנשירה אינה מקרית, כלומר, אינה ביחס שווה בכל הקבוצות, אפשר לייחס את התוצאות לנשירה סלקטיבית. זהו סוג של שגיאת ברירה, משום שהקבוצות הורכבו כנראה, מאנשים בעלי תכונות שונות, ולכן הייתה נשירה שונה ביניהן. אם כן, השוני שנמצא במשתנה התלוי בין הקבוצות יכול להיות מיוחס לנשירה השונה, ולא להבדל במשתנה הב"ת.
- אינטראקציות עם ברירה
בשילה, מדידה או רגרסיה עלולות לעבור אינטרקציה עם הברירה, ולאיים במשולב על התוקף הפנימי.
אם למשל כאשר משווים ילדים מבוססים עם טעוני טיפוח, קצב הבשילה הטבעי של הילדים המבוססים עלול להיות שונה מזה של טעוני הטיפוח. כלומר, הבשילה לא רק השפיעה על הנבדקים, אלא יצרה הבדל (ברירה) בין שתי הקבוצות, שלא קשור למשתנה הב"ת. הבדלי הבשילה יכולים לשמש הסבר חלופי לתוצאות.
כלומר, אינטראקציה סטטיסטית חלה, כאשר השינוי שחל בקב' הניסוי (בגלל בשילה, מדידה/ רגרסיה) נבדל מהשינוי שחל בקב' הביקורת.
מכיוון שההבדל לא חל כתוצאה מהמניפולציה, אלא מגורמים אחרים- הוא מאיים על התוקף הפנימי.
למעשה, כל האיומים הללו על התוקף הפנימי הם אותן טעויות שיטתיות שתיארנו קודם.
הפתרונות:
- קב' ביקורת – מאפשרת לבדוק את התנהגות הנבדקים אילו לא נחשפו למניפולציה. לבדוק אם המניפולציה היא שאחראית להתנהגות הנבדקים בקב' הניסוי.
- חלוקה מקרית – מבטיחה שלא יהיו הבדלים מראש בין קב' הניסוי והביקורת.
2 אמצעים אלו מאפשרים להתגבר על כל 8 האיומים לעיל-
אם הקבוצות שוות, אין בעיה של בשילה למשל, כי השינויים שיחולו בנבדקים בין 2 מועדי המדידה (שלא קשורים למשתנה הב"ת) יהיו זהים ב-2 הקבוצות.
איומים נוספים שעקרון הרנדומיזציה לא מונע-
עקרון הרנדומניזציה יכול להבטיח את שוויון הקבוצות לפני המניפולציה, אך הוא לא מונע מהקבוצות להשתנות במשך הניסוי, מגורמים שאינם המשתנה הב"ת.
לכן, יש 5 איומים נוספים, שאי אפשר להתגבר עליהם ע"י הקצאה מקרית:
- התמרמרות נבדקי אחת הקב' – כאשר הטיפול שמקבלת קבוצת הניסוי מבוקש יותר (או להפך) לדוגמה- אם קב' הניסוי מקבלת תגמול, ונבדקי הקבוצה המקופחת מודעים לכך- הם עלולים לחוש טינה כלפי החוקר, וזו עלולה להשפיע על התנהגותם ולשמש הסבר חלופי.
פתרון: למנוע מעברי מידע בין נבדקי הקבוצות השונות.
- הסטוריה מקומית – איום ההיסטוריה נוגע לאירועים שקרו לשתי הקבוצות, וניתן להתגבר עליו ע"י מדידה בו זמנית של המשתנה התלוי בשתיהן לפני הטיפול ואחריו. בהיסטוריה מקומית, מדובר באירועים שהתרחשו רק לאחת מהקבוצות (רעש, בדיחה של נבדק) העלולים לשמש הסבר חלופי לתוצאות- להבדל שבין הקבוצות.
פתרון: רנדומניזציה של תנאי (קבוצות) הניסוי- ההפעלת המשתנה הב"ת בסדר מקרי על הנבדקים השונים.
לוקחים נבדק, מחליטים באופן מקרי שהוא בקב' הניסוי ומייד מפעילים עליו את המניפולציה. הנבדק השני יהיה בקב' הביקורת, השלישי והרביעי בקב' הניסוי וכן הלאה.
כך ההסתברות שמשהו יקרה בעת הניסוי היא שווה בשתי הקבוצות.
*היסטוריה מקומית ואינטראקציה בין ברירה והיסטוריה הם שמות שונים לאותו דבר- אירוע שקרה רק לאחת הקבוצות ועלול ליצור הסבר חלופי.
- מידע על המניפולציה המגיע לקב' הביקורת– אם גם הם יתנהגו בהתאם למה שממולץ לקבוצת הניסוי התוצאות יפגעו. למשל, בניסוי על שיטת הוראה, הנסיין מבקש מקב' הניסוי לסכם את החומר. אם קב' הביקורת תדע מזה, נבדקיה עלולים לסכם גם כן, להתנהג כמו קב' הניסוי, ולהקטין את ההבדל בין הקבוצות.
שני האיומים הבאים מתרחשים בד"כ במחקרי שדה, הנערכים במפעלים/מוסדות-
- השוואה מפצה של טיפול- כאשר הטיפול הניסויי כולל טובות הנאה לקבוצות מסוימות ולא לאחרות, ההנהלה לוחצת להעניק פיצוי הולם לקבוצות האחרות.
למשל, קב' הניסוי זוכה לשיטת הוראה חדישה, ההנהלה תלחץ להעניק פיצוי הולם לקב' הביקורת, העלול לצמצם את ההבדלים בין הקבוצות.
- תחרות מפצה– כאשר כל נבדק יודע לאיזו קב' הוא שייך, עלולה להתרחש תחרות בין הקבוצות. בד"כ, נבדקי קב' הביקורת רוצים להוכיח שהם מסוגלים להצליח כמו קב' הניסוי, ולכן משפרים את ביצועיהם יותר מאשר בזמנים רגילים.
זה קורה במיוחד במקומות, בהם עובדים עלולים לאבד את מקום פרנסתם (למשל, במפעלים בהם בודקים יעילות רובוטים על פני עובדים אנושיים).
שני האיומים הראשונים– יוצרים הבדלים מלאכותיים בין קב' הניסוי לביקורת- מגדלים אפקט למרות שהוא לא קיים, כלומר- טעות מסוג ראשון.
שלשת האחרונים – מקטינים את ההבדלים ביניהן- מקטינים אפקט למרות שהוא קיים, כלומר- טעות מסוג שני.
על כל האיומים שמקורם בהעברת מידע בין הקבוצות, ניתן להתגבר בדרך אחת בלבד: למנוע כל חילופי מידע בין הקבוצות השונות.
חזרה אל: פסיכולוגיה ניסויית \ שיטות מחקר