הסיפור על הסלמון שקרא מחשבות
האם דג יכול לזהות רגשות אנושיים? תלוי בדרך שבה מציגים את תוצאות הניסוי. מה מסתתר מאחורי הסטטיסטיקה?
אם אתם רוצים לשכנע את העולם שדג מסוגל לחוש את רגשותיכם, די במדד סטטיסטי אחד: רמת המובהקות הנמדדת על פי ערך p.
ערך p הוא מדד רב-תכליתי שמדענים משתמשים בו לעתים קרובות כדי לקבוע אם תוצאה מסוימת שהתקבלה בניסוי "מובהקת" מבחינה סטטיסטית או שהיא אינה כזאת. למרבה הצער, לעתים בדיקת ערך p אינה עונה על הציפיות וחוקרים עלולים לייחס לתצפית מסוימת משמעות רבה כשלמעשה אין היא אלא תוצאה מקרית חסרת ערך.
נניח שביצעתם ניסוי מדעי לבחינת תרופה חדשה נגד התקפי לב והשוואתם אותה לתרופת דמה (פלצבו). בסוף הניסוי אתם משווים את שתי הקבוצות. ולשמחתכם, המטופלים שנטלו את התרופה אכן לקו בפחות התקפי לב מחבריהם שנטלו את הפלצבו. הצלחה! התרופה יעילה!
ובכן, אולי לא. יש סיכוי של 50% שגם אם התרופה אינה יעילה כלל, המטופלים שנטלו אותה יהיו בריאים יותר מאלה שנטלו את הפלצבו (ככלות הכול, אחת הקבוצות חייבת להשיג תוצאה גבוהה יותר - דומה הדבר להטלת מטבע בין קבוצת התרופה לקבוצת הפלצבו, אחת מהן חייבת לנצח).
עניין של הסתברות
ערך p מכמת את ההשפעה של האקראיות. הוא מציין את ההסתברות לקבל תוצאה ניסויית מסוימת גם אם ההשערה שלכם שגויה. המוסכמה הוותיקה בתחומי מדע רבים קובעת שאם ערך p נמוך מ-0.05 הרי שהתוצאה מובהקת מבחינה סטטיסטית. אבל לעתים קרובות מוסכמה שרירותית היא מוסכמה שגויה.
באחד מתוך 20 השוואות בין תרופה בלתי יעילה לבין פלצבו תקבלו תוצאה מובהקת מבחינה סטטיסטית. ואם הצגתם במאמר מדעי 20 השוואות כאלה, תקבלו בממוצע תוצאה אחת בעלת ערך p נמוך מ-0.05 - גם אם התרופה חסרת תועלת לגמרי.
במאמרים מדעיים רבים מוצגות 20 או 40 או אפילו כמה מאות השוואות. במקרים אלה, מובטח למעשה שחוקרים שלא ישנו את הסף המקובל לערכי p, העומד על 0.05, ימצאו תוצאות מובהקות מבחינה סטטיסטית שהן למעשה סטיות סטטיסטיות חסרות משמעות.
היזהרו מתוצאות
מחקר שהתפרסם בגיליון פברואר 2011, למשל, בכתב העת האמריקני לתזונה קלינית, בחן עשרות תרכובות וקבע שאלו המצויות באוכמניות מפחיתות את הסיכון ללחץ דם גבוה בדרגת מובהקות של 0.03. אבל החוקרים בדקו תרכובות רבות כל כך, וערכו השוואות רבות (יותר מ-50) כל כך עד שקרוב לוודאי שכמה מערכי ה-p במאמר יהיו נמוכים מ-0.05 רק בשל יד המקרה.
הדבר חל גם על מאמר רב תפוצה שפִרסם ב-2009 צוות של פסיכולוגים שחקרו דג סלמון. כשהם הציגו לפני הדג תמונות של אנשים המביעים רגשות, הופעלו אזורים במוחו של הסלמון.
התוצאה הייתה מובהקת מבחינה סטטיסטית עם ערך p נמוך מ-0.001. אבל, כמו שטענו המומחים, יש כל כך הרבה תבניות פעילות אפשריות במוח, עד שתוצאה בעלת מובהקות סטטיסטית הייתה למעשה מובטחת מראש, ולכן התוצאה חסרת ערך לגמרי.
ואכן, על אף ערך ה-p הנמוך, לא הייתה שום דרך בעולם שהדג היה יכול להגיב לרגשות אנוש, מפני שהסלמון שנבדק במכשיר התמ"ג התפקודי היה דג מת.
צ'רלס סייפה הוא פרופסור לעיתונאות באוניברסיטת ניו יורק.
הכתבה התפרסמה בגיליון אוקטובר-נובמבר של המגזין "סיינטיפיק אמריקן - ישראל" בהוצאת אורט.
לפנייה לכתב/ת 
סלמון: דג חכם?
צילום: סי די בנק
