כמה ניתן לסמוך על ממצאים מדעיים?
עד כמה ניתן לסמוך על ממצאים מדעיים שהתפרסמו בכתבי עת מובילים? שאלה זו עמדה במרכזו של פרויקט SCORE אחד המיזמים הבינלאומיים המקיפים ביותר שנערכו בתחום אמינות המחקר המדעי, פרופ' שמואל שאקי:"פרויקט SCORE אחד הניסיונות המקיפים והרציניים שנעשו לבחון באופן שיטתי את אמינות המחקר במדעי החברה וההתנהגות".
כשמדע בודק את עצמו: מחקר בינלאומי ב־ Nature חושף עד כמה ניתן לסמוך על ממצאים מדעיים
קבוצת חוקרים בינלאומית מעשרות מוסדות אקדמיים מובילים בעולם, ובהם MIT, אוקספורד, קיימברידג', סטנפורד, קולומביה וה־LSE, לצד פרופ' שמואל שאקי מהמחלקה לפסיכולוגיה באוניברסיטת אריאל, פרסמה ב־Nature שני מחקרים רחבי היקף הבוחנים את אמינות המחקר במדעי החברה וההתנהגות.
הפרויקט בחן שני היבטים מרכזיים של אמינות מדעית. הראשון הוא שחזוריות (Reproducibility) היכולת להגיע לאותן תוצאות באמצעות אותם נתונים ואותן שיטות ניתוח. השני הוא שכפוליות (Replicability) היכולת של חוקרים בלתי תלויים להגיע לממצאים דומים באמצעות מחקר חדש ואיסוף נתונים עצמאי.
במחקר הראשון, שבחן 600 מאמרים שפורסמו בין השנים 2009–2018 ב־62 כתבי עת במדעי החברה וההתנהגות, נמצא כי ב־76% מהמחקרים הנתונים המקוריים כלל לא היו זמינים לבדיקה עצמאית, עם זאת, מבין המחקרים שניתן היה לבחון בפועל, כ־73.5% הניבו תוצאות דומות לממצאים המקוריים, ו־53.6% שוחזרו במדויק. כאשר החוקרים שיתפו הן את הנתונים והן את קוד הניתוח, שיעור השחזור עלה לכ־91%.
המחקר השני בחן 274 ממצאים מתוך 164 מחקרים באמצעות מחקרי שכפול עצמאיים, הממצאים העלו כי בכמחצית מהמקרים בלבד התקבלו תוצאות מובהקות באותו כיוון של המחקר המקורי. בנוסף, גם כאשר הממצאים שוכפלו בהצלחה, עוצמת האפקט שנמצאה הייתה נמוכה משמעותית ביחס למחקרים המקוריים.
לדברי פרופ' שמואל שאקי:"פרויקט SCORE הוא אחד הניסיונות המקיפים והרציניים ביותר שנעשו עד היום לבחון באופן שיטתי את אמינות המחקר במדעי החברה וההתנהגות. הדיון סביב 'משבר השחזור' במדע התעצם מאוד בעקבות פרסום המאמר ב־Science בשנת 2015, שבו קבוצת חוקרים בינלאומית ניסתה לשחזר 100 מחקרים מובילים בפסיכולוגיה. הממצאים עוררו הדים רבים בקהילה המדעית, בתקשורת ובציבור הרחב, לאחר שרק כ־36% מהמחקרים הראו שחזור מובהק של האפקטים המקוריים. בנוסף, גם כאשר נמצאו אפקטים דומים, הם היו במקרים רבים חלשים משמעותית ביחס למחקרים המקוריים. המחקר הזה המחיש עד כמה חשוב לבחון באופן ביקורתי כיצד ידע מדעי נוצר ומצטבר לאורך זמן".
"שני המאמרים החדשים שפורסמו ב־Nature ממשיכים את המאמץ הזה מזוויות שונות ומשלימות. הממצאים מציגים תמונה מורכבת: לא כל הממצאים משתחזרים באופן מלא, אך במקביל קיימים דפוסים שמאפשרים להבין טוב יותר מהם התנאים שמגבירים אמינות מדעית. המשמעות החשובה ביותר של הפרויקטים הללו אינה ערעור על המדע, אלא דווקא חיזוק שלו – דרך מעבר לתרבות מחקר פתוחה יותר, שקופה יותר, ומודעת יותר לחשיבות של בדיקות שחזור, שיתוף נתונים ושיטות עבודה קפדניות".
הממצאים משקפים גם שינוי ממשי בנורמות העבודה של הקהילה המדעית. בעוד שבשנת 2018 רק כ־27% מכתבי העת שנבחנו דרשו שיתוף נתונים כחלק מתהליך הפרסום, עד שנת 2025 עלה שיעור זה ליותר ממחצית מכתבי העת. החוקרים מצאו כי כאשר כתבי עת מחייבים שקיפות ושיתוף נתונים, שיעורי הזמינות של המידע המחקרי גבוהים משמעותית.
לדברי החוקרים, הממצאים אינם מעידים על חולשה של המדע, אלא דווקא על יכולתו לבחון את עצמו באופן ביקורתי, לזהות כשלים ולשפר את דרכי העבודה שלו. בכך, פרויקט SCORE מסמן מגמה רחבה יותר של מעבר למחקר פתוח, שקוף ואמין יותר.
