社會科學研究新危機：超三成實驗結果被發現無法重複

來自專欄 DeepTech深科技32 人贊了文章

今天，由五個實驗室組成的協作團隊在 Nature 雜誌子刊上發表了一項研究結果，這項研究就是對 21 個已發表在 Science 或 Nature 雜誌上的社會科學實驗的複製。結果，研究人員未能成功複製超過三分之一的研究結果，並且複製成功的那些與原始研究相比證據也顯著較弱。

在進行複製實驗之前，該團隊還設立了一個「預測市場」，其他研究人員可以下注哪些研究能被複制，結果證明「預測市場」的預測相當準確。

Gideon Nave 是沃頓商學院市場營銷專業的助理教授，也是本次研究的領導者之一，他說：「人們可以說有一些沒有成功複製的結果可能是因為本次研究與原始研究之間存在差異，也有可能是複製研究中出現了錯誤，但『預測市場』準確預測了結果，說明事情沒那麼簡單。」

該團隊的研究人員分別來自來自賓夕法尼亞大學、因斯布魯克大學、斯德哥爾摩經濟學院，紐西蘭高等研究院（New Zealand Institute for Advanced Study）、開放科學中心（Center for Open Science）、新加坡國立大學、弗吉尼亞大學、加州理工學院、哥德堡大學、哈佛大學、瑞典 Spotify、慕尼黑大學、阿姆斯特丹大學和哈爾濱工業大學。

研究人員首先從 2010 年至 2015 年期間發表的實驗性社科論文找到所有涉及隨機對照實驗，對照試驗可以是由大學生做問卷調查的形式完成，也可以是網路問卷形式，然後再嘗試從這些符合他們要求的論文中選取主要實驗結論進行重複研究。為了對普遍使用的複製方法進行擴展和改進，該團隊不僅獲取了原始研究材料，還在進行研究之前讓原作者對協議進行審查和認可。這些研究的實驗設計和分析計劃都公開，研究設計包括大樣本量，以便複製可能會檢測到對結果的支持的樣本。

該項目的另一位領導者 Felix Holzmeister 來自因斯布魯克大學，他表示：「為確保複製研究的高功效（power），我們的平均樣本量大約是原始研究平均樣本量的 5 倍。」

研究小組發現，21 個重複實驗中，有 13 個顯示出與原始假設一致的顯著證據，即複製成功率為 62%，而評判複製是否成功的其他評估方法也給出了類似的結果，範圍從 57％到 67％不等。此外，平均而言，複製成功的研究效應值大小比原始研究小約 50％。這表明即使在最負盛名的科學期刊上發表的研究也沒有優異的的可重複性。

（來源：Charles Rondeau/public domain）

另一個研究領導者 Magnus Johannesson 來自斯德哥爾摩經濟學院，他表示，「這些結果表明，那些具有統計顯著性的科學發現，在被成功重複前都需要進行非常謹慎的解讀，即使在最負盛名的期刊上發表也是如此。

研究小組設立的「預測市場」正確預測了 21 次重複實驗中 18 次的結果。「市場」的預測與重複實驗的效應值大小呈高度相關。

另一位來自紐西蘭高等研究院的研究領導人 Thomas Pfeiffer 指出，「預測市場」的預測結果表明，研究人員對研究結果可重複性具有預先的判斷。有些研究具有重要發現，但重複成功的可能性可能相對來說不確定，有了「預測市場」工具，研究人員就可以決定哪些實驗優先重複實驗，而不會在那些「預測市場」認為不會重複成功的研究上浪費精力。

「使用預測市場可以更有效地利用科學社區的資源，也能加速我們的研究發現。」來自斯德哥爾摩經濟學院的另一個研究領導者 Anna Dreber 補充道。

這次的研究再次證明了重複已發表的科學發現難度不小，並回應了對於之前重複實驗的一些潛在批評。例如，由於知名期刊本身的聲望，認為發表在知名刊物上的研究結果可重複性可能更高，所以這次的研究選取了最負盛名的科學期刊上的論文。

對心理學實驗來說，更高功效的研究設計和忠實於原始研究會導致較高的可重複性。這次的研究具有非常高效的測試，21 個實驗中只有 1 個沒有原始材料，只有 2 個沒有獲得對於研究協議的認可，但仍有一些研究結果未能被重複，並且重複成功的那些效應值也要比原始研究小得多。

來自開放科學中心的 Lily Hummer 是本研究的共同作者之一，她說：「要重複已發表的研究結果，單單大幅增加功效，也就是增加樣本量是不夠的。」

複製失敗並不意味著那些原始發現是錯誤的。一些原研究作者指出了未能複製成功的可能原因。這些意見值得在未來的研究中進行測試，以確定在某些條件下是否可以複製原始發現。

這次的複製遵循了最新最好的實驗方法，以提高研究的嚴謹性和可重複性。來自新加坡國立大學的另一個研究領導者 Teck-Hua Ho 說：「在這個項目中，來自全球各地的研究團隊用最嚴格和最透明的方法來測試我們領域研究的可重複性和穩健性。」

所有這些研究都在 OSF 上預先註冊，以消除報告偏差，並公布設計和分析計劃。此外，所有項目數據和材料都可以通過 OSF 註冊公開訪問，以便於複製研究本身的審查和複製。

弗吉尼亞大學開放科學中心執行主任，共同作者之一 Brian Nosek 指出：「看到這些複製失敗的案例，有些人可能會說科學走向了錯誤的方向，但事實上，科學最大的優勢在於不斷自我審視，以識別和糾正問題，並加快發現的步伐。」

這次的大型複製項目只是研究實踐變革的一部分。研究人員、資助者、期刊和社會正在改變政策和方法，以推動研究文化像更開放、更嚴謹和可重複性更高的方向發展。Nosek 總結說：「通過這些改變，我們或許能更快找到疾病的治療方法，問題解決方案以及更好的學習新知識。當然，就像科學中的其他事物一樣，我們要檢驗這些改變是不是真的有用，如果沒有用，科學也會找到其他的方式來保持進步。」

參考：