如何預防或減低 QRPs?
解決問題的第一步驟,是要承認這是一個問題。在國外的學界,已逐漸進入自省與改革的階段。最主要的改革之一,便是「註冊研究(registered reports)」的提出。註冊研究與過往研究方法最重要的不同,便是嚴格要求在資料「蒐集前」即需清楚陳述為何要進行此研究,與根據適度的統計推論力(power)詳述研究方法,包括所估計的受試人數與預計進行的分析方法等。參考以下中華心理學刊投稿須知的說明(2019年6月修訂),可幫助我們瞭解註冊研究的意涵及精神:
以上一節最後所舉的「為後來的用路人插旗示警」例子,註冊研究不過是把這條道路的可能坑洞留下紀錄,提醒後面可能會走進這條路的伙伴,這條路上不是只有光鮮(顯著結果)與榮耀(上期刊,開記者會)而已。
其次,則是本單元前面多次提到的「重複研究(replication research)」,意即針對文獻中的重大發現,基於欲驗證其可推廣性等原因而進行的大規模、往往是跨實驗室、甚至跨國的合作研究。而這些研究也多半會先行註冊,並依循註冊研究的流程,直到最後的結果發表。
另外像是最近一系列「開放科學(open science)」的措施,例如:程式碼公開;原始資料、刺激材料、分析結果等可供無條件下載(而不再是需要跟作者要求,並俟其同意後,才可得到)、甚至公開審稿記錄等,極大程度透明化了過往封閉的科學研究歷程。
此外,統計觀念的教法與概念更新,如:不獨尊統計顯著值(p-value),也強調足夠的統計考驗力(power)與效果量(effect size);開源軟體的推廣使用;利用線上實驗或問卷,並透過雲端儲存資料的全球心理實驗合作模式等,也是當前如火如荼積極進行的改革步驟之一。
配合上述多種改革做法,再藉由諸多經典實驗被發現無法重複、眾多會議的多方宣導、與愈來愈多的正面誘因,包括如旗艦級期刊(如Science、Nature等)公開宣布接受註冊研究的投稿、或國外已有部分機構開始考量在新聘教研人員時,特別加上「對推動開放科學的努力」等描述,將有助於相關理念於社群中的推廣。
在上述一些著名或經典心理學實驗的重新檢視過程中,這種大規模、較大樣本的重複實驗,當發現無法重現原先的顯著結果時,其衍生之影響,與突顯出現存方法需要改革的迫切性,往往能在社群裡激起更多漣漪;如Camerer等人(2018)大規模重複檢驗2010-2015年發表在Science與Nature的21個實驗結果,共有62%得以重複,或如開放科學聯盟(the Center for Open Science)主席Brian Nosek則在個人Twitter上發起邀請眾人協助建置支持開放科學的草根網絡(grassroots network)名單等。
是故,人們看待單一科研成果,不應該將其視作真理,而應只是一個追尋真理的過程的中間產物。發表的論文,本身就應該是許多重複性或反駁研究的創意來源。未來若要對系列研究成果提出較公允的評論,尚須後續的重複性驗證與文獻統合等證據檢視,才能做出更好的判定。