同じデータが導く全く異なる結論

独立した分析者たちが同じデータセットで2つの仮説を検証した2021年の研究

分析者たちは全く異なる分析を行い、同じ仮説に対して逆方向の有意な効果を含む分散した効果量を報告

科学に関するニュースが発表された際の受け止め方は科学者とそうでない人々で大きく異なるように感じます。

例えば、科学ニュースがある発見を報じた時、その発見がどれほど確実なものだと言えるのでしょうか？

今回は科学ニュースの受け止め方について考えるべく、独立した分析者たちが同じデータセットで2つの仮説を検証した2021年の研究を見てみましょう。

この研究では、同じデータを使い、同じ仮説を検証したので、結論はもちろん同じようなものになると考えられます。

しかし、実際には分析者たちは全く異なる分析を行い、同じ仮説に対して逆方向の有意な効果を含む分散した効果量を報告しました。

これは、研究者にとってももちろんそうですが、一般の人々にとってもとても重要なものだと思います。

つまり、科学的な結論が報告された際に、それをそのまま受け止めるのではなく、さまざまな研究と比較検討することが大切だというわけです（特に心理学のような分野では...）。

ある仮説に対して研究者がさまざまな研究を行った結果、結論が異なるということは研究者の間ではよく知られていますが、同じデータを分析しても大きく結果が異なるというこの研究は研究者にとっては耳が痛い話ではないでしょうか？

参考文献：

Schweinsberg, M., Feldman, M., Staub, N., van den Akker, O. R., van Aert, R. C., Van Assen, M. A., ... & Schulte-Mecklenbeck, M. (2021). Same data, different conclusions: Radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis. Organizational Behavior and Human Decision Processes, 165, 228-249.