P-values Broke Scientific Statistics—Can We Fix Them?

Summary

这段视频讲述了一位神经科学家将一条死去的大西洋鲑鱼放入MRI机器中，进行任务以推测照片中人物的情绪。尽管鱼是死的，研究者发现其脑组织在某些部位有显著激活。通过这个实验，研究人员揭示了统计数据的潜在问题，特别是关于p值的误用和误解。视频讨论了p值的起源及其在科学中的广泛应用，指出p值可能导致错误结果的风险，并探讨了替代统计方法如贝叶斯统计的重要性，建议科学界应从更严谨的角度看待研究结果。

Takeaways

• 🐟 一位神经科学家将一条大西洋鲑鱼放入MRI机中进行“心理任务”，意外发现死鱼大脑中有显著活动。
• 📊 这项实验旨在展示统计学中p值（概率值）的潜在误用，以及如何导致错误的研究结论。
• 🎲 p值表示实验结果仅凭运气发生的概率，是科学研究中广泛使用的统计方法，但也常常被误用。
• 👨‍🔬 p值的概念由统计学家罗纳德·费希尔于1925年提出，他的突破性思考源自一次关于茶的实验。
• 🍵 费希尔用一项“茶奶顺序”实验说明了p值的应用，通过概率计算确定茶和奶的混合顺序是否真的可辨别。
• ❌ 然而，p值的0.05阈值被认为是一个主观且不精确的标准，可能无法充分排除偶然性结果。
• 🐟 死鱼实验展示了多个比较中“假阳性”问题，提醒人们在分析复杂数据时要进行多重比较校正。
• 🔍 p值的误用带来“p值操纵”的风险，研究人员可能会调整数据直到获得显著结果，以增加发表机会。
• 🧠 一些学者建议放弃p值，转而使用贝叶斯统计方法，以更精确地比较不同假设的可能性。
• 📚 为减少研究结果对发表机会的影响，许多人建议采用“两步稿件提交”方式，使出版决策独立于实验结果。

Q & A

什么是 p 值？

p 值是概率，表示在实验中结果是偶然发生的可能性。它衡量的是在假设某个效应不存在的情况下，实验结果发生的概率。p 值越低，说明实验结果由偶然产生的可能性越小。

为什么科学家会在死鱼的大脑中发现神经活性？

这是因为数据分析中的多重比较问题，研究人员对鱼的大脑进行了多次比较，导致错误地得出了一些显著的神经活性结果。这实际上是一个统计误差的例子。

p 值最早是由谁提出的？

p 值是由统计学家罗纳德·费雪 (Ronald Fisher) 于 1925 年首次提出的。他通过对茶叶混合实验的分析，提出了用 p 值来判断结果的显著性。

什么是“零假设显著性检验”？

零假设显著性检验是一种统计方法，研究人员假设实验效应不存在（即零假设），然后计算得到当前结果的概率。如果这个概率（p 值）很低，研究人员就可以拒绝零假设，认为存在某种效应。

p 值的常用阈值是多少？

科学研究中常用的 p 值阈值是 0.05，也就是说如果 p 值小于 0.05，就认为结果是“显著”的，即结果不太可能是偶然产生的。

为什么说 0.05 的 p 值阈值是“任意”的？

0.05 的阈值来自费雪的个人偏好，他认为这个值是“方便的”。实际上，这是一个主观选择，并没有绝对的科学依据。

p 值有哪些常见的误用？

p 值的常见误用包括将低 p 值误解为更“正确”的结果，以及未使用多重比较校正，导致虚假显著性。

什么是 p-hacking？

p-hacking 是指研究人员为了获得显著的 p 值，反复调整数据分析或收集更多数据的行为。这可能是无意识的，但会导致统计结果的偏差。

什么是贝叶斯统计？

贝叶斯统计是一种替代传统 p 值的方法，它同时考虑了零假设和备择假设的概率，提供了一个更明确的概率比率，被称为贝叶斯因子，来判断哪个假设更有可能。

如何减少统计结果中的误导性？

减少误导性的方法包括在研究中使用多重比较校正、避免 p-hacking 以及采用贝叶斯统计。此外，一种较新的方法是采用两步投稿，即在研究结果未完成时就根据实验设计决定是否发表，避免只根据显著性判断研究是否有价值。