P-values Broke Scientific Statistics—Can We Fix Them?

SciShow
11 Sept 201910:39

Summary

TLDR这段视频讲述了一位神经科学家将一条死去的大西洋鲑鱼放入MRI机器中,进行任务以推测照片中人物的情绪。尽管鱼是死的,研究者发现其脑组织在某些部位有显著激活。通过这个实验,研究人员揭示了统计数据的潜在问题,特别是关于p值的误用和误解。视频讨论了p值的起源及其在科学中的广泛应用,指出p值可能导致错误结果的风险,并探讨了替代统计方法如贝叶斯统计的重要性,建议科学界应从更严谨的角度看待研究结果。

Takeaways

  • 🐟 一位神经科学家将一条大西洋鲑鱼放入MRI机中进行“心理任务”,意外发现死鱼大脑中有显著活动。
  • 📊 这项实验旨在展示统计学中p值(概率值)的潜在误用,以及如何导致错误的研究结论。
  • 🎲 p值表示实验结果仅凭运气发生的概率,是科学研究中广泛使用的统计方法,但也常常被误用。
  • 👨‍🔬 p值的概念由统计学家罗纳德·费希尔于1925年提出,他的突破性思考源自一次关于茶的实验。
  • 🍵 费希尔用一项“茶奶顺序”实验说明了p值的应用,通过概率计算确定茶和奶的混合顺序是否真的可辨别。
  • ❌ 然而,p值的0.05阈值被认为是一个主观且不精确的标准,可能无法充分排除偶然性结果。
  • 🐟 死鱼实验展示了多个比较中“假阳性”问题,提醒人们在分析复杂数据时要进行多重比较校正。
  • 🔍 p值的误用带来“p值操纵”的风险,研究人员可能会调整数据直到获得显著结果,以增加发表机会。
  • 🧠 一些学者建议放弃p值,转而使用贝叶斯统计方法,以更精确地比较不同假设的可能性。
  • 📚 为减少研究结果对发表机会的影响,许多人建议采用“两步稿件提交”方式,使出版决策独立于实验结果。

Q & A

  • 什么是 p 值?

    -p 值是概率,表示在实验中结果是偶然发生的可能性。它衡量的是在假设某个效应不存在的情况下,实验结果发生的概率。p 值越低,说明实验结果由偶然产生的可能性越小。

  • 为什么科学家会在死鱼的大脑中发现神经活性?

    -这是因为数据分析中的多重比较问题,研究人员对鱼的大脑进行了多次比较,导致错误地得出了一些显著的神经活性结果。这实际上是一个统计误差的例子。

  • p 值最早是由谁提出的?

    -p 值是由统计学家罗纳德·费雪 (Ronald Fisher) 于 1925 年首次提出的。他通过对茶叶混合实验的分析,提出了用 p 值来判断结果的显著性。

  • 什么是“零假设显著性检验”?

    -零假设显著性检验是一种统计方法,研究人员假设实验效应不存在(即零假设),然后计算得到当前结果的概率。如果这个概率(p 值)很低,研究人员就可以拒绝零假设,认为存在某种效应。

  • p 值的常用阈值是多少?

    -科学研究中常用的 p 值阈值是 0.05,也就是说如果 p 值小于 0.05,就认为结果是“显著”的,即结果不太可能是偶然产生的。

  • 为什么说 0.05 的 p 值阈值是“任意”的?

    -0.05 的阈值来自费雪的个人偏好,他认为这个值是“方便的”。实际上,这是一个主观选择,并没有绝对的科学依据。

  • p 值有哪些常见的误用?

    -p 值的常见误用包括将低 p 值误解为更“正确”的结果,以及未使用多重比较校正,导致虚假显著性。

  • 什么是 p-hacking?

    -p-hacking 是指研究人员为了获得显著的 p 值,反复调整数据分析或收集更多数据的行为。这可能是无意识的,但会导致统计结果的偏差。

  • 什么是贝叶斯统计?

    -贝叶斯统计是一种替代传统 p 值的方法,它同时考虑了零假设和备择假设的概率,提供了一个更明确的概率比率,被称为贝叶斯因子,来判断哪个假设更有可能。

  • 如何减少统计结果中的误导性?

    -减少误导性的方法包括在研究中使用多重比较校正、避免 p-hacking 以及采用贝叶斯统计。此外,一种较新的方法是采用两步投稿,即在研究结果未完成时就根据实验设计决定是否发表,避免只根据显著性判断研究是否有价值。

Outlines

plate

このセクションは有料ユーザー限定です。 アクセスするには、アップグレードをお願いします。

今すぐアップグレード

Mindmap

plate

このセクションは有料ユーザー限定です。 アクセスするには、アップグレードをお願いします。

今すぐアップグレード

Keywords

plate

このセクションは有料ユーザー限定です。 アクセスするには、アップグレードをお願いします。

今すぐアップグレード

Highlights

plate

このセクションは有料ユーザー限定です。 アクセスするには、アップグレードをお願いします。

今すぐアップグレード

Transcripts

plate

このセクションは有料ユーザー限定です。 アクセスするには、アップグレードをお願いします。

今すぐアップグレード
Rate This

5.0 / 5 (0 votes)

関連タグ
统计学科学研究p值误差实验设计假设检验学术文化贝叶斯统计科研创新数据分析
英語で要約が必要ですか?