【1万時間の法則】「〇〇大学の研究によれば…」みたいなエビデンスの話が出た時の向き合い方

謎解き統計学 | サトマイ

10 Feb 202315:41

Summary

TLDR佐藤まいさんが「エビデンス至上主義で思考停止」について語ります。多くの人が科学的エビデンスに基づく勉強法や自己啓発法を追求しますが、心理学や脳科学などで有名な実験が再現性に欠けるケースが多いと指摘。特に「1万時間の法則」など、一般化された理論が実際には再現できない例を挙げ、エビデンスの解釈と活用の難しさを解説します。エビデンスレベルの見極めと個人に合った情報の選択の重要性を強調し、批判的思考の大切さを説きます。

Takeaways

😮 心理学や行動経済学などの分野で有名な実験の半数以上が、追試実験で再現に失敗している可能性がある。
🤔 統計的に有意な結果が報告されていても、本当は効果がない場合もある。これは「偽陽性」と呼ばれる。
📈 エビデンスにはレベルがあり、動物実験や専門家の意見よりも、ランダム化比較試験やメタ分析の方が信頼できる。
🧐 エビデンスを活用するには、自分に当てはまる条件下で得られた情報かどうかを見極める必要がある。
🙍‍♂️ 人には朝型や夜型など、先天的な特性があり、自分に合ったエビデンスを選ぶ必要がある。
🤓 エビデンスの一般化には注意が必要で、条件を満たしていない場合は再現できない可能性がある。
😲 出版バイアスにより、効果がなかった研究結果が公表されにくいという問題がある。
🧠 アナロジカル思考(類推)を使うと、異なる分野から新しいアイデアを得やすくなる。
✍️ 報告上は統計的に有意な結果が示されていても、実際には効果がない場合がある。
📚 ベストセラーになった有名な理論でも、再現実験に失敗するケースが多数ある。

Q & A

1万時間の法則とは何ですか?
-1万時間の法則とは、人は誰でも1万時間努力すれば、ある分野の達人になれるというものです。2008年に出版された書籍でベストセラーになり、自己啓発の分野で広く知られるようになりました。
なぜ1万時間の法則は再現できなかったのですか?
-その後の追試の結果、再現に失敗したという報告が相次ぎました。プリンストン大学のメタ分析では、練習量の重要度はジャンルによって異なり、ゲームや音楽などのルールが決まった分野では練習量が重要ですが、それ以外では他の要因が大きいことがわかりました。
エビデンスとは何ですか?
-エビデンスとは、特定の条件下で見られる法則のことです。つまり、ある条件を満たした場合にのみ再現できる根拠となるものを指します。
エビデンスにはどのようなレベルがあるのですか?
-エビデンスには大まかに5つのレベルがあります。最も信頼できるものはメタ分析で、次にランダム化比較試験、観察研究、専門家の意見、動物実験の順になります。より質の高いエビデンスほど、より信頼できると言えます。
エビデンスを活用する際の注意点は何ですか?
-エビデンスを活用する際は、2つのことに注意する必要があります。1つ目は、エビデンスのレベルを見極めること。2つ目は、そのエビデンスが自分に合っているかどうかを見極めることです。
統計的に有意な結果が報告されていても、再現性がない場合はどうなるのですか?
-論文の報告上は統計的に有意な結果になっていたとしても、実際には効果がない研究が半数以上あるかもしれません。これは、偽陽性や偽陰性が起こるためです。そのため、再現性がないエビデンスには注意が必要です。
出版バイアスとは何ですか?
-出版バイアスとは、効果がないという論文は基本的に公表されないため、効果があると報告されている論文が偏って多くなるバイアスのことです。
人間には何か先天的な特性があるのでしょうか?
-はい、人間には朝型と夜型のように、先天的な特性があります。遺伝的に人間は役割分担をすることで生存競争に勝ってきたため、そうした特性が残っています。自分に合ったアプローチが重要です。
良いアイデアを生み出すための思考法はありますか?
-アナロジカルシンキング(類推思考)が有用です。これは異なる分野から使えそうな構造を借りてきて、新しいアイデアを生み出す思考法です。構造だけを借りるのがポイントです。
このチャンネルの目的は何ですか?
-このチャンネルでは、確率統計を使って世の中の謎を解き、リアルな続きを体験していただく教育エンターテインメントチャンネルです。

Outlines

00:00

😲 有名な心理学実験の再現失敗と出版バイアスの問題

この段落では、心理学や経済学などの分野で有名な実験の多くが再現実験に失敗していることが指摘されています。具体的には、「1万時間の法則」や「マシュマロテスト」などのベストセラー本で取り上げられた理論の再現が上手くいっていないことが述べられています。さらに、報告された研究の半分以上が偽陽性である可能性があると言及されており、「出版バイアス」という問題が提起されています。

05:02

🧐 エビデンスの定義と限界

この段落では、エビデンスの定義と限界について説明されています。エビデンスは「特定の条件下で見られる法則」であり、その条件を満たしているかどうかを検討する必要があると述べられています。水の沸騰点が高度によって変化する例が挙げられ、エビデンスを一般化する際には注意が必要であることが示唆されています。また、エビデンスにはレベルがあり、メタ分析が最も信頼できるエビデンスだと説明されています。

10:04

📌 エビデンスの適切な活用方法

この段落では、エビデンスを適切に活用するための2つのポイントが示されています。1つ目は、エビデンスのレベルを見極め、質の高い情報を優先的に収集することです。2つ目は、エビデンスの中から自分に合ったものを見つけることです。朝型と夜型の例が挙げられ、遺伝的な特性に合わせた戦略が必要であると説明されています。最後に、再現性の高いエビデンスを活用する際は、質の高い情報とともに自分に合ったことを見つけることが重要であるとまとめられています。

15:05

🤖 アナロジカルシンキングによるアイデア発想

この段落は、視聴者からのコメントに対する回答となっています。質問者がPornHubの動画とレッドオーシャンの合格保証をうまく結びつけたことに驚きを示していたことに対し、話者はアナロジカルシンキングという手法を使っていると説明しています。これは異なる分野から構造を借りてくる思考法で、アイデアに困らず問題解決にも役立つと述べられています。最後に、自身のYouTubeチャンネルの紹介とサブスクライブの呼びかけがなされています。

Mindmap

Keywords

💡再現実験

再現実験とは、先行研究の結果を検証するために、同じ実験条件で実験を繰り返すことです。ビデオでは、有名な心理学実験でさえ再現実験に失敗していることが指摘されています。従って、再現性を確認することがエビデンスの信頼性を高めるために重要であることが分かります。

💡偽陽性・偽陰性

偽陽性とは、検査の結果は陽性となったが実際には陰性であるケースを指します。一方、偽陰性とは逆に検査は陰性だが実際は陽性であるケースを指します。ビデオではこれらの概念を用いて、論文の報告上は統計的有意差があったとしても、実際には効果がない「偽陽性」の研究が半数以上あるかもしれない、と指摘しています。

💡出版バイアス

出版バイアスとは、統計的に有意な結果や望ましい結果のみが出版される傾向を指します。一方で、有意差がなかった研究は公表されにくいというバイアスが存在します。ビデオでは、統計的有意差がある研究のみが論文となり、その結果、エビデンスが信頼できないものになってしまう可能性があると警告しています。

💡メタ分析

メタ分析とは、特定のトピックに関する複数の研究結果を統計的に統合・解析する手法です。単一の研究よりも、複数の研究結果を統合した方が、より一般化された結論を導き出せます。ビデオでは、メタ分析が最も信頼できるエビデンスレベルの高い方法であると紹介されています。

💡1万時間の法則

1万時間の法則とは、ある分野で1万時間以上練習すれば、誰でもその分野の達人になれるという理論です。ビデオでは、この法則が再現実験に失敗していることが示されており、スキルによっては1万時間以上の練習が必要ない場合もあることが指摘されています。この法則は正しいエビデンスと思われがちですが、必ずしもそうとは限らないということが分かります。

💡ランダム化比較試験

ランダム化比較試験とは、被験者を無作為に2つのグループに分け、一方には介入を行い、もう一方にはプラセボやコントロール条件を設定して、両グループの違いを比較する実験手法です。ランダム化により、交絡要因をコントロールできるため、因果関係を明らかにできます。ビデオでは、この方法がエビデンスレベルの高い実験デザインであると紹介されています。

💡観察研究

観察研究とは、特定の集団の健康状態や医療記録などのデータを収集・分析し、その傾向を調べる研究方法です。ただし、観察研究では因果関係までは分からず、相関関係しか示せません。ビデオでは、観察研究のエビデンスレベルは比較的低いことが説明されています。

💡エビデンスレベル

エビデンスレベルとは、研究手法の質や、その結果の信頼性を段階的に評価するものです。一般に、動物実験や専門家の意見よりも、ランダム化比較試験やメタ分析の方がエビデンスレベルが高いと考えられています。ビデオでは、エビデンスを鵜呑みにするのではなく、そのレベルを見極めることが重要であると説明されています。

💡アナロジカルシンキング

アナロジカルシンキングとは、ある分野の構造や考え方を、別の分野に当てはめて新しいアイデアを生み出す思考法です。ビデオの最後で、この手法を使ってアイデアを生み出していると説明されています。これは、単に真似するのではなく、構造を借りてくることが重要であり、思考の柔軟性が求められます。

💡エビデンス市場主義

エビデンス市場主義とは、あらゆることにエビデンス(科学的根拠)を求める風潮や考え方を指します。ビデオのタイトルにもあるように、エビデンスがあると鵜呑みにしてしまい、批判的に吟味することなく思考停止に陥ってしまう危険性を指摘しています。エビデンスを重視するあまり、状況に応じた適切な判断ができなくなるリスクがあるということです。

Highlights

心理学、脳科学、行動経済学など人気の学問で登場する有名な実験は、しばしば再現実験に失敗しています。

論文の報告上は統計的に有意な結果となっていたとしても、真実は効果がない研究があなた半数以上もあるということです。

1万時間の法則は再現に失敗している有名な実験の一つです。

プリンストン大学が発表したメタ分析では、過去の研究を再分析した結果、練習量の重要さはジャンルによって異なることが分かりました。

他にも再現性のない有名な研究がたくさん報告されており、マシュマロテストや「やればできる」など、ベストセラーにまでなった理論も再現実験に失敗しているケースが多数あります。

エビデンスとは、特定の条件下で見られる法則のことです。

水は100度で沸騰するというエビデンスは、1気圧の条件下でのみ当てはまります。気圧が変われば沸点も変わります。

エビデンスにはレベルがあり、メタ分析が最も信頼できるエビデンスレベルとされています。

エビデンスを活用する際は、自分に合ったものを見極める必要があります。

人には朝型と夜型があり、遺伝的な特性に合わせた戦略が必要です。

再現性の高いエビデンスを活用するには、質の高い情報を集め、自分に合ったものを見つける必要があります。

アナロジカルシンキング(類推思考)を使うと、新しいアイディアを異なる分野から借りてくることができます。

PornHubの動画の例では、富士フィルムとマスダ塾の成功事例から共通する構造を借りて、PornHubにも当てはめています。

アナロジカルシンキングができると、アイディアに困ることがなくなり、問題解決のフレームワークとしても有用です。

このチャンネルでは確率統計を使って世の中の謎を解き、リアルの続きを体験できる教育エンタメチャンネルです。