【1万時間の法則】「〇〇大学の研究によれば…」みたいなエビデンスの話が出た時の向き合い方
Summary
TLDR佐藤まいさんが「エビデンス至上主義で思考停止」について語ります。多くの人が科学的エビデンスに基づく勉強法や自己啓発法を追求しますが、心理学や脳科学などで有名な実験が再現性に欠けるケースが多いと指摘。特に「1万時間の法則」など、一般化された理論が実際には再現できない例を挙げ、エビデンスの解釈と活用の難しさを解説します。エビデンスレベルの見極めと個人に合った情報の選択の重要性を強調し、批判的思考の大切さを説きます。
Takeaways
- 😮 心理学や行動経済学などの分野で有名な実験の半数以上が、追試実験で再現に失敗している可能性がある。
- 🤔 統計的に有意な結果が報告されていても、本当は効果がない場合もある。これは「偽陽性」と呼ばれる。
- 📈 エビデンスにはレベルがあり、動物実験や専門家の意見よりも、ランダム化比較試験やメタ分析の方が信頼できる。
- 🧐 エビデンスを活用するには、自分に当てはまる条件下で得られた情報かどうかを見極める必要がある。
- 🙍♂️ 人には朝型や夜型など、先天的な特性があり、自分に合ったエビデンスを選ぶ必要がある。
- 🤓 エビデンスの一般化には注意が必要で、条件を満たしていない場合は再現できない可能性がある。
- 😲 出版バイアスにより、効果がなかった研究結果が公表されにくいという問題がある。
- 🧠 アナロジカル思考(類推)を使うと、異なる分野から新しいアイデアを得やすくなる。
- ✍️ 報告上は統計的に有意な結果が示されていても、実際には効果がない場合がある。
- 📚 ベストセラーになった有名な理論でも、再現実験に失敗するケースが多数ある。
Q & A
1万時間の法則とは何ですか?
-1万時間の法則とは、人は誰でも1万時間努力すれば、ある分野の達人になれるというものです。2008年に出版された書籍でベストセラーになり、自己啓発の分野で広く知られるようになりました。
なぜ1万時間の法則は再現できなかったのですか?
-その後の追試の結果、再現に失敗したという報告が相次ぎました。プリンストン大学のメタ分析では、練習量の重要度はジャンルによって異なり、ゲームや音楽などのルールが決まった分野では練習量が重要ですが、それ以外では他の要因が大きいことがわかりました。
エビデンスとは何ですか?
-エビデンスとは、特定の条件下で見られる法則のことです。つまり、ある条件を満たした場合にのみ再現できる根拠となるものを指します。
エビデンスにはどのようなレベルがあるのですか?
-エビデンスには大まかに5つのレベルがあります。最も信頼できるものはメタ分析で、次にランダム化比較試験、観察研究、専門家の意見、動物実験の順になります。より質の高いエビデンスほど、より信頼できると言えます。
エビデンスを活用する際の注意点は何ですか?
-エビデンスを活用する際は、2つのことに注意する必要があります。1つ目は、エビデンスのレベルを見極めること。2つ目は、そのエビデンスが自分に合っているかどうかを見極めることです。
統計的に有意な結果が報告されていても、再現性がない場合はどうなるのですか?
-論文の報告上は統計的に有意な結果になっていたとしても、実際には効果がない研究が半数以上あるかもしれません。これは、偽陽性や偽陰性が起こるためです。そのため、再現性がないエビデンスには注意が必要です。
出版バイアスとは何ですか?
-出版バイアスとは、効果がないという論文は基本的に公表されないため、効果があると報告されている論文が偏って多くなるバイアスのことです。
人間には何か先天的な特性があるのでしょうか?
-はい、人間には朝型と夜型のように、先天的な特性があります。遺伝的に人間は役割分担をすることで生存競争に勝ってきたため、そうした特性が残っています。自分に合ったアプローチが重要です。
良いアイデアを生み出すための思考法はありますか?
-アナロジカルシンキング(類推思考)が有用です。これは異なる分野から使えそうな構造を借りてきて、新しいアイデアを生み出す思考法です。構造だけを借りるのがポイントです。
このチャンネルの目的は何ですか?
-このチャンネルでは、確率統計を使って世の中の謎を解き、リアルな続きを体験していただく教育エンターテインメントチャンネルです。
Outlines
😲 有名な心理学実験の再現失敗と出版バイアスの問題
この段落では、心理学や経済学などの分野で有名な実験の多くが再現実験に失敗していることが指摘されています。具体的には、「1万時間の法則」や「マシュマロテスト」などのベストセラー本で取り上げられた理論の再現が上手くいっていないことが述べられています。さらに、報告された研究の半分以上が偽陽性である可能性があると言及されており、「出版バイアス」という問題が提起されています。
🧐 エビデンスの定義と限界
この段落では、エビデンスの定義と限界について説明されています。エビデンスは「特定の条件下で見られる法則」であり、その条件を満たしているかどうかを検討する必要があると述べられています。水の沸騰点が高度によって変化する例が挙げられ、エビデンスを一般化する際には注意が必要であることが示唆されています。また、エビデンスにはレベルがあり、メタ分析が最も信頼できるエビデンスだと説明されています。
📌 エビデンスの適切な活用方法
この段落では、エビデンスを適切に活用するための2つのポイントが示されています。1つ目は、エビデンスのレベルを見極め、質の高い情報を優先的に収集することです。2つ目は、エビデンスの中から自分に合ったものを見つけることです。朝型と夜型の例が挙げられ、遺伝的な特性に合わせた戦略が必要であると説明されています。最後に、再現性の高いエビデンスを活用する際は、質の高い情報とともに自分に合ったことを見つけることが重要であるとまとめられています。
🤖 アナロジカルシンキングによるアイデア発想
この段落は、視聴者からのコメントに対する回答となっています。質問者がPornHubの動画とレッドオーシャンの合格保証をうまく結びつけたことに驚きを示していたことに対し、話者はアナロジカルシンキングという手法を使っていると説明しています。これは異なる分野から構造を借りてくる思考法で、アイデアに困らず問題解決にも役立つと述べられています。最後に、自身のYouTubeチャンネルの紹介とサブスクライブの呼びかけがなされています。
Mindmap
Keywords
💡再現実験
💡偽陽性・偽陰性
💡出版バイアス
💡メタ分析
💡1万時間の法則
💡ランダム化比較試験
💡観察研究
💡エビデンスレベル
💡アナロジカルシンキング
💡エビデンス市場主義
Highlights
心理学、脳科学、行動経済学など人気の学問で登場する有名な実験は、しばしば再現実験に失敗しています。
論文の報告上は統計的に有意な結果となっていたとしても、真実は効果がない研究があなた半数以上もあるということです。
1万時間の法則は再現に失敗している有名な実験の一つです。
プリンストン大学が発表したメタ分析では、過去の研究を再分析した結果、練習量の重要さはジャンルによって異なることが分かりました。
他にも再現性のない有名な研究がたくさん報告されており、マシュマロテストや「やればできる」など、ベストセラーにまでなった理論も再現実験に失敗しているケースが多数あります。
エビデンスとは、特定の条件下で見られる法則のことです。
水は100度で沸騰するというエビデンスは、1気圧の条件下でのみ当てはまります。気圧が変われば沸点も変わります。
エビデンスにはレベルがあり、メタ分析が最も信頼できるエビデンスレベルとされています。
エビデンスを活用する際は、自分に合ったものを見極める必要があります。
人には朝型と夜型があり、遺伝的な特性に合わせた戦略が必要です。
再現性の高いエビデンスを活用するには、質の高い情報を集め、自分に合ったものを見つける必要があります。
アナロジカルシンキング(類推思考)を使うと、新しいアイディアを異なる分野から借りてくることができます。
PornHubの動画の例では、富士フィルムとマスダ塾の成功事例から共通する構造を借りて、PornHubにも当てはめています。
アナロジカルシンキングができると、アイディアに困ることがなくなり、問題解決のフレームワークとしても有用です。
このチャンネルでは確率統計を使って世の中の謎を解き、リアルの続きを体験できる教育エンタメチャンネルです。
Transcripts
心理学
脳科学行動経済学など人気の学問で登場
する有名な実験っていうのはしばしば再現
実験に失敗しています論文の報告上は統計
的に優位な結果になっていたとしても真実
は効果がないという研究があなた半数以上
もあるということですねはい皆さん
こんにちは統計のお姉さん佐藤まいです
今日のテーマはエビデンス市場主義で思考
を停止です
科学的に正しい〇〇の方法とかエビデンス
のあるまるまる勉強法とかですねそういう
のを見たりとか実践したりしてる方は多い
と思いますで本屋さんに行くとたくさん
エビデンスを歌った本が売られていますよ
ね2019年に出版された
ファクトフルネスという書籍が100万部
のベストセラーになったりとかエビデンス
の大切さっていうのがここ数年で注目され
ていてとてもいいことだなっていうふうに
思っています何かにつけてエビデンスが
求められる世の中ですがエビデンスがある
からと言ってあなたに役に立つとは限り
ません今日はそんな話です私は普段ですね
リサーチャーとして本当多様で膨大な
いろんな情報を精査してこういった
YouTubeでお伝えしたりとか
あるいは完全にオーダーメイドで企業さん
の問題解決のコンサルティングをしたりと
か社会人向け統計学を教えている身から
するとですね最近のエビデンス市場主義
みたいな考え方で逆に思考を停止している
人が結構多いなというふうに思っています
エビデンスであるとか誰かの成功法則を
聞いた時に自分がそれをどのように解釈し
て活用すればいいのかそのヒントになる
ような話を今日はしていきたいと思います
ということで今日のポイントは3つです1
つ目1万時間の法則は再現に失敗している
2つ目エビデンスとはそもそも何なのか3
つ目エビデンスの活用方法についてデータ
をもとに解説していきます
それではまず1つ目のトピックです1万
時間の法則を再現失敗しているですね最初
に残念なお知らせなんですが心理学
脳科学行動経済学など人気な学問で登場
する有名な実験っていうのはしばしば再現
実験に失敗しています例えば人は誰でも
1万時間努力すれば達人になれるのだと
いう一番時間の法則はですね結構有名でし
て日本では2009年に書籍が出版されて
ベストセラーになっていますこの発表以降
ですねプロになるには長い時間をかけた
努力が必要であるっていう考え方が自己
啓発の分野で広がりましたでもともとは
ですね1993年にですねこの理論が提唱
され始めたんですが当時は
成功の半分っていうのは練習量で決まると
そういう結果になっていたんですがその後
ですねいくつかの追試が行われたものの
再現できなかったという報告が相次いで
発表されていますこの追試というのは元の
論文の実験デザインというのを見直した上
で行われます例えば最初の実験っていうの
バイオリニストを対象にしてるので他の
スキル例えばゲームだったりとか勉強とか
ですねそういったところに同じことが
言えるわけではないんじゃないのとか後
から練習量をインタビューしていたので
成功してる人の方が練習量を多く答えがち
まあそういう実験デザインになってるん
じゃないみたいなんですねこういった疑問
とか課題を調整して中止が行われます
そして2014年にですねプリンストン
大学が発表したメタ分析では過去に行われ
た音楽ゲーム勉強などの研究を再分析して
みたところ
練習量の
重要さっていうのは
ジャンルによって
異なるということが分かりましたゲーム
音楽スポーツなどですねこの明確にルール
が決まっているものは練習するほどうまく
なるんですがそれ以外は練習量以外の要因
が大きそうだということですねじゃあこの
練習量以外の要因って何なのかっていう
ことに関しては言及されていませんこの
残りの要因っていうのをブラックボックス
にしても数学的には割合を求められ
るっていうのが統計分析の特徴だったりし
ますここの部分に例えば
遺伝的なものだったりとか
IQとか運の要素とか性格的な特徴なんか
が入ってくると思いますそれで今研究者
たちはですねこの
練習量以外の部分ですねこのブラック
ボックスの部分を特定することに目を向け
た方が
合理的なんじゃないというスタンスで研究
が進められていますもちろん他にもですね
再現性のない研究っていうのたくさん報告
されていまして
有名どころで言うとマシュマロテスト
成功する子しないこうですねこちらも本が
出てますがこちらの内容としては自制心
我慢強さですねが強い子供っていうのは
大人になってから成功しやすいみたいな
ものだったんですがこれも後の追試で再現
に失敗していますあと他に有名どころで
言うとやればできるですねこの中では才能
よりも努力を褒めた方がいいんじゃない
のっていう話が出てたんですがそれも
追試によって再現に失敗しています今出し
たの本当に一部なんですがその他にもです
ねベストセラーにまでなっている有名な
理論が再現実験に
失敗してるケースっていうのはかなり
たくさんあります実は皆さんがいろんな
ところで目にする心理学研究というのは
報告されている研究のなんと半分以上が
偽行政であるかもしれないというメタ分析
さえありますこの美容性っていうのは統計
学的には偶然の結果でしかないものを
あたかも確からしいものであるかのように
報告していることになるんですがそれが
半分以上あるかもねっていうことなんです
よねじゃあこのちょっと偽行政について
もう少し説明したいなというふうに思い
ますで一つ例としてあるウイルスに感染し
ているかどうか調べる検査があったとして
検査で陽性と出た人がですね
必ずウイルスに感染しているわけではあり
ません
陽性が出た人の中には実際に感染している
人と
陽性なんだけれども本当は感染していな
いっていう2つ実は存在します本人は本当
に感染していて
陽性が出たんであればそれは真の陽性と
いうことになるんですが
陽性と出た人が実は感染していないことを
ですね
偽の要請という意味で美容整という風に
言いますで逆もありまして
陰性と出た人すべてが
完成していないわけではないんですね
陰性と出た人が実は感染していたこれを
議員制というふうに言いますこの心理学の
実験などでは効果があるかどうかっていう
のは統計的に有意かどうかっていうので
判断するんですが
論文の報告上は統計的に優位な結果になっ
ていたとしても真実は効果がないっていう
研究があなた半数以上もあるということ
ですねでこれは論文という体裁上を効果が
ありませんでしたという報告は基本的に表
に出ることがないためですこういったこと
を出版バイアスと言いますでこう考えると
ですね科学的エビデンスと歌っているもの
がだんだん怪しく感じてきちゃいますよね
ただ再現に失敗しているからといって一番
時間努力することは間違ってるっていう
解釈も間違ってますこれ間違ってるわけで
はなくてある条件を満たせば再現できるし
満たせなければ再現できないということ
ですねこれどういうことが次のトピックで
解説します
ということで2つ目のトピックです
エビデンスとはそもそも何なのかです皆
さんエビデンスってそもそも何だと思い
ますか広い意味では視聴の根拠となるもの
ですがもう少し
狭い意味だと科学的な証拠っていう意味
ですよねエビデンスの価格的な証拠に
基づいて考えたりとか判断することって
いうのはもう非常に大事なことなんですが
エビデンスって一体何なのかっていうと
特定の
条件下で見られる法則のことですこれ
すごく大事ですエビデンスに基づいて
考えるときは自分がその特定の
条件を満たしているかを考えないといけ
ないんですね本来は特定の
条件下においてみられた法則をどこまで
一般化していいかを考えることが必要だと
いうことですね例えば水は100度で沸騰
するこれエビデンスありますよねじゃあ
これはどこまで一般化していいでしょうか
水は確かに100°cで沸騰するんですが
富士山で水を沸騰させた時の温度っていう
のは87度なですね訳これがエベレストだ
と70度で水は沸騰しますこれは水の沸点
っていうのは気圧によって多少変化する
からですねこのあたりはもう中学の理科か
なで習ったと思うんですけれどもの1気圧
が1013ヘクトパスカルですがこの状態
だと100度で水は沸騰するということ
ですね
富士山の山頂付近になると気圧が下がるの
で水は87度ぐらいで沸騰するということ
になりますでエベレストだともっと気圧が
下がるので70度で沸騰するということに
なります
ちなみに一般的な圧力鍋っていうのはこの
圧力を高くしてるのでこの沸点っていうの
が高くなりますねだいたい120度ぐらい
になるので短時間で調理できますっていう
まあそういう技術を応用した鍋ですねです
ので
沸騰したお湯を入れて3分でカップ
ラーメンができるっていうのはこの1気圧
という特定の条件で再現ができる法則だと
いうことです私たちはエビデンスと言わ
れるものを聞くたびに何か正しそうだな
じゃあ自分もこれを採用していいんだなっ
ていう風に
停止になるんですけれども
拡大解釈しがちだなぁという風に周りを見
ていっても思います1万時間努力したら誰
でもどんな分野でもプロになれる僕も努力
するぞというのはエビデンスに基づいた
意思決定ではあるかもしれないんです
けれども
科学的に考えられているって言われると
ちょっとはてなですねこのエビデンスを
活用して再現するには他に必要な条件は
ないかとかどこまで一般化していいのか
あるいは自分にも当てはまるのかというの
を考えるようにしてほしいんですがこれ
なかなか難しいところですエビデンスをご
自身の中でどのように消化すればいいのか
私からの提案を次のトピックで扱います
ということで3つ目のトピックです
エビデンスの活用方法ですね
科学的なエビデンスの中でも自分にとって
再現性の高い情報とそうでない情報があり
ますその情報を見極めて
採用するか否かっていうのをご自身で判断
してほしいんですねでそのためには2つ
ポイントがあります1つ目はエビデンス
レベルの見極めですね2つ目が自分にあっ
たことを見極めるこの2つですまず1つ目
のエビデンスレベルの見極めなんです
けれども世の中にはたくさんエビですと
言われるものが存在しますでこの
エビデンスにはレベルというものが存在
するんですねこのエビデンスレベルが高い
方が信頼できる情報だと判断していいもの
ですねエビデンスと言われるものの中にも
信頼に足る情報とそうでないものがあ
るっていうことですねこれ
ざっくりレベル分けするとこんな感じに
なりますだいたい5段階ぐらいですね
エビデンスレベルが低いものから順番に
言いますとまず動物実験ですね次に専門家
の考え意見次に観察研究次にランダム化
比較試験そしてメタ分析という風な感じで
エビデンスレベルがどんどん高くなって
いきますだいたいこの5段階ですね動物
実験と
専門家の考えや意見については割愛するん
ですけどもこの観察研究って何なのかって
いうところで言うとある個人とか集団の
健康状態とか医療記録っていうのデータ
分析してその傾向を出すみたいなものです
ねこれではその相関関係ってのはわかるん
ですが
因果関係まではわからないですね例えば
よく医学の教科書とかで説明される例で
コーヒーを飲む人には胚芽になりやすいと
いうお話があるんですがただそのコーヒー
を飲む人は飲みながらタバコを吸う人が
多いとで実際に
喫煙の有無でそのグループ分けをして
肺がんの発生率っていうのを調べるとそこ
に差はなくなってコーヒーと肺がんの発症
っていうのは無関係ということがわかり
ますなので観察研究の段階ではコーヒーを
飲む人は肺がんになりやすいっていうその
傾向とか相関関係はわかるんですけれども
因果関係までは分からないってことですね
次にこのランダム化比較試験なんですが
ランダム化比較試験はある特定の
病院以外の
条件を揃えて
被験者はランダムに2つのグループに
振り分けられて一方には効果検証したい
ものを薬とかを投与して一方にはプラセボ
薬を投与してこのAとBのグループの差を
比較するっていうものですねこれだと
因果関係が分かります最後このメタ分析な
んですがこれランダム化比較試験などの質
の高い複数の研究っていうのをさらに統合
して
答えを導き出すというものですなので今は
これが正解ですよという風に言ってもいい
一番信用できるエビデンスですねこんな
感じでエビデンスにはレベルがあ
るっていうことをぜひ覚えておいて
ください次エビデンスの活用方法の2つ目
なんですが自分に合ったことを見極める
ですねうまくいっている人とか成功してる
人の特徴を何か一つ挙げてくださいって
いう風に言われるんであれば自分に合った
ことをしているっていうことかなと思い
ますその自分に合ってるとか合ってないに
ついて一つ例をお話ししたいと思います
朝方と夜型とかですよね
歴史上の天才たちのモーニングルーティン
だけを集めたすごい変な本があるんです
けれどもこれもうねみんなバランバランな
んですよ
むしろモーニングじゃない今っていう時間
にすやーっと寝てる人もいますこれはです
ね人には黒のタイプって言って朝方夜型
みたいにどの時間帯が強いのか人によって
異なるからなんですねこれは進化論的には
電気がなかった頃は夜は交代でこう見張り
をしていたわけですよねそういう風にこう
人は役割分担をすることによって生存競争
に勝っていったのでその子孫である我々も
遺伝的に夜型と朝方とで別れています
ちなみにこれは遺伝子検査である程度
分かりますこのようにですね人間には
それぞれ先天的な特性がありそれに合わせ
た戦略が必要ですそれなのにも関わらず
本当は夜型なのに早起きして朝活で人生を
変えようとか体格も才能もまるで違うのに
大谷翔平さんが高校生の時にやっていた
ことの真似をするのはエビデンスをうまく
活用できているとは言えないかなと思い
ますということでまとめますと再現性の
高いエビデンスの活用方法としては分析と
かランダム化比較試験などのなるべく質の
高い情報を優先的に集めることとその中で
も自分に合ったことを見つけることですと
いうことで今日はエビデンス至上主義で
思考停止というお話をしましたがいかが
でしたでしょうかそれでは最後に今週
いただいたコメントで最も良かった
コメントの発表ですさて今週のMVCは
PornHubの動画についたコメント
ですねCCフッチさんこの方2回目の登場
ですおめでとうございますショッキング
でしたどう考えても無関係なポルノハバー
とレッドオーシャンと増田塾の合格保証を
ポジショニング戦略として結びつける発想
はどうやったら出てくるのでしょうか学び
が大きいということでありがとうござい
ます
紳士さんにはですねいい質問ですね賞を
受容したいなというふうに思います
YouTubeの動画を作る時の思考
プロセスとして私が使うのはアナロジカル
シンキングと言われるものですこの
アナロジーっていうのは
類推のことですねこう何か新しい
アイディアを考えるときに
異なる分野から使えそうな構造を借りて
くるっていうような思考法ですそのまま
作るんじゃなくて構造だけ借りてくるって
いうのがポイントですね
PornHubの動画では富士フィルムと
マスダ塾がうまくいったのには共通する
構造があってそれがPornHubにも
当てはまるよねっていうような考え方をし
て作ってます今回はポジショニング戦略で
3つのレートも共通した構造を持ってい
るっていうお話をさせてもらいましたなの
でこのアナロジカルシンキングっていうの
ができると
控えめに言ってもアイディアに困ることは
なくなりますし問題解決のフレームワーク
としてもかなり有用です
参考にしてくださいということでこの
チャンネルでは確率統計を使って世の中の
謎を解くリアルの続きを体験していただく
教育エンタメチャンネルです高評価と
チャンネル登録よろしくお願いします
新しい動画を見逃さないように通知設定を
オンにしてくださいライブのお知らせを
するのでLINEでお友達になって
くださいそれでは次の動画でお会いし
ましょうバイバイ
論文の方向
論文の報告上終わってこういったものを
出版バイアスとこういった
こういったことを出版バイアスと言います
どんな分野でもプロになれるじゃあ僕も
僕も努力するぞというのは
[音楽]
5.0 / 5 (0 votes)