【平均値と標準偏差】n-1で割らないと不偏分散にならない理由。不偏の意味。データの要約の意味。正規分布と偏差値。等まとめて解説！【データの可視化】【要約】
Summary
TLDRこの動画スクリプトは、平均値と標準偏差の重要性とその計算方法について解説しています。データの可視化を通じて分布を把握し、平均値と標準偏差を用いてデータの特徴を要約することができ、これによりデータの理解が深まります。また、標準偏差の計算において、なぜn-1で割ることかについても詳細に説明し、データの分布が正規分布でない場合でも平均値と標準偏差の役割についても触れています。
Takeaways
- 📚 データの要約：平均値と標準偏差を計算することは、データの特徴を簡潔に表現する手段である。
- 🔍 データの可視化：ヒストグラムを作成することで、データの分布やばらつきを視覚的に把握することができる。
- 🎯 標準偏差の計算：標準偏差はデータが平均値からどれだけばらつくかを示す指標であり、計算の際にはn-1で割ることが重要。
- 🔄 データの復元：平均値と標準偏差から元のデータの分布を想像することができ、正規分布のデータであればより正確に復元が可能。
- ⚖️ 正規分布と偏りのあるデータ：正規分布に従わないデータでは、平均値と標準偏差だけではデータの実際の分布を正確に表すことができない。
- 📈 ヒストグラムの解釈：ヒストグラムから元のデータにどの程度正確に復元できるかを理解することは、データ分析の重要な要素である。
- 🤔 データの要約の限界：データの要約プロセスで情報量が減少することがあり、可視化と数値化のバランスを考える必要がある。
- 📊 データの可視化の重要性：データの可視化は、複雑なデータセットを理解するための重要なステップであり、最初に行うことが望ましい。
- 🔢 平均値の計算：データの平均値は、すべての値を足してサンプル数で割ることで求められる。
- 🌟 データ分析の目的：データ分析の最終的な目的は、データセットから得られた平均値や標準偏差を通じて、母集団の特徴を推定することである。
- 💡 データの理解：平均値や標準偏差を深く理解することは、データ分析において重要なスキルであり、データサイエンスの基礎概念の一つである。
Q & A
平均値と標準偏差を計算する理由は何ですか？
-平均値と標準偏差を計算する理由は、データの特徴を把握しやすくすることです。平均値はデータの中央値を示し、標準偏差はデータのばらつきの大きさを示します。これらを計算することで、データの概要を簡潔に表現することができます。
標準偏差を計算する際にn-1を用いる理由は何ですか？
-標準偏差を計算する際にn-1を用いる理由は、標本から母集団の分散を無偏に推定するためです。標本の偏差平方和をn-1で割ることで、母集団の分散をより正確に推定することができます。これは、標本サイズが母集団全体を代表しているわけではないため、バイアスを考慮するために行われます。
ヒストグラムとは何ですか？
-ヒストグラムは、データの分布を可視化するためのグラフで、データの各範囲（ビン）における頻度または密度を表します。横軸にはデータの値が表示され、縦軸にはその範囲内のデータ数または密度が表示されます。ヒストグラムは、データの分布、集中傾向、ばらつきなどを把握するのに役立ちます。
正規分布の特徴は何ですか？
-正規分布は、左右対称の釣り鐘状の形を持つ分布で、平均値を中心に均等にデータが分布されています。正規分布の特徴は、平均値と標準偏差の2つのパラメーターで分布の形を決定することです。また、平均値±1σの範囲に約68.3%のデータが、平均値±2σの範囲に約95.4%のデータが入ることが知られています。
データの可視化の重要性は何ですか？
-データの可視化の重要性は、データの特徴を直感的に把握しやすくすることです。大量のデータが集まった場合、数値だけではデータの特徴を理解することが困難になるため、グラフやヒストグラムなどの可視化手法を用いて、データの分布やばらつきを視覚的に表現することが重要です。これにより、データから得られる情報がはっきりと把握でき、分析や解釈が容易になります。
平均値や標準偏差を計算する際に注意すべき点は何ですか？
-平均値や標準偏差を計算する際には、データの性質に応じて適切な方法を用いる必要があります。例えば、データが右に歪み（スケウ）を持っている場合、平均値や標準偏差だけでデータを要約することは適切ではありません。その場合、データの特徴を正確に反映する他の統計的指標や可視化手法を用いて分析を行うことが重要です。
データの要約とは何ですか？
-データの要約とは、大量のデータから重要な情報が簡潔に表現されるプロセスです。このプロセスでは、平均値、標準偏差、分散などの統計的指標を計算することで、データの特徴やパターンを把握することができます。データの要約は、複雑なデータセットを理解し、分析結果を簡潔に伝えるための重要なステップです。
平均値と標準偏差を用いてデータを要約することの限界は何ですか？
-平均値と標準偏差を用いてデータを要約することの限界は、データの分布が正規分布でない場合です。例えば、データに大きな外れ値がある場合や、データが右に歪んでいる（スケウ）場合、平均値や標準偏差だけではデータの特徴を正確に反映できません。このような場合、他の統計的指標や可視化手法を用いてデータの特徴を分析する必要があります。
データ分析において標準偏差の計算が重要である理由は何ですか？
-データ分析において標準偏差の計算が重要である理由は、データのばらつきの大きさを定量的に評価できることです。標準偏差はデータが平均値からどの程度離れているかを示す指標であり、データの変動や不確実性を理解する上で重要な役割を果たします。また、標準偏差を用いることで、データの信頼性や予測可能性を評価することもできます。
データの分布が正規分布でない場合、どのように数据分析を行うか？
-データの分布が正規分布でない場合、他の統計的指標や分析手法を用いてデータの特徴を評価する必要があります。例えば、中位数や四分位範囲を用いることで、データの中央値や分散を把握することができます。また、相関分析や回帰分析、分群分析などを行うことで、データ間の関係性やパターンを発見することができます。さらに、データの可視化を通じて、データの特徴や傾向を直观的に理解することも重要です。
平均値や標準偏差を算出した後、どうやってその正確性を確認するのか？
-平均値や標準偏差を算出した後、その正確性を確認するためには、データの分布やヒストグラムを再度確認することが重要です。これにより、データのばらつきや集中傾向がどの程度平均値や標準偏差に反映されているかを判断することができます。また、データの正規性や外れ値の有無を確認し、必要に応じて適切な変換やフィルタリングを行うことも有効です。さらに、信頼区間や標準誤差などの統計的精度指標を計算し、結果の信頼性を評価することも役立ちます。
データ分析において、標準偏差が平均値よりも重要な指標となる場合がある理由は何ですか？
-データ分析において、標準偏差が平均値よりも重要な指標となる場合がある理由は、データのばらつきや変動の大きさに対する理解が、場合によってはデータの中央値よりも重要であることです。例えば、投資のリスク評価や品質管理など、データの分散や変動を重視する場面では、標準偏差がより重要な役割を果たします。また、データの分布が偏りや外れ値を含む場合、標準偏差はデータの特徴をより正確に反映する可能性があります。
Outlines
📚 データの可視化と要約の重要性
この段落では、データの可視化と要約に関する基本的な考え方について説明されています。データの可視化は、生データの状態から始め、分布やばらつきを把握しやすくすることを目的としています。また、データの要約は、複雑な生データから有益な情報を引き出すために必要なプロセスであり、平均値や標準偏差などの数値的な要約を行います。このプロセスは、データの特徴を簡潔に表現し、分析を促進するための重要なステップです。
🧠 データの可視化をスキップすることは避けるべき
この段落では、データの可視化を最初に行うことが重要である理由について述べられています。データの可視化は、私たちの脳がデータの分布やばらつきを理解するための重要なステップです。生データから直接平均値や標準偏差を計算しても、データの可視化をスキップすると、データの正確な解釈ができなくなります。したがって、データの分析において、常に可視化のステップを含めることが重要です。
📈 正規分布と標準偏差の理解
この段落では、正規分布と標準偏差の概念について深く理解するための基礎知識が提供されています。正規分布は、データが平均値を中心に左右対称に分布するものであり、標準偏差はデータがどの程度ばらつかれるかを示す指標です。平均値と標準偏差の2つの数値があれば、データの分布を表現することができます。この理解は、データ分析において非常に重要であり、分布の特性を把握し、データの要約を行うことができます。
🔢 標準偏差の計算方法とその意義
この段落では、標準偏差の計算方法とその意義について詳しく説明されています。標準偏差は、データが平均値からどの程度離れているかを示すため、データのばらつきを数値的に表現する指標です。計算方法是、データの平均値から各データポイントとの差を求め、その差的二乗を計算し、それらを足し合わせたものをデータポイントの数（または数-1）で割ることで求められます。この計算により得られる標準偏差は、データのばらつきの大きさを示す有力な情報となります。
🤔 データの要約と正規分布の関係性
この段落では、データの要約と正規分布との関係性について議論されています。データの要約は、生データから得られる情報を簡潔に表現するプロセスであり、正規分布はデータがどのように分布しているかを表すモデルです。平均値と標準偏差を用いてデータが正規分布に従うと仮定すると、データの特徴をより正確に把握することができます。しかし、データが正規分布に従わない場合でも、平均値や標準偏差は有効な要約ツールとなることがありますが、その場合の解釈には注意が必要です。
🌟 平均値と標準偏差の計算結果とその適用範囲
この最終段落では、平均値と標準偏差の計算結果に基づいて、データの分布を正規分布として想定し、その適用範囲について考察しています。平均値や標準偏差から得られる推定値は、データの分布を理解する上で有用ですが、必ずしもすべてのデータに適用できるわけではありません。特に、データが正規分布に従わない場合や、分布が右に傾いた場合、平均値や標準偏差に基づく推定は誤りを含む可能性があります。そのため、データの特性を充分に理解し、適切な方法で要約することが重要です。
Mindmap
Keywords
💡平均値
💡標準偏差
💡データ可視化
💡ヒストグラム
💡正規分布
💡中心極限定理
💡標準誤差
💡信頼区間
💡データの要約
💡データ分析
💡統計的推定
Highlights
ゼミ生のみなさんこんにちは、今日も一緒に勉強していきましょう。
今日のテーマは平均値と標準偏差に関して深く考え、深く理解することでこの2つをすごく好きになっちゃいましょうというのが目標になります。
平均値や標準偏差を計算する必要があるのかその理由をしっかり知る必要があります。
例えば標準偏差を求めるときにn-1を用いる理由を理解している場合もありますが、ここを放置して何となくやっている場合もあります。
データの可視化の重要性もしっかり理解してほしいと思っています。
平均値は129.6年、ばらつきの指標である標準偏差が15であることがわかります。
生データから数値によるようやくを致し、平均値や標準偏差を算出することで全体のデータがどのぐらいの大きさでどのぐらいのバラつきがイメージしやすくなった。
データの要約の流れの中でだんだんわかりやすくなっていく代わりに情報量がどんどん減っていってしまうことに皆さんお気づきになりましたでしょうか。
正規分布について知る必要がありますのでまずは正規分布の解説をさせていただきます。
正規分布は左右対称の1つの山と言います。
平均値と標準偏差の2つだけで分布の形が決まるという正規分布の特徴を理解することは重要です。
平均値と標準偏差がわかれば分布全体が把握できる、つまり平均値と標準偏差があればそこから逆算して頭の中で分布やヒストグラムを描くことができる。
平均値の求め方は特に説明する必要もないかもしれませんが、全ての数字を足し合わせて症例数 n で割るだけですね。
標準偏差は少し求め方が複雑ですが、平均値からのどの程度のばらつきかの指標として考えると良いでしょう。
偏差平方和を得るためには、それぞれのデータの値と平均値との差を二乗してから全て足し合わせます。
標準偏差を計算する際に、n-1で割ることで母集団の分散を偏りなく推定するための工夫の結果です。
正規分布では平均値を中心にして左右対称の釣り鐘状の形になります。
平均値プラスマイナス1かける標準偏差の範囲にすべてのデータのうち68.3%のデータが入ります。
正規分布しない場合でも平均値や標準偏差を計算すること自体はできますが、それによって想定される分布と元の分布が似ても似つかない場合もあります。
生データからデータの可視化をして左右対称で1縫製の分布が得られた場合に平均値や標準偏差で数値的なようやくができるという話でした。
Transcripts
00:00ゼミ生のみなさんこんにちは今日も一緒に勉強していきましょう
00:05今日のテーマは平均値と標準偏差に関して深く考え
00:09深く理解することでこの2つをすごく好きになっちゃいましょうというのが目標になり
00:15ます
00:16そのぐらいに平均値や標準偏差を深く理解するために必要なことですが一つ目はなぜ
00:23平均値や標準偏差を計算する必要があるのかその理由をしっかり知る必要があります2
00:30つ目としてはその計算をちゃんと理解して行えることが必要になります
00:36例えば標準偏差を求めるときに n -1目はる理由をあまり理解していない場合も
00:42多いかと思いますがここを放置して何となくもやっとしたまま過ごしていると
00:48この2つを好きになることはできません
00:51最後にデータの可視化の重要性もしっかり理解してほしいところだと思っております
00:57[音楽]
00:58さて最初の質問ですがなぜ平均値や標準偏差を計算するのでしょうか
01:06例えば何かの臨床研究において100人分の血圧を測ったとしましょう
01:12そうするとこのように100個の血圧の値が出てくるようになります
01:18データが集まることは良いことですがこのように100個の血圧の値を眺めているだけ
01:23でデータの特徴が見えてくることはほとんどありません
01:28データが多すぎてひと目で把握することができないんですね
01:32なので最初にやることはデータをグラフにすることつまり視覚化だと思います
01:40このようなヒストグラムを書くとデータの分布や殻つきがある程度把握できるんじゃ
01:46ないでしょうか
01:47ちなみにこのグラフのことをヒストグラムと言いまして
01:51横軸は先ほどの血圧の値になっております
01:55そして縦軸は患者さんの数になりますが
01:58ヒストグラムでは基本的に人数を面積で表しております
02:03例えばですが低い所の3つの階級
02:07つまり血圧が80から110までの階級を一つにまとめた時にどういうヒストグラムに
02:13なるかを考えてみましょう
02:153つの階級全体で9人いたとしますと
02:19横幅が3倍になっていますので縦軸は旧悪さんでメモリとしてさんの高さにすれば
02:26面積が9人分を表すことになりますよね
02:29[音楽]
02:31実際にヒストグラムを書くとこのようになります
02:34ですのねヒストグラムにおいてはその面積が人数全体を表すというところを覚えて
02:41いただければ良いかと思います
02:43さて話を元に戻しましょう
02:46グラフの視覚化をすることはできましたね
02:49次に先ほどの100個のデータの平均値と標準偏差を計算してみましょう
02:57平均値は129.6年
03:00ばらつきの指標である標準偏差が15であることがわかります
03:05100個あるデータはそのままでは把握しにくいので
03:08一つ又はばらつきも含めて二つの数値にようやくするのがこの平均値や標準偏差を計算
03:15する目的になります
03:18まとめますと100個のデータがありまして
03:22見やすくするためにデータの可視化をまず行いましたね
03:26ヒストグラムにすることでデータの位置やバラつきが把握しやすくなりました
03:32そしてさらに数値によるようやくを致しました
03:35平均値や標準偏差を算出することで全体のデータがどのぐらいの大きさでどのぐらいの
03:42バラ月7日がイメージしやすくなったかと思います
03:47ですの音平均値や標準偏差をなぜ計算するのかという最初の疑問に対する答えは
03:55単純にデータの要約をしたいからということになります
04:01ここまではかなり一般的な議論の流れだと思うんですがせっかくなので皆さんには
04:07もっと深く考えていただきたいと思います
04:10今まで頻繁にデータの要約という単語が出てきましたがデータがようやくできたという
04:16のはどういう状態なのかというのを考えていくと
04:20平均値や標準偏差のより深いところの理解が得られると思います
04:26さて基本的には生データが一番複雑ですよね
04:31生データの状態が一番情報量がたくさんあるんですけども
04:36見た目では把握しにくい状態でしたね
04:38100個くらいのデータ数であればなんとかなる場合もありますが何万個
04:44何十万個の生データの場合はデータの外観を俯瞰することすら不可能になります
04:50なのでまずはデータの可視化をすることでデータの分布やばらつきを見た目でわかり
04:55やすくしてそして平均値や標準偏差
04:59などの数値でのようやくもいたしました
05:01これがデータの要約の流れになりますが一つ注意点としては生データからいきなり平均
05:08値や標準偏差を求めてデータの可視化をスキップする人がたまにいらっしゃるんです
05:13けどもこれはあまりお勧めできません
05:16データの可視化を最初にしなければいけない理由はこの脳がの後ろの方
05:21で説明しますがデータの可視化というのが非常に重要なステップだということは覚えて
05:27おいてくださいね
05:29さてこのデータの要約の流れの中でだんだんわかりやすくなっていく代わりに情報量が
05:36どんどん減っていってしまっていることに皆さんお気づきになりましたでしょうか
05:41生データから可視化をした段階とおかしくから数値によるようやくをした段階ね
05:47情報量が減っていってしまってるんですね
05:51なのでこのヒストグラムから生データにどのくらい正確に戻れるのか
05:57または数値で要約したものからどのくらい正確にイスと g に戻れるのかというある
06:03意味ようやくの制度のようなものを考えていくといろいろとわかってくることがあり
06:08ます
06:09例えばこのヒストグラムから元の数値にどのぐらい戻れるかというのを考えてみ
06:15ましょう
06:16月圧が80から90の人はひとりであるとか
06:20血圧120から130の人は30人ぐらいいるとかそういうことはヒストグラムから
06:26わかりますね
06:28そして細かい数字はわからないとしても例えば血圧80からケア中の人は血圧85だと
06:36いうふうに決めつけてデータを保管していくと一応
06:39100人分のデータを作ることができます
06:44そのようにして100人分のデータを作るとすべてのデータが125とか
06:49135などの値になってしまっていますが一応
06:53100人分もデータとして元に戻すことができました
06:57このデータは10刻みの数字になっていて
07:00元のデータよりも情報量がかなり減っていますよね
07:06例えば最初の5人に関しては生データだとこの上の数字なんですがそれをヒストグラム
07:13から戻すとこの下に書いてある数字になります
07:17それほど離れた数字ではないのですが例えば
07:20136.7が135になっていますね
07:242番目の方と5番目の方の血圧は本当は
07:29127.1と125.5なんですが
07:32ヒストグラムから戻すと同じ125になってしまっています
07:37このように元の値とは違う値になってしまったりそもそもの値が単純化されてしまって
07:43いますので情報量はやはりスト g にすると減っているんですね
07:50情報量が減った分見やすくなっているというのがヒストグラムであり
07:54見やすくなった分減ってしまった情報は完全には元に戻せないけれどもある程度は
08:00戻せるというそのような状態になってるんですね
08:04さてでは今日のテーマである平均値や標準偏差によるようやくですがこのように要約し
08:11た時にいったいどのぐらいかしかの南海
08:14つまりイスト g に戻せるかというのを考えていきたいとおもいます
08:20さてそのためにはまず正規分布について知る必要がありますのでまずは正規分布の解説
08:28をさせてください
08:29正規分布というのは左右対称の一つの山
08:33つまり1縫製のこのような分布のことを指します
08:38この分布を数値で表すということをまず最初に考えていきましょう
08:44さてここに2つの正規分布があります
08:48一つ目の正規分布は100ぐらいのところに中心があって比較的裾野が広い
08:54つまりばらつきが大きいものになっていますね
08:58二つ目の正規分布は170から180ぐらいのところに中心があって一つ目と比べると
09:05そのが狭い
09:06つまりばらつきの小さい分布になっております
09:10この1番目と2番目の正規分布の違いをどのように表現するのかということをまずは
09:17考えていきましょう
09:20ここで重要な正規分布の特徴として平均値と標準偏差の2つだけで分布の形が決まると
09:27いうものがあります
09:29これらの数値の求め方は後で説明しますが
09:33最初に覚えておいて欲しいのは正規分布というのは平均値が決まって標準偏差が決まる
09:40と分布が一つに絶対に気があるということです
09:44つまり平均値と標準偏差の2つだけを規定してあげれば私が分布を書いても別の人が
09:51文法書いても全く同じ分布になるということですね
09:56この特徴は覚えておいてくださいね
09:59ということは先ほどの2つも平均値と標準偏差だけで
10:04地内を表現できるはずですよね
10:08先ほどの1番目の分布は平均値が100で標準偏差が中の正規分布になります
10:15これに対してん
10:172番目の正規分布は平均値が175で標準偏差はさんになります
10:24つまり1番目の正規分布よりもにバー目の正規分布は平均値が70を高いところにあり
10:31ます
10:32そして標準偏差が中からさんに小さくなっておりますので
10:36バラ付つまり分布の裾野の広さも2番目の分布の方が狭くなっているというのがこの2
10:44つの数字だけで表現できていると思います
10:47つまりここでお伝えしたかったのは知ってる人にとっては当たり前かもしれませんが
10:55平均値と標準偏差がわかれば分布全体が把握できる
11:00つまり平均値と標準偏差があればそこから逆算して頭の中で分布やヒストグラムを描く
11:07ことができるということになります
11:10ここのところが平均値や標準偏差れの要約を行う
11:14一番大事なところですので覚えておいてくださいね
11:19さてでは先ほどの100人分のデータがありましたね
11:24ヒストグラムはこのようになっていたと思います
11:27このデータの市代表地である平均値
11:31そしてデータのばらつきの代表地である標準偏差をこれからも貯めていきましょう
11:38平均値の求め方は特に説明する必要もないかもしれませんが全ての数字を足し合わせて
11:45症例数 n で割るだけですね
11:48このデータは100人の血圧の値ですので100人の血圧の値を全て足すと大胆
11:551万2900ぐらいになりましてそれを100で割るとおおよそ129.6となります
12:02これが平均値ですね
12:06これに対して標準偏差は少し求め方が複雑です
12:10標準偏差というのは平均値からどのぐらいばらつくかの指標になっております
12:17なので平均値かなそれぞれのデータのさをとって行くとだいたいそんなばらつきが見え
12:22てくるんですね
12:24例えば1番目の患者さんは血圧が136.7でしたので平均値である129.6を引く
12:32と
12:32+7.1となります
12:35平均値よりも7.1高い血圧でした
12:392番目の患者さんは血圧が127.1でしたので平均値である129.6を引くと
12:46-2.5となります
12:49平均値よりも2.5低いということがわかりますね
12:53それぞれのデータの値と平均値との差が大きければ大きいほど
12:59バラつきは大きいと判断できますね
13:02それを正しく数値として表現するためにはどうすればいいでしょうか
13:07これには2通りのやり方があります
13:10まず基本事項として今計算した平均力の差を全部足すとゼロになるのはわかりますよね
13:18全員の血圧の双蒼 n で割ったのが平均値ですからプラスマイナスの符号を無視して
13:24平均力の差を全部足すと当然0になります
13:29ゼロにしないためには絶対値をとってそうあを取るか
13:33ここに書いてあるようにそれぞれを三条してからそうはを取るかどちらかになります
13:39ここで絶対値を取る場合は標準偏差とは言わずに
13:43平均偏差という名前に変わります
13:46平均偏差の方は計算がしづらいだけではなくて
13:50部分ができなかったり数式的に扱いづらいところがありますのでほとんど出てきません
13:57医学系の論文でこの絶対値を使った平均偏差が使われることはほぼないと思って
14:03ください
14:0599.9%標準偏差が使われますので絶対値を取る方法に関しては忘れてしまっていい
14:12と思います
14:14ということで平均力の差の2以上を取って標準偏差を求めていきましょう
14:20ここで平均力の差のことを偏差と言います
14:24そして以上のことは兵法と言いますよね
14:28なので平均値からのさの2乗のことを偏差平方
14:33と呼んでおります
14:35さてまずは全員の偏差平方を詰めて算出します
14:40この偏差平方をすべて足し合わせたものを偏差平方和という風に呼んでおります
14:47偏差平方案を得ぬ低い治療あると不偏分散がも泊まるのですが
14:52ここがつまずきやすいポイントになります
14:55偏差平方案を得ぬつまり100ではあるのではなくて
14:59n 低い地である九十九ではあるんですね
15:02ここがわかりにくいところでいろんな人に聞いてもそういうものだというふうに説明さ
15:08れてしまいがちです
15:10n で割るのは間違いで n -1で割るのが正しいという説明がされてしまうとても
15:16混乱することになりますのでそこのところの説明をしっかりしていきたいとおもいます
15:23とりあえず今は標準偏差を計算するところまでいきましょう
15:28今算出した普遍分散というのは二条されたままですので会員は通常の血圧の単位である
15:35mm 睡眠中ではなくその3条になってしまっていますよね
15:40なので平方根をとって単位を合わせてあげるとそれが標準偏差になります
15:46実際に計算すると15.0となりました
15:50[音楽]
15:51さてではなぜ n -1ではあるのかとか
15:54不変というのはどういう意味なのかというところを説明していきたいとおもいます
16:00まずここで強調したいのは n で割るのは実は間違いではありません
16:06偏差平方和を得ぬで割ると標本分散が求まります
16:10つまりこの100例に限定した分散を求めるのであれば
16:15n で割るのが正しいということになります
16:18ところが臨床研究においてこの100人についてだけ知りたいということはまず間違い
16:24なくありえないんですね
16:27この100人から母集団の平均値であったり
16:30母集団の分散や恭順偏差を推定したいというのが基本的な立場になります
16:37それについてちょっと考えていきましょう
16:39[音楽]
16:41何かの疾患の患者さんが例えば全国で1000万人いたとします
16:47この1000万人の患者さん全員もデータがあってそこから平均値
16:52ビューを求めることができたら平均値は一つの値に定まりますよね
16:57この1000万人全員の血圧を本当に測ることができたならば単純に平均値を取れば
17:04それが知りたい値になります
17:06ただしそんなことはほとんどの場合不可能なので今回の場合は100人のサンプルを
17:13抽出して血圧の平均値を求めています
17:16この100人の標本から得られた標本平均値は神の平均値
17:22ミュウを推定するものですので new ハットと呼ばれております
17:26ミューハットの記号はビューの頭に通しのようなものをかぶっているのが特徴です
17:32このハットは何かの推定値を表すときに使われるものですので覚えておいて損はないと
17:38思いますよ
17:40さてここで最初の集団のミューハットは
17:43129.6でしたが別の100人をサンプルしたら別の御法度
17:49ここでは客さん10.5になりました
17:52そしてまた別の100人をサンプリングしたらまた別のミューハットが出てくるはず
17:57ですよね
17:58これらはすべて神の値ビューに近い値になるはずなんですけども
18:03毎回必ず少しずつ違う値になりますよね
18:07つまり母集団の神の平均値ミュウは一つの値固定値ですけども
18:13view ハットに関してはいろんなサンプルの仕方によって少しずつばらつきます
18:18そういうばらつきを持つ値であるということを理解してください
18:24この考え方は中心極限定理の時にも出てきておりますのでわからない方は動画を復習さ
18:31れると良いかと思います
18:34それでは母集団全体のばらつき分さーん
18:38標本分散で表現する方法を考えてみましょう
18:42私たちの本当に知りたいのは母集団の分散ですよね
18:47さてこの頭は100人の集団市文山になります
18:51赤い四角のところがこの集団の標本平均値
18:55new 発火になります
18:57犬ハットを中心にばらついているのがわかるかと思います
19:03ここで別の100人の集団にと集団さんを考えてみましょう
19:08mig ハットにみゅアップさんはそれぞれ
19:11最初の集団のミューハット市とは少しずつ違う値を取ります
19:16そして核集団の犬ハットの周りにベータがばらついて核集団全体のばらつきになります
19:24これを観てもらえれば直感的にわかると思いますが
19:28母集団全体のばらつきというのは核集団のばらつきよりも大きくなりますよね
19:34例えば集団市のばらつきだけ考える場合と比べると
19:38母集団全体のばらつきは明らかに大きくなるのが感じられると思います
19:45それはなぜかというと核集団の平均値
19:48つまり new ハットが右に左にばらついていますのでその分だけ
19:54ここの集団のばらつきよりも母集団全体のばらつきの方が大きくなるからです
20:00つまり見ぬハットのばらつきが全体のバラ付を増やしているんですね
20:05母集団全体のばらつき丸さんというのは
20:09格標本のばらつきにビッグハットのばらつき
20:12つまり流ハットの分散を加えたものになります
20:17式にすると母集団の分散=
20:20標本分散+ミグハットの分散となりますね
20:25さてここで標本分散が出てきましたね
20:29これは先ほど説明しましたが
20:32標本の偏差平方案を得ぬで割ったままでしたね
20:36なのであとはミューハットの分散がわかればこの式を解くことができます
20:42さて中心極限定理の動画を観ていただいた方はもうここで気づくと思いますがこの
20:48ビューハットの分散というのはまさに中心極限定理が扱っている分布
20:54そのものでしたね
20:56このミューハットのばらつきから標準誤差と言って推定精度の指標になるものを求める
21:02ことができましたね
21:04そしてそこから95%信頼区間を計算するという話をしたかと思います
21:11その辺のところが気になる方は中心極限定理の動画をご覧下さい
21:17さてここでは中心極限定理に従ってビッグハットの分散は母集団の分散を得ぬで割った
21:25もので与えられるということを確認しましょうこれを利用して先ほどの式を変形すると
21:33母集団の分散=標本分散+
21:36流ハットの分散
21:38そして標本分散は偏差平方案を得ぬで割ったものであり
21:43new ハットの分散は母集団の分散を得ぬで割ったものになりますね
21:49母集団の分散が右辺と左辺に両方出てきているのでまとめてしまいましょう
21:56するとこのようになります
21:59こうなってくるとだんだんわかってきましたね
22:03左辺の母集団の係数を1にするために両辺に n -1分の n をかけるとこのよう
22:10になります
22:13母集団の分散を推定したければ教本の偏差平方和を得ぬではなくて
22:18n -1で割るのが正しいということがこれでお分かりいただけたかと思います
22:26先ほどのスライドで不偏分散という単語が出てきましたね
22:30この普遍というのは偏りがないという意味ですがこれは母集団の分散から偏りのない
22:38推定値が算出できるという意味になります
22:42逆に言うと偏差平方和を得ぬで破った
22:45標本分散というのは必ず母集団の分散よりも低いほうに偏った値になります
22:52皆さん理解していただけたでしょうか
22:55繰り返しになりますが偏差平方和を得ぬではなく
22:59n -1で割るのは母集団の動産を偏りなく推定するための工夫の結果であります
23:07これをに関していただけるとなぜ n ではなくて
23:10n -1ではあるんだろうというモヤモヤしたことがすっきりと理解できてもっと標準
23:16偏差を好きになってくれるんじゃないかと思います
23:20さて平均値と標準偏差の計算できたのであとはその特徴をお伝えしていきたいとおもい
23:27ます
23:28正規分布というのは平均値を中心にして左右対称の釣り鐘状の形になります
23:35そして平均値プラスマイナス1かける標準偏差の範囲にすべてのデータのうち
23:4268.3%のデータが入ります
23:45そして平均値プラスマイナスにかける標準偏差の範囲に95.4%のデータが入ること
23:53になります
23:54ぴったり95%のデータが入る区間のことを描画は5%10%と言って平均値プラス
24:01マイナス
24:021.96かける標準偏差の範囲になります
24:07身近なものでよく出てくるのは偏差値になります
24:11偏差値というのは平均値を偏差値50としていて
24:151標準偏差増えるごとにプラス x するという算出方法になっております
24:21平均値プラスマイナス1かける標準偏差
24:24つまり偏差値40から60の間に約70%の受験生が入りますし併殺30から70の間
24:33にほとんどすべての受験生が入ることになります
24:37これは皆さんの実体験から納得できるものだと思います
24:42このように自分の日常で使ったことのある指標に置き換えて考えてみるとより理解が
24:48進むかと思います
24:51さて話を元に戻しますと100人の平均値から
24:55イストグラムを書きそして平均値と標準偏差を算出することができましたね
25:03ここで大事なのはこの平均値や標準偏差から
25:07ヒストグラムにどのぐらい戻れるかということでしたね
25:12平均値が約130のところにあって
25:15そして標準偏差な中のの正規分布を思い浮かべてみましょう
25:20つまり130+-15である
25:24115から145の間に70%のデータが入りそして
25:29130+-30である100から160の間に95%のデータが入るようなそういう
25:37正規分布を思い描いてみましょう
25:41その正規分布はこのようになります
25:44皆さん思い描けたでしょうか
25:47平均値や標準偏差から想像される分布あまたのヒストグラムをよく表していますよね
25:54これが平均値や標準偏差でデータがようやくできたということなんですね
26:00データの要約というのは単に平均値や標準偏差を計算することではなくてそれによって
26:07想定される分布と元の分布が似通っているということが前提になっております
26:13これがデータの要約の今質的な部分になります
26:18さてでは正規分布しない場合はどうなるのかという話もよく出てきますのでそちらの話
26:24をいたします
26:26正規分布しない場合は平均値や標準偏差でようやくするのは間違いだと教わった方は
26:33多いと思います
26:34ただ理由を理解しないまま受け入れてしまうと心に引っかかりが残りますのでそこの
26:40ところをもう一度考えてみましょう
26:45さて正規分布せず右にそう引くようなデータを用意しました
26:50このようなデータでも平均値や標準偏差を計算すること自体はできますよね
26:56これらを計算すると平均値は130で標準偏差は35になりました
27:03この時に客三重を中心として+-35のところに約70%のデータが入りプラス-70
27:12のところに95%のデータが会えるようなそういう正規分布を想像してみてください
27:19それはこのような分布になります
27:23つまり平均値や標準偏差から想定される分布というのは元の分布と似ても似つかない
27:29ですよね
27:31これではとてもようやくできたとは言えないですよね
27:35これが右や左に裾を引くような分布で平均値や標準偏差を使ってデータを要約しても
27:42意味がないという本質的な理由になります
27:47ということで生データからデータの可視化をして左右対称で1縫製の分布が得られた
27:53場合に平均値や標準偏差で数値的なようやくができるというお話をしてきました
28:00平均値と標準偏差がわかればある程度
28:04ヒストグラムを頭の中で再現できますし
28:07ヒストグラムから生データにある程度戻ることもできる
28:10という話をいたしました
28:12先ほどの正規分布をしないようなデータの場合には平均値や標準偏差が使えませんので
28:19その場合にどのように要約するかに関してはまた別の講義動画を作成する予定です
28:25[音楽]
28:27今日の解説動画は平均値や標準偏差を深く理解してこの二つを好きになろうという
28:34コンセプトでやってまいりました
28:36なぜ n -1ではあるのかという細かい部分もしっかりと理解することや数値的に
28:42ようやくを行う本質的な意味合いについて皆様と一緒に考えてきました
28:48わかっていただけたなら嬉しいです
28:51今日のところはここまでになりますので皆さんここまでご覧頂きありがとうございます
28:58では今日はこのへんねまた次の講義動画でお会いしましょう
29:03さようなら
29:05うp
29:08ああああああ
29:11ああああああ
29:14ええええええ
5.0 / 5 (0 votes)
