１２データサイエンス
Summary
TLDRこのビデオスクリプトはデータサイエンスの基礎について解説しています。ビッグデータや人工知能と密接に関連し、統計学を駆使してデータの意味を理解し、意思決定を行うための武器として活用する重要性を説きます。データの種類、その関係性、統計学的手法を通じて新たな知見を導き出し、データサイエンスの目的と定性的・定量的なデータの取り扱いについて学ぶことができます。ヒストグラムや標準偏差、中心極限定理などの統計学の概念を通じてデータの分布や信頼性を評価し、仮説検定を行う方法も紹介されています。
Takeaways
- 📚 データサイエンスは、ビッグデータや人工知能と関連があり、統計学を駆使してデータを分析し、意味のある情報を引き出す学問です。
- 🔍 データは事実や情報を意味のある形で表現したもので、定性的・定量的な値の集合体を指します。
- 🌐 データサイエンスは広範な分野に関わっており、データから隠れた知見や価値を明らかにし、問題解決に役立つ技術を指します。
- 📝 データサイエンスの目的は、データ間の比較、要約、分類、予測など、多岐にわたります。
- 📈 統計学はデータサイエンスで重要な役割を果たし、データの分析や推測に使われます。
- 🔢 データは定性的（クオリタティブ）と定量的（クオンティタティブ）に分けられ、それぞれのデータタイプには異なる分析方法があります。
- 📊 定性的データはカテゴリーデータとして扱われ、定量的データは感覚尺度や比例尺度に分けられます。
- 📉 統計学の手法は、データの性質を調べたり、将来の結果を推測するための手段として用いられます。
- 📚 データサイエンスは、データの分析と推測を通じて、客観的評価を提供する学問です。
- 📋 統計的推定や仮説検定は、データサイエンスにおいて重要な手法で、仮説の成り立ちを検証することができます。
- 📝 データサイエンスは、データ分析のスキルを駆使して、論理的に議論し、強いエビデンスを得る能力を身につけることを目指します。
Q & A
データサイエンスのテーマについて何を学びたいと思いますか？
-データサイエンスについて学ぶことで、ビッグデータや人工知能と関連する統計学を使いこなし、データに意味があるかどうかを理解し、意思決定の武器として統計学を身につけることを目指します。
データサイエンスにおける「データ」とは何を指しますか？
-データとは、英語のデータムの複数形で、分析や意思決定に用いる際に個々の事実、情報、基礎資料といった意味合いで使われる用語であり、厳密には人や事物に関する定性的、定量的な値の集合体を指します。
データサイエンスにおける「エビデンス」とは何を指していますか？
-エビデンスは、ラテン語の外部に見えているものという意味から、証拠となったと言われ、意見を述べる時に個人の感想や不確かな推測ではなく、客観的事実を指しています。
データサイエンスで使用する統計学的手法にはどのようなものがありますか？
-データサイエンスで使用する統計学的手法には、データ間の差を統計的に比較し優位性を明確にする手法、複数のデータを要約し原因を明らかにする手法、データを類似した要素ごとに分類整理し構成する原因を探る手法、そして得られた知見から今後の展開を予測する手法などがあります。
定性的データと定量的データの違いは何ですか？
-定性的データとは、物事の様子や変化を数字では表せない性質に重点を置いたデータで、質的変数と呼ばれ、カテゴリーデータとも呼ばれます。一方、定量的データとは、物事の様子や変化を数字に直して分析するデータで、量的変数と呼ばれます。
統計学で扱う「名義尺度」と「順序尺度」の違いは何ですか？
-名義尺度はカテゴリーを表す数値でない変数で、与えられた位置や番号に数的な意味が無いことを指します。順序尺度は順序が与えられている変数に対して、数字の大小が順序に意味を持ちますが、数字の感覚には意味が無いことを指します。
「感覚尺度」と「比例尺度」の違いは何ですか？
-感覚尺度では数値の間に意味があり、例えば温度の差を表す際に用いられます。一方、比例尺度では変数自体に物理的な意味があり、ゼロが定義されており、数値自体に意味が出るため、身長や体重のように比較や比率にも意味があります。
データサイエンスにおいて、ヒストグラムの重要性は何ですか？
-ヒストグラムはデータをいくつかの階級に分け、それぞれの階級に入るデータ数を示した分布表を作成することで、データの分布や特徴を視覚化する重要な手段です。
統計学的推定と仮説検定の違いは何ですか？
-統計的推定は、標本から母集団に関する性質や各種統計量を推測することを指し、点推定や区間推定があります。一方、統計的仮説検定は、母集団に関する仮説が成り立つかどうかを判断するための手法であり、標本データを用いて仮説の妥当性を検証します。
中心極限定理とは何ですか？
-中心極限定理は、母集団から無作為に標本を抽出する場合、標本平均の分布がサンプル数が増えるにつれて平均値と標準偏差で表される正規分布に近づくという統計学的定理です。
データサイエンスにおいて、データの質を評価する上で重要な統計量は何ですか？
-データの質を評価する上で重要な統計量には、標本の平均（Xバー）、標本の分散（S²）、標本の標準偏差（S）などがあります。これらの統計量は、データのばらつきや集まり具合を理解する上で役立ちます。
Outlines
📊 データサイエンスの基礎と目標
この段落では、データサイエンスのテーマが紹介され、ビッグデータや人工知能と密接な関係があることが説明されています。統計学を駆使してデータの意味を理解し、意思決定の武器として活用することが目的となっており、データサイエンスにおけるデータの種類や統計学の関係性、データから得られる知見の取り扱い方について学ぶことが提案されています。データの定義やデータサイエンスの分野の広さ、データ分析の学問としての捉え方、そしてピーター・ナウアによるデータサイエンスの定義が触れられています。
🔍 データの種類と分析
段落2では、データの定性的と定量的なものに分類され、それぞれの性質と分析方法が説明されています。定性的データは数字で表せない性質を捉え、定量的データは数字に直して分析されることが特徴です。質的変数と量的変数の概念が紹介され、それぞれの変数が持つ尺度についても解説されています。また、データサイエンスが取り組む目的として、データ間の比較、要約、分類、予測が可能であることが強調されています。
📚 統計学の手法とデータの性質
第3段落では、統計学的手法がデータサイエンスにどのように役立つかが探求されており、データの性質を理解するための重要なポイントが挙げられています。統計学は膨大なデータを理解しやすくするためのツールであり、データの集まりから母集団の性質を推測する手段とされています。標本と母集団の関係性、標本の性質、標準偏差、中心極限定理など、統計学の基礎用語と概念が解説され、データサイエンスにおけるその意義が強調されています。
📉 データの分布と統計量
この段落では、データの分布とそれに伴う統計量の基礎について学びます。標本の平均、分散、標準偏差などの基本的な統計概念が紹介され、データのばらつきを示す方法が説明されています。ヒストグラムの作成方法や、データが正規分布に従っているかどうかの判断基準も触れられ、データの外観からその特性を読み取る重要性が強調されています。
🔎 統計的推定と仮説検定
最後の段落では、統計的推定と仮説検定の概念が解説されています。点推定と区間推定の違いが説明され、仮説検定のプロセスがステップバイステップで紹介されています。優位水準の設定や仮説が成り立つかどうかの判断方法が学ばれ、統計学を用いた論理的な議論の重要性が強調されています。また、このプロセスを理解することの重要性と、不合格のリスクについても触れられています。
Mindmap
Keywords
💡データサイエンス
💡統計学
💡データ
💡定性的データ
💡定量的データ
💡標本
💡母集団
💡標準偏差
💡正規分布
💡ヒストグラム
Highlights
データサイエンスはビッグデータや人工知能と密接に関連しており、統計学を駆使してデータを分析し、意味のある情報を得るための学問である。
統計学を身につけることで、データサイエンスを活用して意思決定を行うことができる。
データとは事実や情報を意味する英語のデータムの複数形であり、分析や意思決定に用いる。
データサイエンスは広範な分野にわたるため、捉えどころのない分野のように見えるが、データの分析とその手法を学ぶことが重要である。
データサイエンスの分野では、データに基づいた客観的な評価をエビデンスと呼び、これは論理的な議論の基盤となる。
統計学的手法を用いてデータを分析することで、データ間の差を比較したり、要因を明らかにすることができる。
データサイエンスは定性的データと定量的データを区別し、それぞれのデータの性質を理解することが重要である。
定性的データは数字で表せない性質に重点を置いた分析であり、定量的データは数字に直して分析する。
統計学では、データの分布やばらつきを理解するために標本平均や標準偏差などの統計量を用いる。
中心極限定理により、標本平均の分布はサンプル数が大きくなるにつれて正規分布に近づく。
ヒストグラムを作成することで、データの分布や特徴を視覚的に理解することができる。
統計的推定や仮説検定は、標本データを用いて母集団に関する性質を推測または検証する手法である。
データサイエンスは膨大なデータを理解しやすく、役立つ情報を引き出すための学問である。
統計学の手法は、データに役割や命を与えるための重要なツールである。
データサイエンスを理解することで、データから得られる知見を活用し、問題解決に役立てることができる。
データサイエンスの分野では、データの性質に応じて適切な統計的手法を選択することが求められる。
データサイエンスは、データの分析と解釈を通じて新たな知見を生み出し、ビジネスや社会に貢献する分野である。
Transcripts
00:02今回のテーマはデータサイエンスについて
00:05考えていきたいと思います先に説明しまし
00:09たビッグデータや人工知能とも非常に関連
00:13する内容になっています
00:15統計学を使いこなし
00:17求めたデータに意味があるのかないのかに
00:20ついて
00:21理解する必要があると思いますその上で
00:25意思決定の武器として
00:27統計学を身につけていきたいと思います
00:30ここではデータサイエンスについて学ぼう
00:33と思いますそもそもデータとは何なのかに
00:37ついて考えてみたいと思いますそして
00:40データにはどのような種類があるのかに
00:43ついて理解します
00:46統計学を用いてデータ同士の関係性につい
00:49ても考えてみたいと思いますここでは
00:52データの本質を理解しデータから導き出さ
00:56れた新たな知見をどのように取り扱って
00:59いくのかについて理解したいと思います
01:02よろしいでしょうか
01:04頑張ってついてきてください
01:07データとは英語のデータムの複数形であり
01:10分析や意思決定に用いる際に個々の事実
01:14情報
01:15基礎資料といった意味合いで使われる用語
01:18でしょうかより厳密には人や事物に関する
01:22定性的
01:23及び
01:24定量的な
01:25値の集合体を指しています現在では先に出
01:29てきた情報インフォメーションと同じ物質
01:33名詞と考える
01:34傾向が強いでしょうかJISの情報
01:37処理用語によると情報の表現であって
01:41伝達
01:42解釈または処理に適するように形式化され
01:45再度情報として解釈できるものとあります
01:49つまりは
01:51独立した情報となっていてその後の処理に
01:54適するように形式化されたものという
01:56ところでしょうか
01:59ではこのデータを取り扱う学問データ
02:03サイエンスについて見てみましょうデータ
02:06サイエンスという分野は非常に広い分野が
02:09関係しているためそれ自体
02:12捉えどころがない言葉のように見える
02:13でしょうか一般にはデータの分析について
02:17の学問分野としてよいでしょうかただその
02:21ための手法が多岐にわたっていることが
02:24難しいと言えます
02:27複数の研究分野の知識をもとに得られた
02:30様々なデータに潜む知見や価値を明らかに
02:35し
02:36課題の解決に役立てる技術を指します
02:39平たく言うとデータの中に埋もれた事実
02:42意味のある情報や法則関連性といったもの
02:46を掘り起こし
02:48活用することを言うようでしょうかこの
02:51データサイエンスという言葉はデンマーク
02:54のコンピュータ学者である
02:56ピーターナウアが
02:581974年の論文で用いています
03:02よくデータに基づいて
03:05議論するようになどと言われることが多い
03:07だろうかこれはエビデンスが求められて
03:10いるわけですね
03:12エビデンスは最近よく使われる言葉ですが
03:15そもそも何を指すのでしょうか語源は
03:19ラテン語の外部に見えているものという
03:23意味から
03:24証拠となったと言われますおおむね
03:28意見を述べる時に個人の感想や不確かな
03:31憶測ではないことを示す裏付けとなる客観
03:35的事実を指していますデータ
03:38サイエンスの場合データに基づいた客観的
03:41評価を指すわけです
03:44意見を述べるにおいてもデータを指し示す
03:46と客観性があって私的意見ではないことを
03:50指しているわけですね
03:52幾分
03:53ニュアンスは
03:54業界によって異なりますが
03:57IT関連ではその時の状況が再現できる
04:00わけではないので現象などをキャプチャー
04:03したものを指すでしょうかまた
04:06医療関連では
04:07過去の治療効果を示したデータを指すよう
04:10ですねまた一般ビジネスの世界では物的
04:15証拠以外には指示書などもこれに含まれる
04:18ようでしょうか自身の行動を行う上での
04:21明確な証拠を示すことが自身を守ることに
04:25つながるといった意味合いで使われてい
04:27ますかね
04:29データサイエンスで使える道具としては
04:31データに対しては
04:34統計学的手法を用いることができます
04:37数的にエビデンスを示すことができるわけ
04:40ですね
04:41細かい内容は省きますがデータサイエンス
04:44により
04:45概ね次の4つの目的を明らかにできる
04:48でしょうか例えば
04:51複数あるデータ間の差を
04:53統計学的に比較しその優位性を明確にでき
04:56ますまた
04:59複数のデータを要約し
05:01原因となる要素を明らかにすることが
05:03できるでしょうかさらにはデータを
05:07類似した要素ごとに分類整理し構成する
05:11原因を探ることもできます
05:13そして得られた知見から今後の展開を予測
05:17することが可能となるでしょうかこういっ
05:20た目的を解決するためにデータサイエンス
05:23という学問が研究されてきています
05:27データには大きく分けて
05:30定性的なものと
05:31定量的なものがあります
05:33順に見ていきましょうまず定性的ですが
05:36英語ではクオリタティブといい物事の様子
05:40または変化などを数字では表せない性質の
05:45部分に着目して分析する様およびそれから
05:49得られたデータを意味します一方
05:53定量的ですが英語ではクオンティタティブ
05:55といい物事の様子または変化などを数字に
05:59直して分析する様およびそれから得られた
06:02データを意味します
06:06定性的に取り扱う際にその時の変数
06:09すなわちパラメータを質的変数と言います
06:13言い換えると
06:15質的変数とは数値や量で測ることのでき
06:18ない変数を指しカテゴリー変数カテゴリー
06:21データとも呼ばれるものです
06:23代償関係がないかあっても数的なものには
06:27意味がありません
06:30例として性別を変数としたとき次のように
06:34男性に1女性に2を仮につけたとしても得
06:38られたデータ自体はカテゴリー的な分類で
06:41あって数的な
06:43値に意味はありませんよろしいでしょうか
06:46また同じく
06:49血液型とは生物学的に
06:52血液中にある抗体の種類とその有無により
06:55決まるものであって
06:57血液型自体には世間一般で議論されている
07:00ような優位さはありません
07:03さらには個人の感覚に由来する
07:06満足度の場合でも同じで
07:08並んでいる順番には意味がありますが数的
07:11な意味はありません1の大変不満足に対し
07:15て大変満足という語を選んだ場合はより
07:19満足度が大きいという意味はあっても
07:21データ自体の指す5倍といった数的な意味
07:25合いはありませんこのような数的議論が
07:28できないデータに対する変数を
07:31質的変数と呼んでいます
07:34定性的データを取り扱う際変数が持つ性質
07:39尺度には名義尺度と順序尺度があります
07:42性別に出てきた名義尺度とはカテゴリーを
07:46表す数値でない変数に与えられた位置や2
07:49といった名義上の仮の数字であって数的な
07:53大きさに順序もなければ感覚にも意味は
07:56ありませんここの位置や2といったものは
07:59コンピュータが扱いやすい数値を割り振っ
08:02ただけに過ぎません
08:04判別の仕方としては他の数値でない変数に
08:08置き換えることができるかで判断できる
08:10でしょうか一方
08:13順序尺度とは
08:14順序が与えられている変数に対して数字の
08:17大小
08:18順序に意味が生じますがここでは数字の
08:22感覚には意味がないものを指します
08:25またその変数に対して
08:28与えられた尺度を指しています例えば1番
08:32目と2番目との違いと2番目と3番目との
08:36違いすなわち
08:38順位間の差において
08:40均等な差を示しているわけではありません
08:42人の感覚ですので
08:45順番には意味がありますがその感じ方の
08:48強度は線形つまり直線的ではないわけです
08:52かね
08:54定量的に取り扱う際にパラメータを量的
08:57変数と言います
08:59言い換えると
09:00量的変数は数値や量で測ることができる
09:03変数を指し感覚尺度と比例尺度に分けられ
09:07ます先ほどの順序尺度が
09:11並び順を示していたのに対してここでは
09:13物理的な違いを数値に置き換えられている
09:17ことに注意しましょうデータの質としても
09:21ぐっと精度が上がっていることを理解
09:23できるでしょうか
09:25例として年齢や身長といった数的な意味
09:29あるいは尺度がある変数を指しています
09:33定量的に取り扱う際にパラメータを量的
09:36変数と言います
09:38言い換えると
09:39量的変数は数値や量で測ることができる
09:42変数を指しさらに詳しく説明すると感覚
09:47尺度と比例尺度に分けられます
09:50例として年齢や身長といった数的に意味を
09:54持つ場合あるいは尺度があるときにその
09:57変数を指して言います感覚
10:00尺度と比例尺度の違いについて見ていき
10:02ましょう感覚
10:04尺度では数値の間つまりさに意味がある
10:07ときに用いられます例えば
10:10摂氏何度といった
10:12温度の場合には
10:13議論の対象は2つ以上の温度の差を議論
10:16するために使われるものです
10:19例えば
10:20昨日は20度だったが今日は30度で
10:24熱く感じられるといったように使われます
10:27数値自体に意味があるわけではないので
10:30昨日に比べて今日は1.5倍温度が高いと
10:34いう表現は意味をなしませんつまり数値と
10:39しての値自体に意味がないわけです同様に
10:42テストの点数自体も大小は比較できたとし
10:46ても数値としての点数自体に意味はあり
10:49ませんこのようなデータに対して用い
10:53られる尺度を感覚尺度と言います一方変数
10:57自体に物理的な意味がありさらにゼロと
11:00なる原点が定義できる時には数値自体にも
11:04意味が出てきますこのようなデータを表す
11:08尺度のことを
11:09比例尺度と言っています
11:11例えば
11:12身長の場合絶対的長さを元に計測された値
11:16が用いられますからその数値自体に意味が
11:19出てきますまた日本やアメリカなど母集団
11:23が変わったとしてもその値は保証され
11:27比較することができますこのように数値
11:30自体の大小やささらにはその比率について
11:34も意味があるデータに対して用いられるの
11:37が
11:38比例尺度となりますその性質上様々な処理
11:42に耐えることのできるデータの質としては
11:45最も
11:46信頼できるデータと言えるでしょうか
11:49取り扱う変数と
11:52尺度の性質についてまとめてみましたこの
11:55表は現在取り扱っているデータがどのよう
11:58な性質のものかを理解できる上で非常に
12:01大事と言えますつまりはどのようなデータ
12:05を取り扱っているかについて理解できて
12:08いればそのデータを使ってどのようなこと
12:11ができるかすなわちどのようなことが議論
12:14できるかを意味しています
12:17情報化が進む社会の中にあって様々な
12:21データを得ることができるようになってき
12:23ました一方
12:26我々に降り注ぐ膨大な情報は一般にはその
12:29ままでは理解できず時には不要なものも
12:32多いように思えます電光
12:35掲示板に表示される情報もそのようなもの
12:38でしょうか向かうべき方向の情報が必要で
12:42あってそれ以外は不要あるいは妨害となる
12:45ものと言えるでしょうかこれに対して
12:49統計学とは
12:50膨大なデータを人が理解できるより分かり
12:53やすい形に置き換えて生きたものにする
12:56ことと言えるでしょうか
12:58言い換えるなら無機質なデータに役割
13:02あるいは命を与えるための手法が
13:05統計学と言えるでしょうか
13:08統計学的手法とは対象である
13:11母集団からデータを集める方法や集めた
13:14データを解析する手法のことを言います
13:17言い換えると
13:19統計学的手法とはあるデータの集合体に
13:22対してその性質を調べたり得られたデータ
13:26から大元となるデータやこれから起こる
13:29だろう未来の結果を推測するための手段と
13:32言えますまとめてみますと
13:35統計学を用いることにより得られたデータ
13:38の性質を求めることができますさらに
13:42観察されたデータの
13:43元となる集合体
13:45母集団と言いますこの母集団の性質を予測
13:48することができます
13:51データを測定するということはデータの
13:54集まりである
13:55母集団から
13:57標本を抽出する作業と言えます
14:00ちなみにここでいう母集団とは世界中の
14:0320歳の男性についての調査のように総数
14:07すらわからないデータの集まりを意味して
14:10います全てのデータについて調査ができ
14:13ないためその一部を抽出し全体の集団を
14:17予測する必要が生じてきますこの
14:21抽出によって作為的つまり意図的でなかっ
14:24た時には
14:25抽出されたデータの塊ここでは標本として
14:28おきますこの
14:30標本の持つ性質は
14:32元の母集団の性質を引き継ぐことになり
14:35ます
14:36標本の性質つまり
14:39統計的基礎データを見ることで
14:41元の集団の統計的データを類推できると
14:44いうのがデータサイエンスの本質となり
14:46ます
14:48ここでは
14:50標本のデータについて説明していきます
14:52この
14:54標本のというように何についての統計量な
14:57のかが大事となってきます対象が違うと
15:01計算式も変わってきますので
15:03常に何についての議論かを意識しましょう
15:06かさて
15:09標本の平均はここでは
15:11Xバーと書きます取り出すとき
15:14偶然によってばらついている状態を正規
15:18分布あるいはガウス分布と呼びます
15:21恣意的なものが混じってくるとこの形が
15:24崩れてきますこの後出てくる
15:27統計量だけでなくデータの形を見ることも
15:30大事と言えるでしょうか
15:33標本のデータ数が多いほどまた偶然にも
15:36短配されるとすると
15:38綺麗な大勝軒の釣鐘型となります
15:41後に詳しく説明しますがデータのばらつき
15:45具合を示す
15:46ピークに対する広がりの幅Sのことを
15:49標本の標準偏差と呼んでいます
15:52プラスマイナス1標本
15:54標準偏差の中に全データの68%が入って
15:58いますいわゆるデータとしては普通の範囲
16:02と言えるところですこの範囲で大小を議論
16:06しても意味がないと言えますさらに
16:10プラスマイナスに標本
16:12標準偏差の範囲には全データの95%が
16:15入っています通常はこの範囲を同じ
16:19グループとして考えますこれより外の部分
16:23は5%
16:24程度しかないので
16:26範囲外の部分を
16:27滅多に起こらない範囲として取り扱います
16:30ここから外の部分は別のグループと考える
16:34わけですさらに3票本
16:38標準偏差を超えると全体の1%を割るので
16:41まずありえない範囲として考えますここ
16:45から外の部分は別の集団の範囲として
16:49考えるわけですよろしいでしょうか
16:53ここで中心極限定理という
16:56重要な定理について説明しておきます
16:59先ほど見てきた
17:01母集団から無作為に標本を抽出するときに
17:04得られる標本平均の分布は
17:07抽出数nが大きくなるに従って
17:11平均値と標準偏差で表される正規分布に
17:14近づくという考え方がありますこれは
17:17サンプル数が小さい時には
17:20母集団の偏りの影響を受けますが
17:23十分にNが大きいと
17:25母集団は正規分布に置き換えることが
17:28できることを示しています
17:31統計学ではNの数が30以上であれば
17:33おおむね母集団は正規分布していると考え
17:37て良いとしています
17:39逆に言えば5回や6回のデータ測定では
17:43十分なことは言えないことを示しています
17:46よろしいでしょうか
17:49では
17:50統計学的手法によりどのような情報を得る
17:53ことができるでしょうか
17:56順に見ていきましょうまず標本により得
17:59られたデータの総数Nを求めますこの数
18:03サンプル数が多いほどデータの信頼性が
18:06上がることはなんとなくわかるでしょうか
18:09そして次に
18:12合計を求めておきます
18:14標本の平均は変数Xを使って
18:18平均を意味するXバーと記載しますデータ
18:21にとってこの平均も大事ですよねまた
18:26標本データのおおよその形を理解するため
18:28に最大値や最小値そしてデータの大まかな
18:33大きさがわかるといいでしょうか
18:36例のデータで見ていきますと
18:38標本数nは5
18:40合計は65
18:42平均は13さらにデータの最大値は20
18:46最小値は2レンジは
18:49最大値引くことの最小値で18となります
18:52よろしいでしょうか自分で検算しておいて
18:56ください
18:58そして
18:59平均値からどれぐらい
19:01標本データがばらついているかを知るため
19:03の標本分散部位を求めておきます
19:07統計学ではいろいろな分散が出てきますの
19:09でここでは
19:11標本の分散であるという意味で
19:14標本分散部位あるいはS2乗としておき
19:17ますこの値が小さいと
19:21概ね平均値にまとまった標本データである
19:23ことを示しこの値が大きいと
19:27平均を中心にばらついた標本データである
19:30ことがわかります表
19:32計算ソフトでは
19:34varpやストデプ関数を用いてそれぞれ
19:37の値を求めます
19:39例のデータを用いて計算すると
19:42標本分散部位は36となり
19:45標本標準偏差は6となっています
19:49試しに研鑽してみてください
19:52どのようなデータなのかを理解する上で
19:54ヒストグラムを得ることは重要と言えます
19:58ヒストグラムとはデータをいくつかの階級
20:02段階のデータに分けその階級に入るデータ
20:05数つまり
20:07度数を示した分布表を作成することです
20:10横軸にデータの階級
20:14範囲を
20:14縦軸に階級に含まれるデータの総数をとり
20:18グラフに表記していきます高さは
20:21階級の平均値になるので
20:24階級幅は同じ幅にすると分布の傾向が捉え
20:28やすいと言えるでしょうかこのグラフが
20:31釣鐘型になるほど
20:33統計学ではデータが綺麗であると言います
20:36よろしいでしょうか
20:39得られたヒストグラムを眺めることでどの
20:42ような特徴を持っているかがわかります
20:45順に見ていきましょう
20:47ヒストグラムの図形が左右対称で山が一つ
20:51見られる場合は正規分布に従っていると
20:54考えられ得られたデータの信頼性は高いと
20:57言えますそれ以外の場合山が2つある場合
21:01では2つの集団が混じって存在している
21:04ことを示唆しています左右
21:07非対称などデータの分布が綺麗でない場合
21:10にはデータの集計における
21:13条件や評価方法自体を見直した方がいい
21:16ことを示しています
21:18人の第一印象と同じく見た目も
21:22統計学的には大事と言えるわけですね
21:25統計的推定あるいは単に
21:28推定とは
21:29標本を用いて
21:31母集団に関する性質
21:33各種統計量を推測することを指します
21:37推定には点推定と区間推定があります点
21:41推定では
21:42推定するのは一つの値であり区間推定では
21:46ある区間つまり幅を持って
21:49母集団の値を推定することができます
21:52統計的
21:53仮説検定あるいは単に
21:56検定とは
21:57母集団に関するある仮説が
22:00統計学的に
22:01成り立つか否かを示すことです
22:04具体的には
22:05標本のデータを用いて次のように順に実施
22:08することで建てた仮説が成り立つかどうか
22:11を判断できるこのような手法を検定と呼ん
22:14でいますまず
22:17母集団に対してある仮説を設定します次に
22:22検定結果にどこまで間違いを認めるかと
22:24いう指標となる優位水準を設定します通常
22:28は5%であったりシビアな場合は1%を
22:33設定します次に
22:36標本のデータに対して
22:37検証します最終的に建てた仮説が成り立つ
22:41のか成り立たないかという結論を導くこと
22:44になります
22:45細かいところはデータサイエンスの授業と
22:48しますが
22:50母集団に立てた仮説が
22:52成り立つかどうかを
22:53標本データを用いて調べることができると
22:55いうことですよろしいでしょうか
22:59仮に
23:00検定により
23:01仮説が成り立つとなれば強いエビデンスが
23:04得られたわけですねこのように
23:07統計学を用いることで
23:09論理的に
23:10議論ができるわけですねこのようにデータ
23:13から何が言えるのかを議論するのがデータ
23:16サイエンスと言えるわけです
23:18議論の上で非常に強い武器となるので
23:21うまく扱えるようになるといいでしょうか
23:25本授業の内容が理解できているか確認
23:28いたします
23:30授業後でも構いません本日中23時59分
23:34までに実施してください時間を超えると
23:38システムが受け付けなくなりますのでご
23:41注意ください不
23:43合格な場合でも残り2回チャンスがあり
23:46ますので
23:47合格できるように動画をよく見直して回答
23:50を行ってください
23:52不合格のまま放置しますと本事業は
23:56欠席となりますのでご注意ください
5.0 / 5 (0 votes)
