2kai
Summary
TLDRこのスクリプトでは、脳と学習の関係性が中心で議論されています。教師あり学習と教師なし学習、さらには教科学習という概念が紹介され、それぞれが脳の異なる部位で行われることが指摘されています。特に教師なし学習において、大脳質における自己組織化過程が注目されています。また、小脳における教師あり学習と内部モデルの学習、大脳規定核での教科学習のメカニズムが詳細に解説されています。最適化に基づく運動モデルの研究も触れられ、学習と最適化の関連性が議論されています。
Takeaways
- 🧠 学習には教師なし学習と教師あり学習の2つのタイプが存在し、それぞれが脳の異なる部位で行われている。
- 🌐 教師なし学習は正解値がなく、自己組織化された学習則に基づいて行われることが示唆されている。
- 🤖 大脳質では自己組織化された学習が行われ、コラム構造が形成されることが示されている。
- 🧪 教師あり学習は小脳で行われ、内部モデルを学習することで運動の正確性や滑らかさを向上させる。
- 🏀 小脳の内部モデル説は、運動の制御に重要な役割を果たしているとされ、フィードバック誤差学習仮説が提案されている。
- 🎯 教科学習は大脳規定核で行われ、運動の選択や順序、報酬に基づく学習に関与している。
- 🤹♂️ 教科学習は強化学習の一形態で、報酬の予測に基づいて行動を選択する。
- 🔍 TD学習は報酬の予測誤差を利用して行動則や価値関数を学習する手法であり、教科学習の基礎とされる。
- 🤖 深層学習と教科学習の組み合わせは、アルファ5のように強力な学習モデルを生み出す。
- 🔄 最適化は学習と同様に、問題解決において重要な役割を果たし、運動の生成や制御に応用されている。
Q & A
学習方法にはどのような種類がありますか？
-学習方法には教師なし学習、教師あり学習、および教科学習の3つがあります。
教師なし学習とはどのような学習方式ですか？
-教師なし学習とは、正解値が存在しない状況での学習方式で、自己組織化された学習則に基づいて学習を進めます。
自己組織化とは何を指すのですか？
-自己組織化とは、特定のルールに基づいてシステムが自己内部で秩序を形成することを指します。例えば、大脳質におけるコラム構造の形成がそれです。
コラム構造とは何ですか？
-コラム構造とは、フューエルとウィーゼルが発見した、視野野の特定の領域に対応する神経細胞の集まりです。
教師あり学習と教師なし学習の違いは何ですか？
-教師あり学習は正解値に基づいて学習を進めることが特徴で、一般的な学習イメージに即しているのに対し、教師なし学習は正解値がなく自己組織化されたルールで学習を進めます。
小脳の学習はどのような種類の学習に関係していますか？
-小脳の学習は教師あり学習に関係しており、内部モデルを学習することで運動の正確性や滑らかさを向上させます。
フィードバック誤差学習仮説とは何ですか？
-フィードバック誤差学習仮説とは、小脳が運動の内部モデルを通じて運動の正確性を制御し、フィードバックされた誤差を利用して学習を進める理論です。
教科学習とはどのような学習方式ですか？
-教科学習は行動と報酬に基づいた学習方式で、行動の結果として得られる報酬を最大化することを目的として学習を進めます。
強化学習とはどのような学習方式ですか？
-強化学習は、報酬信号に基づいて行動を学習する方式で、将来の報酬を予測し、報酬の合計を最大化する行動を選択する学習プロセスです。
TD学習とは何ですか？
-TD学習は、Temporal Difference学習の略で、報酬信号と価値関数の差分を通じて学習を進める強化学習の一种です。
最適化とはどのような概念ですか？
-最適化とは、ある問題に対する多数の解の中から最も良い解を選択するプロセスで、目的関数を最大化または最小化することによって行われます。
Outlines
🧠 学習方法の種類と脳の学習
第1段落では、学習方法の多様性と、脳内で行われる様々な学習について説明しています。教師あり学習と教師なし学習に分類される一般的なタイプに加えて、教科学習が存在する旨が触れられています。さらに、脳の異なる部位で行われる学習についても言及され、大脳質や小脳など異なる学習機構が存在する可能性が示唆されています。
🌐 教師なし学習と自己組織化
第2段落では、教師なし学習の概念とその特徴について解説しています。教師なし学習とは、正解値が存在しない学習プロセスであり、大脳質で自己組織化が起こる可能性があるとされています。自己組織化の学習則として、神経細胞間のシナプス結合の更新方法が紹介され、不足学習則がその一例として説明されています。
🛤️ 獣道の比喻と自己組織化
第3段落では、獣道の比喻を用いて自己組織化の学習則を説明しています。獣が通ることで道が太くなる様子を例に、信号がよく通る場所が強化される様子を説明。また、自己組織化をコントロールするための規則が提案され、コラム構造の形成過程についても触れられています。
🏋️♂️ 小脳と内部モデルの学習
第4段落では、小脳の学習機能と内部モデルの概念について解説しています。小脳は運動の正確性や滑らかさを提供する役割があり、内部モデルを学習することで達成します。小脳内部モデル説の歴史や、フィードバック誤差学習仮説などの学習方法が紹介されています。
🎯 フィードバック誤差学習仮説の研究
第5段落では、フィードバック誤差学習仮説に関する研究を紹介しています。小脳における学習過程が、身体の内部モデルの獲得に寄与するとされる仮説について、生理学的根拠が示されています。また、研究者の個人的な経験も交えられ、小脳の学習に関する日本の研究の役割が強調されています。
🤖 教師あり学習と小脳の役割
第6段落では、教師あり学習と小脳の役割について説明しています。小脳は運動の正確性や滑らかさを提供するだけでなく、運動の内部モデルを学習することで、運動の精度を高めるとされています。さらに、小脳による運動の制御モデルがどのように機能するかについても言及されています。
🧐 大脳規定核と教科学習
第7段落では、大脳規定核と教科学習の関係について解説しています。大脳規定核では運動の選択や順序、より複雑な運動の組み立てに関与し、教科学習によって学習される可能性があるとされています。行動と報酬に基づいた学習プロセスが紹介され、強化学習の概念が説明されています。
🤹♂️ 教科学習の多様性
第8段落では、教科学習の多様性について触れています。教科学習は、報酬に基づく学習プロセスであり、TD学習や旧学習などの様々な方法が存在します。これらの方法は、報酬の予測や行動の選択に寄与するとされています。
🎲 教科学習とアルファ5
第9段落では、教科学習が実践された例としてアルファ5について紹介しています。アルファ5は深層学習と教科学習を組み合わせた人工知能であり、その学習過程で非常に強力な学習能力を示しました。
🧬 大脳規定核の学習メカニズム
第10段落では、大脳規定核の学習メカニズムについて解説しています。報酬予測とドーパミン細胞の活動との関係が実験的に示されており、教科学習が大脳規定核で行われている可能性があるとされています。
Mindmap
Keywords
💡学習
💡教師なし学習
💡自己組織化
💡コラム構造
💡教師あり学習
💡内部モデル
💡フィードバック誤差学習
💡教科学習
💡報酬予測
💡TD学習
Highlights
学習方法は教師なし学習と教師あり学習に分類されることが多くで、さらに教科学習も存在することが示唆されています。
脳の中で異なる部位で異なるタイプの学習が行われることが指摘されています。
自己組織化は教師なし学習の一種であり、大脳質で存在している可能性が示されています。
コラム構造はフューエルとウィーゼルによって発見され、自己組織化によって形成されることが研究されています。
教師あり学習は小脳で行われ、内部モデルを学習することが提唱されています。
フィードバック誤差学習仮説は小脳の内部モデル学習方法の一つであり、身体の内部モデルが学習によって獲得されるとされています。
教科学習は行動と報酬に基づいた学習で、報酬を最大化する行動を選択するプロセスが研究されています。
強化学習は報酬を予測し、将来にわたる報酬の積算値を最大化する学習プロセスです。
TD学習は報酬予測の誤差を利用した学習方法で、価値関数や行動の価値関数を学習することができます。
アルファ5は深層学習と強化学習を組み合わせた学習システムであり、非常に強力な学習能力を有しています。
大脳規定核は教科学習で学習されるとされ、運動の選択や順序の学習に関与することが示唆されています。
最適化に基づく運動生成モデルは、運動の質を評価する目的関数を設定し、最適な運動を選択するプロセスです。
滑らか光速に基づく計算モデルは、人間やロボットの運動を再現する際に利用されることがあります。
研究は教師あり学習、教師なし学習、教科学習が脳の異なる部位で行われている可能性について探求しています。
学習と最適化は、計算論的神経価格の分野で重要な位置を占めており、多様な研究が行われています。
本講義では学習の基礎と最適化に関する様々な手法について解説し、これらのプロセスを理解するための知識を提供します。
Transcripts
00:01と今回は脳と学習についてお話をし
00:06ますでま学習って一口に言ってばねま
00:09いろんなタイプの学習方法があってえ一般
00:12的にはですね教師なし学習と教師あり学習
00:17に分類されることが多いですまこれらと
00:20区別してま教科学習なんていうのもえここ
00:23に分類されることもあり
00:27ますでまこれらのねえ学習方法っていう
00:31ものが実は脳の中でえまあのいろんな部位
00:34でね異なった学習がなされているというな
00:38ことがま色々指摘されています例えばま
00:40大脳質とか小脳とか大脳規定格とかねま
00:44そういったところでまあの色々異なった
00:46学習方法がえ存在するんじゃないかという
00:50ことが指摘されてい
00:54ますでえっと教師なし学習について説明を
00:58しますただま師なし学習っていうのは
01:01ちょっとやっぱりなんか奇妙ですよね普通
01:03はなんか教師つまり正解位置があってで
01:06その正解値に近づくように学習をすると
01:10いうのがま一般的な学習に対するイメージ
01:13ですよねだけども教師なし学習っていうの
01:16はその教師つまり正解値がない学習という
01:19ことですからうんなんだろうっていう感じ
01:22だと思うんですけどもだけどもまその何ら
01:25かの学習則ということをま定義して学習し
01:28てあげればま正解値がなくても学習できる
01:32ということがあり
01:36ますでそのねえっと教師なし学習っていう
01:39ものが実はま大脳質で存在してるんでは
01:43ないかということがま指摘されていますで
01:46まその1つが自己組織家なんですけどもま
01:49自己組織家っていうのは先ほども言いまし
01:52たけども教師なし学習の一種ですでまこの
01:57自己組織化によって大の質の資格やの
02:01コラム構造が形成されてるんではないかと
02:04いうことがま指摘されてるわけですねでま
02:07このコラム構造っていうのは第1回目で
02:10説明したようにまフューエルとウィーゼル
02:13が発見したま猫の資格屋でね発見した
02:16コラム構造ということになりますでこの
02:19コラム構造が
02:21え教師信号つまり正解値がなくてもこう
02:25いったコラム構造がえ自己組織化的にえ
02:29形成されということが分かってい
02:35ますはいえっとそれではですねえ自己組織
02:38化行うための学習則として不足について
02:42説明をしますで不足っていうのはですね
02:45このI番目の神経
02:49細胞を丸IとでJ番目の神経細胞を丸Jと
02:54いう風に書いてI番目の神経細胞の出力を
02:58AIとでJ番番目の神経細胞の出力をAJ
03:02という風に書いてありますで
03:04このI番目の神経細胞のAIという出力が
03:09まどの程度J盤面の神経細胞に伝達される
03:12のかというシナプス結合過重をWJIと
03:17いう風に書いてありますでこのデタWJI
03:20があAIをどの程度伝達するかというま
03:24パラメーターになりますのでこのWJを
03:29更新していくということがここで言学習と
03:31いうことになりますでこのWJっていうの
03:35をどの程度更新するかっていう更新量が
03:38こここの下の式でねデタwJIという風に
03:42書いてありますだからこのデタWJIをえ
03:46WJに差し込んでいくことによってえWJ
03:51っていうものを更新していきましょうと
03:53いうことになりますだからこれが学習と
03:55いうことになるわけですねじゃあこの
03:57DelWJIっていうのをどうやって決め
04:00ましょうかというのがえ不足ではこのAJ
04:04とAIをかけたものにえ正の定数であるロ
04:08をかけたものにしましょう
04:10とでこのま不足の式ではえ例えばこれAI
04:16もしくはAJのどちらかが0であればデ
04:20WJってのは0になるわけですねだから
04:23そのAIとAJが両方ともその出力を出し
04:27ているというような場合にまデルタWJ
04:30っていうのが正の値をもななるわけですね
04:34ですからまそのどちらかが0の場合には
04:38学習が進まないとで両方とも活動している
04:41時ね両方の神経細胞とも活動してる時にえ
04:45デタWJIっていうのが大きくなってで
04:48その分があWJで更新されるということに
04:52なるわけですねで実はこれっていうのは
04:55よくあの獣道に例えてあの説明されるん
04:58ですね
05:00ま獣道っていうのは獣がいつも通ってれば
05:03どんどん太くなるし獣が通らなくなるとお
05:07周りの草とか木によってだんだん浸食され
05:09てこうとえ獣道っていうのがなくなって
05:12いきますよねですからやっぱどんどん獣が
05:15通るところは太くしていきましょうとだ
05:17からこの場合ではえAIとAJが両方とも
05:21活動してるつまり信号がよく通るところは
05:25どんどん太く太くしていきましょうという
05:27ことでえWJIを大きくしていきましょう
05:30ということになるわけですねだからこれが
05:33まヘ足の学習則ということになりますで
05:37ただしですねさっきも言いましたけどこの
05:39デタwijiっていうのはこ常にこれ正
05:42ですからま0もしくは正ですからですから
05:45あのこのWJっていうのはどんどんこれ
05:48大きくなる方向にしか進まないですねです
05:51からこの不足を使って学習しているとこの
05:54WJがどんどんどんどん大きくなっていき
05:56ますからあのなんか爆発してきちゃうわけ
06:00です
06:01ねだえそこでですねまこういったその自己
06:04組織化をする場合にはえ結合過重を減少さ
06:08せるような何らかの規則ですねえ例えば
06:12WJ全体のWJの平均値を一定に保つよう
06:16にするとかあと即欲性ですね即抑制って
06:20いうのは例えば自分のが活動した時にこの
06:23周囲を抑制するようにするとかね例えば
06:26そういったそのえ結合過重を調査するよう
06:30なあ規則っていうのをうまくこ導入して
06:32あげるとえそのさえこういったその自己
06:37組織化がこううまくいくよということなん
06:39です
06:40ねでこの左に書いてる図がですねま第1回
06:44目でまコラム構造を説明するのに使った図
06:47なんですけどもまこれはですねまいろんな
06:50方向の線分のえに反応する神経細胞がま
06:55規則正しくまずっとこううまくこう並ん
06:57でるよ成立してるよとでこういったものが
07:001つの単位っていうのをコラム構造と呼ん
07:01だというわけです
07:03ねでこういったこコラム構造っていうのが
07:06実はまもう右の図のようにかこう入り組ん
07:09だようなね形にこうなってるわけですねで
07:12さらにこの右側の図っていうのはあのま
07:15これ眼コラムって言ってま左目に反応する
07:19細胞の群とえコラムと左目の情報によって
07:24そのえ活動するうコラム構造っていうの
07:27こう色分けをしてありますまこのの外位
07:29コラムって言うんですけどもまこういった
07:31そのコラム構造がですねま先ほど説明した
07:34ような学習則でま自己組織勝にえ学習さ
07:39れるとまつまり教師信号つまり正解値が
07:43なくてもこういった構造は自己組織化的に
07:46え形成することができるんですよという
07:49ことが確かめられてい
07:55ますで次にですねえっと教師あり学習に
07:58ついて説明をし
08:02ますでまこの教子やり学習っていうのが
08:05ですねま実は脳の中ではその小脳の中でえ
08:09学習されてるんではないかという風にま
08:12あの言われていますでまその小の中で何が
08:15学習されてるかというとその内部モデルと
08:18いうものを小脳によってえ学習してるん
08:20じゃないかということがまあの日本のです
08:23ねえ伊藤正夫先生によってえま指摘されて
08:27ましてこれがま小脳内部モデル説という風
08:30に言われるんですけどもま実は同時期に
08:32ですねえマとかアルバスっていう人がま小
08:35のパーセプトロン仮説なんかを提案してい
08:38てまちょうどこう1960年とか70年
08:41あたりですねまこういった時にま小脳で
08:44こういった内部モデルというものがあ学習
08:46されてるんじゃないかということがま指摘
08:49されていましたただしですねただこの当
08:52当時はあのこういった考え方っていうのは
08:55本当にマイナーな考え方で一般的に小脳で
08:59は学習されてるなんていうことはま信じ
09:01られていなかった時代なんですねでまこう
09:04いったそのえ伊藤正先生なんかがそのえ
09:08世界にですねこういったその性能の中では
09:10こう学習っていうものが起きていて内部
09:13モデルっていうのを獲得してるんだよって
09:15いうのをえま散々そのずっとそのアピール
09:17というかねま学会とかでま発表していてで
09:21まだんだんそれがまいろんな先生方によっ
09:24てえ確認されてえその糸さ先生の考え方が
09:28非常に正しいということがま実証されてき
09:31たんですけどもまそういった考え方に
09:34基づいて例えばこの川さんと塚原先生え
09:38なんかとかがねえま伊藤先生の考え方って
09:41いうのをこう発展させてえまこういった
09:44その
09:45学習制御を行うような神経カルモデルと
09:48かっていうのをこう提案したわけですねで
09:51まその1つがあのフィードバック誤差学習
09:55仮説と言われるまあの内部モデルを学習
09:58するための学習方法なんですけどもあの
10:01こういったものが提案されていますでこう
10:03いったまフィードバック補作学習仮説って
10:05いうものがあまま身体の内部モデルですね
10:09もの準モデルとか逆モデルっていうものが
10:12ま学習によって獲得されてるとかっていう
10:14ことがま指摘されてるんですけどもまその
10:17後ですねここに書いてあるま志ださんとか
10:20今光さんとかねそういったあ研究者らに
10:23よってま生理学的にも結構こういった考え
10:25方っていうのが正しいんじゃないかといっ
10:27たこともえ証明されていますでま私自身も
10:31このフィードバック誤差学習について研究
10:34をしていましてま実はまこの辺のそのえ
10:37フィードバック誤差学習仮説の研究でま
10:40博士号を頂いたのでま昔は私はちょっと
10:43こういったことをやっていまし
10:47たですからまこれをまあの燃費を見て
10:50もらっても分かると思うんですけどもあの
10:53やっぱその小脳の中でのそのこういった
10:55学習っていうものは本当にその伊藤正先生
10:58がまパイオニア的なそのねえなっていてえ
11:03ま日本の研究者っていうのがかなり重要な
11:05この役割を果たしてるんですねですからま
11:09こういった小脳のに関する学習に関する
11:11研究っていうのはかなり日本の研究者が
11:14中心になってえずっと研究を進めてきたと
11:17いう経緯があり
11:21ますでそれでですねえっと小脳における
11:24学習についてお話をしますでま小脳の役割
11:28としてはですねねま運動が正確になったり
11:31え運動が滑らかになったりするというそう
11:34いった役割がありますでまどういった運動
11:37が対象になるかというとま手とか腕を使っ
11:40た運動だけではなくてですねあと眼球運動
11:43なんていうのも関与してるしあと身体の
11:47姿勢制御ですねあと歩行なんかにも関係し
11:50てるということが分かっていますでえこの
11:53小脳ではですねえま先ほども言いました
11:56けども教師信号つまり正解値を使っでえ
12:00内部モデルっていうのを学習することに
12:02よってま運動が正確になったり滑らかに
12:05なったりするということになり
12:09ますでえま先ほどもう少しね簡単に説明し
12:13ましたけども川と3と塚原さんのこの
12:16モデルていうのがまえ1982年にねえ
12:20提案されてるんですけどもこの図の左手の
12:23部分ですねえ外国小脳とか小脳防虫部って
12:27書いてありますけどもまここが小脳なん
12:29ですねだからあの小脳にま上の方では運動
12:33系の逆内部モデル逆システムの内部モデル
12:36が獲得されるしえ運動系下の方ではね運動
12:40系の内モデルっていうものが獲得されると
12:42だこういったことによってえさっき言った
12:45ように運動が正確になったりな滑らかに
12:48なったりするんじゃないかというようなえ
12:51ま制御のモデルになってるわけです
12:54ねでえま先ほども言ったその
12:57フィードバック誤差学習っていうものは
12:59この赤字で示してやる部分になってでこれ
13:02ま何らかのところでねま脳内で望ましい
13:05軌道っていうのが計画されてまこのXDと
13:08いうものが運動量に入力されてで次の運動
13:11指令Uっていうのが計算されて筋肉に与え
13:14られてえ身体が動くとでま身体がくとこの
13:18体性感覚フィードバックってのがまた運動
13:20量の方にえフィードバックされるとまこれ
13:23が通常のまフィードバックループという
13:25ことになるんですけどもまこれに加えてま
13:28小脳のシシステムが簡易するということに
13:31なるわけですねだからこの図で言うとその
13:34XDというものが小脳の外ま外国性能に
13:38入力されてで運動系の逆システムの内部
13:42モデルによってえユルダって書いてあり
13:45ますけどもまこの運動指令というものが
13:47計算されて運動量に入力されるとだから
13:50こういう小脳からの運動指令の成分と
13:54フィードバック制御による運動指令の成分
13:58というものが合計されものがえ次の筋肉に
14:00与えられることになるというわけですねだ
14:03からこの小脳によるえユチルダっていう
14:06運動支合の性分をえ追加することによって
14:09より運動が正確になったり滑らかになっ
14:12たりするよということになるわけ
14:15ですでえこれをですねまもうちょっと見
14:17慣れた図で書くとまこんな感じになってえ
14:21この下の部分ですね下の部分がこれ
14:23フィードバック制御の図になっていて
14:26例えばその目標起動を敷いたDがあえっと
14:32目標機動シDと運動機動シとの誤差ですね
14:37誤差がフィードバック制御器に入力されて
14:40で次の制御信号であるUっていうものが
14:43計算されてえ腕ま制御対象に与えられると
14:47まこれはも普通のフィードバック制御に
14:50なるわけですねだからこれに加えてえ目標
14:53機動であるそのシDというものがえその小
14:57の外国部に入力されてでuffっていう
15:01ものが計算されてえフィードバック制御機
15:04からの出力とこう差し込まれるとでその
15:07足されたものがまた次
15:09の指令としてねええ実際の腕にま入力さ
15:13れるとで身体がま動くということになるだ
15:16からこのuffということがあねuffに
15:21よってま運動が滑らかになったりえ正確に
15:25なったりするということになるわけですね
15:27でまその時の学習則ってのがま右下の方に
15:31ちょっと好きで書いてあるんですけどもま
15:33詳しくはですねえま実際の学習の研究例と
15:37いうことでま授業の後半の方でより詳しく
15:40紹介したいと思いますでその時にえお話を
15:43し
15:46ますでえっと3つ目の学習として教科学習
15:50についてお話をし
15:52ますで実はこの教科学習というものが大
15:56農期定格で存在してるんではないかという
15:59ことがあ結構前から指摘されていますでま
16:02大脳規定格っていうのはま小脳の学習とは
16:05ちょっとまた違っていてえ大脳期定格では
16:09運動の選択とか順序ですねつまりちょっと
16:12より複雑な運動を組み立てるための学習
16:15っていうものに関与してるんではないかと
16:17いう風に言われていますでさらにはですね
16:20まどういった学習がその起きてるかって
16:22いう観点からはあ実はその運動の成功とか
16:27失敗といったそういった情情報からえ学習
16:30するんじゃないかという風に考えられてい
16:32て実はこれがま教科学習ということになり
16:37ますで実はまこいった教科学習っていうの
16:40はですねま行動と報酬という概念に基づい
16:44たあの学習になりますでまつまりですねま
16:49あのま我々人間でもそうだしま動物なんか
16:53でもそうなんですけどもまこういったより
16:55多くのこう行動はですねま何らかの目的を
16:59達成するために行動するわけですねでその
17:02何らかの目的を達成できればま何らかの
17:05報酬が得られるとじゃあその目的が達成
17:09できればできるほどよりたくさんの報酬が
17:12得られるという風にこう考えるわけですね
17:15でそうするとえここでま目的思考的な行動
17:19ってありますけどもま目的を達成するため
17:21の行動をま色々こう思考錯誤からですねえ
17:26学習していく過程っいうものをえま理論的
17:31に定式化したものがえ教科学習ということ
17:35になり
17:38ますでえ少しだけまもうちょっとこう
17:41詳しく説明するとここではま学習者って
17:44いうのこエージェントとしますでこういっ
17:46た学習者がですねえ実際のこの環境の状態
17:51XTという状態において行動UTを選択
17:56するとまUTっという行動をしたとすると
17:59でその時にえこの行動した結果として報酬
18:03RTが売ることができてで何らかの行動し
18:07ているのでえ環境の状態がXのT+1に
18:11変化したとねXTからXT+1に変化した
18:15という風に考えますでこの時ですねえっと
18:19ま教科学習によってえまその報酬を
18:22たくさんもらえるように学習をしていくと
18:25いうことになるんですけどもただ実は大事
18:27なところはえある時国の報酬RTね時国T
18:32のえ報酬RTだけではなくてえその時国T
18:37からですねえ将来に向けて得られるで
18:41あろう報酬を予測してそれを積算するわけ
18:45ですねでその積算したえ報酬を最大にする
18:51ように学習していくということが強化学習
18:55なんだよという風にま定式化することが
18:57できますですからまある時国における報酬
19:02だけをたくさんもらえるようにするって
19:04いうことではなくてある時国から将来に
19:07向けてもられるであろう報酬の積算値です
19:11ねというものを予測してでその積算値が
19:15最大になるように行動を選択していくと
19:19そういったものが強化学習ということに
19:21なり
19:23ますでま教科学習について説明をしますで
19:27ま教科学習についてはですね実はいろんな
19:30タイプの学習方法があるんですけども多分
19:33ま私の知る限りではここに書いてるバルト
19:36とシャットンっていうのが初めてえ強化
19:39学習方法っていうのを提案してまそれが
19:41TD学習って呼ばれる学習則になりますで
19:45これについてねこの図を使ってちょっと
19:48簡単に説明をしていきますでまこの1番
19:51左下ですね行動速アクタって書いてあり
19:54ますけどもまこのアクターがですね行動則
19:58Gによってえま状態Xによってえ行動を
20:03選択するGっていう関数によってま行動U
20:07っていうものが決定されるとで行動UTで
20:11えま実際にその環境がえま何らかの形でそ
20:16変化するとこのまこう微分方程式で書いて
20:19あるわけですねだから現在の状態XにU
20:23っていう行動をした時にどう環境が変化
20:25するかというのがまここの環境のその微分
20:28方程式でこう書かれているわけです
20:31ねで実際にこのUっていう行動した結果得
20:35られた方針をこでRTという風に書いて
20:37ありますでこのRTのこでクリティックっ
20:42て書いてあるんですけどもこの
20:44クリティックではですねこの価値関数Vと
20:47いうものが計算されていますでこれがです
20:51ねま先ほど説明したRTっていうのは時刻
20:53Tの報酬ですねでRT+1っていうのが
20:57時刻TT+1の報酬ですねでえま時刻T+
21:031の報酬にガマというケースがかけらかけ
21:06られてるんですけどもまこの重みつきで
21:08こう将来にわってえ積分をしていくわけ
21:12ですね積算をしていくわけですねまこのE
21:14っていうのは期待値ということになってる
21:15わけですけどもま確率的に計算されます
21:18からま期待値でそのこれからもらえるで
21:22あろう時刻T以降にもらえるであろう
21:25あのその報酬の積算値っていうものをえ
21:29確率的に求めますよということになるわけ
21:32ですねでこれがま価値関数Vっていうこと
21:34になりますで実はこの価値関数Vを最大に
21:38するようなえ行動Uっていうのを選択し
21:42たいということなんですねだからこれが
21:43こうえ行動まそのVを価値関数Vを最大に
21:49するようにえ行動Uが選択されるようなG
21:53を学習しないといけないとじゃそのGを
21:56学習する時のえま更新則ですね更新則が
22:02ここで書いてるTD5差ということになり
22:04ますでこのTD5差を使って実はGを学習
22:09するし同時にですね価値関数V自体もえ
22:15学習することができますなこのクリティッ
22:17クっていう部分も
22:19え学習することができますですからまこう
22:22いったそのここに書いてるのはTD5差
22:24デタTって書いてありますけどもこういっ
22:27たTD5差っていうことを求めることに
22:29よってえ行動速のGっていうものを学習
22:32すると同時に価値関数Vっというものもえ
22:36学習していきますでずっと学習していくと
22:40まえ価値関数がのがVがえどんどんね
22:46大きくなるような方向に行動Uが選択さ
22:50れるようになっていくということなわけ
22:52です
22:53ねまこれがまあのバルトシャットによって
22:57提案されてTD学ということになりますで
23:01まえっとま強化学習についてはねちょっと
23:03もう今日しかちょっとお話をしないのでま
23:06ちょっとだけ詳しくねお話をしたいと思い
23:09ますでえっとここでまあのえアクターが
23:13ですねえ観測された状態XTのもに行動
23:16UTを決定するっていうのがこれGでした
23:19ねでえ行動した結果環境っていうのがま
23:23これ差分方程式で書いてありますけどもえ
23:26XTという状態にUTということをのの
23:30行動をした時にえ状態はXT+1になると
23:34いうわけですねでこの時の報酬がえこのR
23:39によってねラージRによってえ規定されて
23:43いてえ状態XTの時にえ行動UTっていう
23:47のを行った時にえRTっていう報酬が得
23:50られるということになるわけですでえっと
23:55まここでですね環境度ダイナミックスFや
23:58報酬の条件RTは一般的に未知であるため
24:02え最適な行動則U=GXっていうものをえ
24:06学習教科学習によってですねえ学習してえ
24:11ま最適な行動を決定していくということに
24:14なり
24:15ますでそれでですねえま先ほど言ったTD
24:195差っていうものをどうやって計算するか
24:22というのをちょっと説明をします簡単説明
24:24しますでこの上の式に書いてるのが説明え
24:28さっきねえ図の中にも書いてあった価値
24:30関数Vの式になるんですけどもまこの右方
24:33見てもらうとえ時刻T+2の報酬の
24:38重み付けっていうのがガの事情になって
24:40ますねなからこういう風にえまガの事情と
24:43かねそういう風にその重み付けをしてえ
24:46時国Tからあ将来に向けてもらえるで
24:49あろうえ報酬をこう積算をするという項に
24:52なってるわけですねでそこでですねえっと
24:56樹T+1の価値関数っていうのをえ式で
25:00表すとこの下のね1個下の式のようになる
25:03わけです
25:04ねでこの式にですねこの式にこう両辺に
25:08こうガをかけてで上の式にこう代入すると
25:13ですねま右辺の第2項以降っっていうのが
25:16えVのXT+1ということになるので
25:20えっとこれをまとめてかけあの1番上の式
25:23っていうのがvxt=EのRT+GのV
25:28XT+1というまあ式にこうなるわけです
25:32ねでまここでそのえっとま期待値とかって
25:35いうのちょっとま置いといてえ計算を
25:38し直すとえっとそのえガVねガV-Vって
25:45いうのがこのえ誤差ですねまこのRT+G
25:49VからVT引いたものがえ上のその誤差ね
25:54両辺の誤差ということになるわけですね
25:56いいですかねこのえ
25:583番上から3番目の式のえからですねえま
26:04左辺マイナス右辺っていうのをするとです
26:07ねそれがそのえ誤差分ということにデタT
26:11という風にして計算することができるん
26:13ですねこれがさっき言ったTD誤差という
26:16ことになりますでこのTD5差っていう
26:18ものを使ってえGとかVっていうものを
26:22こう学習するということがこうできるわけ
26:24です
26:25ねでまどうやって学習するかっていうのが
26:29えまここに簡単に書いてあるんですけども
26:32そのまVの更新量っていうものをデルタV
26:36という風に表すとまこの正の定数アデタT
26:40まデタTってのがえさっきのえTD誤差
26:43ですからTD誤差にえ正の定数アっていう
26:47ものをかけたものをVの更新量として学習
26:50させるとでつまりこの2番目の式に書いて
26:52あるようにえっと現在のその価値関数
26:56vxtにデVっていうのを込んでえVを
27:00更新するというわけですねであと学習速G
27:03に関しても同じようにですねデタVって
27:07いうものを使ってえ更新をしていって
27:10あげると同じように学習することができる
27:13ということでま異なった時間差ねえっとを
27:18使って学習するていうことでその
27:19テンポラルディファレンスラーニングTD
27:21学習という風にま名前がつけられてい
27:25ますでまたですねまああのTD誤差って
27:30いうものをその学習するんですけどもこの
27:34時ですねえっとこの式で書いてあるように
27:38えっと現在の状態XTにおいて行動Uをえ
27:43実行した時の将来の報酬を予測するていう
27:46ものをこれえこのQのXTのUという風に
27:51考えてねこういうそのまさっきの価値関数
27:55っていうものをこう書き換えてあるわけ
27:57ですけども
27:58その部分がえ行動UTにも依存するとだ
28:03から行動UTの関数として考えたものをQ
28:06というものを新たに考えますでこういうQ
28:09を最大にするような行動Uっていうものを
28:12おま決定していくということでえだから
28:16このQっていうものをその最大にするよう
28:20なUを求めるようなあUになるUに関して
28:24最大にするようなUTを求めるとでだから
28:27これはそののえ行動の価値関数という風に
28:31呼ばれていますまさっきと若干違いますよ
28:33ね単にVとは違いますよねでこのえ時の
28:37そのデルタQねさっきと同じようにそのえ
28:41このデルタQっていうのを計算してですね
28:43学習していくこれを実は旧学習という風に
28:47呼ばれてい
28:49ますですからまこういったその教科学習に
28:52もねまTD学習とか旧学習とかま色々ある
28:55しこの旧学習にもまた色々ありますまあだ
28:58からこんな感じでえっとま教科学習によっ
29:01てま学習をするということが可能になり
29:05ますでえっと昔ですねえっとまこういった
29:09そのえ棒を立てるね手のひらでこう棒を
29:12立てるまこう統率紳士って言うんですけど
29:15もまこういったことをその教科学習でえ
29:18学習させれてる人がま結構いましたって
29:21いうのは同列紳士の場合には棒が倒れたか
29:26どうかっていう結果しか分からないですよ
29:28ねだから例えばこの今見えてるように手を
29:31どのぐらいどういう風に動かしたかのが
29:33悪かったかね手をどういう風に動かしたの
29:35が悪かったかどの程度悪かったかってのは
29:38分からないんだけど棒がどのぐらい時間
29:41経ってたとま例えば5秒経ってたとか5秒
29:44後に倒れたとかねそういったあ情報は
29:47分かるのでそういったことだけからえ
29:50さっき言ったような教科学習を使ってえ
29:53こういった統率紳士の学習をさせることが
29:56できるようになるということことがま色々
29:58そのロボットなんか使ってねえ実証されて
30:01いますでさらにはですねまこういった教科
30:04学習と深層学習を組み合わせることによっ
30:07てね実はその皆さんよく知ってるのは
30:09アルファ5ってありますよねあのえ深層
30:13学習によって5を学習させるとまあ以後の
30:17ま世界チャンピオンにこう勝ったとかです
30:19ねまそういったそのアルファ5っていうの
30:22があるんですけどもまアルファ5っていう
30:24ものもこういった教科学習と真相学習って
30:28いうのもまうまく組み合わせることによっ
30:30てえま以後の非常にその強いま学習ができ
30:35てるというようなことがま報告されてい
30:40ますでまこのようにですねえま大脳期定学
30:44ではこういったその教科学習によってえ
30:47学習が行われてるんではないかという風に
30:49は考えられてるわけですけどもま実はその
30:52元になったねえ実験を簡単にねちょっと
30:55紹介したいと思います
30:59でえっとこれはですねあの手術ツっていう
31:02人があのやった研究なんですけどもこれに
31:05ついて少しお話をしますでえっとこれもね
31:08ちょっとよく聞いててくださいねあの非常
31:11に分かりづらいですからまよく図を見
31:13ながらよく聞いててくださいで1番上の
31:16学習前学習後報酬なしっていうのがあり
31:20ますのでま上から順番に説明をしていき
31:22ますでこう学習前っていうのは報酬報酬
31:26予測Vドーパミン細胞デルタて書いてあり
31:29ますけどもま報酬はさっき説明した報酬
31:32ですねでVっていうのはさっきた価値関数
31:34のことですねでこのドーパミン細胞デル
31:37タっていうのはさっきTD5差のことです
31:39え学習するための信号ですねTD5差の
31:42こと
31:43ですで実はこれあの猿さんを使った実験な
31:47んですけどもで猿さんにどういうことを
31:50やってもらったかというとこう1番左に
31:53書いてランプのマークがありますねだから
31:55ランプがまあついたら目の前のボタンを
31:59押すとえボタンを押した後にこうジュース
32:02がもらえるというわけですねでその時にえ
32:06ボタンを押した押すっていう行動をした時
32:09にえジュースをもらえるわけですからえ
32:13報酬Rっていうのがジュースをもらえた後
32:16にこうパッとこう活動してるわけです
32:19ねで実はまこのデルタの式を見てもらっ
32:23たら分かるんですけどもその報酬がポンと
32:25出てくるとこのデルタもこう
32:28それによってこう大きくなるまこう活動
32:30するわけですねですからま学習前はまこう
32:34いうその報酬がもジュースをもらえた時に
32:38え報酬Rがジュースをもらえた後に活動し
32:41てでこのTD誤差っていうのもそれに対応
32:46して大きくなるよということになるわけ
32:48ですじゃあ学習後どうなるかだから最適な
32:53行動が選択されるようにちゃんとだから
32:55そのVがですねえちゃんと予測できるよう
32:58にえ学習できたらどうなるかということな
33:01んですね報酬が予測できるように学習され
33:03たらどうなるかっていうことが学習後と
33:06いうことになりますでえこのランプがつい
33:09た時にもうランプがついた時にボタンを
33:13押せばそのジュースがもらえ
33:15るっていうこと未来に向かってそのね未来
33:18にそのジュースがもらえるっていうことは
33:20予測できるようになってるはずなわけです
33:22ねさっきの式から言うとねでそうするとえ
33:26価値関数がランプをついた後にバーっと
33:30こうでっかくこう活動することになるわけ
33:32です
33:34ねですからまでその価値関数Vのその
33:38デルタを見るとその変化分ということです
33:41からあちょうどそのえVが変化してる
33:45ところがまだからVの微分なわけですねだ
33:48からこういうデルタっていうのはこの正の
33:51ようなこういう活動がほ出てくるとで
33:54ずっとそのえジュースがもらえたら実は
33:57報酬がもらえたのででま価値関数が
34:01この実はそのジュースがもらえたっていう
34:05報酬と価値関数がこう下がってるですねで
34:10価値関数が下がってるところのこう微分
34:12っっていうのは実はこの負の負になるわけ
34:16ですね価値関数がこう下がってるところの
34:18微分っていうのはこの負の要素になります
34:21からその負の要素と実際にジュースを
34:25もらった時の報酬RTのの正の要素が
34:29ちょうどこうえ相殺されてですねこう0に
34:32なっちゃうとねキャンセルされてこう0に
34:34なっちゃうということが予想できるわけ
34:36ですねでじゃああの報酬なしっていうのは
34:40結局そのボタンを押しても報酬与えないっ
34:43ていう風にま騙したらどうかというのがC
34:46なわけですでえずっとその左の方はずっと
34:50同じなんですけどもでここで報酬を与え
34:53ないので実際のジスというがないのでRが
34:58出てこないわけですねないわけですねで
35:00そうするとそのえ価値関数Vの微分の要素
35:05のこの負の要素の部分だけがこう出てくる
35:07だろうということがこう予想できるわけ
35:09ですでま実際にこういう学習前学習後報酬
35:14なしとかっていうのを実際にこういうえ
35:17訓練過程の猿さんでやってみるとま実際に
35:21大脳規定核のこのドーパミン細胞っていう
35:24のがあるんですけどもこのドーパミン細胞
35:26の活動がまさしくここに書いてるような
35:29活動と一致したよということがこの手術に
35:32よって発表されたわけですねでこれはもう
35:36実際に教科学習をやってる研究者から見れ
35:38ばおこれはまさしく教科学習じゃないかと
35:43いうことでま大脳期定格というものがあ
35:46その教科学習によって学習してるんじゃ
35:48ないかという風にあの指摘をされるように
35:51なってきてでえその後こういったその大の
35:55規定核の学習則としてのおメカニズムが
35:59ですねいろんな観点から研究されてきてい
36:04ますでまこれがですねまそういったその模
36:07傷的に書いたやつなんですけどもまこの
36:11えっと大脳期定格って点線で囲んでやる
36:14とこですねここには洗浄体とドーパミン
36:17細胞と黒質っていう3つの部分でこう書い
36:20てありますけどもここがまえっと大脳規定
36:23核っていうところになってでそれより上が
36:26ま大脳質で実は大脳定格っていうのは大脳
36:30シスのいろんなとからこう情報が送られて
36:33きてるんですねだからまダノシスの
36:35いろんなとから大納期定格っていうのは
36:37こう情報を受け取っていますでえっとで
36:41その大納期定格は黒質のその細胞からです
36:45ねこういった炭素級というところを経由し
36:48て
36:49えそのえ支障ですね支障を経由してまた大
36:55の皮質にこうフィードバックされていくと
36:59いうま図になりますでこの線状態っていう
37:01ところがさっきのV価値関数Vであったり
37:05行動の価値関数Qであったりねそういった
37:08ものがま洗浄体というところにはあるん
37:11じゃないかとでえこのvからその
37:14ドーパミン細胞のところが結局そのTD誤
37:17差ということにこうなってるんじゃないか
37:20とかねそれでよってそのVとかGっていう
37:22ものがこう学習されてるんじゃないかとで
37:24こう単相級からのこう出力によってで行動
37:28UTというものが選択されてくるとまこう
37:31いったことがま大脳規定格でま教科学習
37:35タイプの学習がえされてるんではないかと
37:37いうようなことが色々な人たちによってえ
37:40指摘をされてい
37:44ますでえまあのちょっと話がねちょっと
37:47逆転してしまいましたけども例えばま大脳
37:50規定核で教科学習ってのはどういう風にか
37:54なってるかというのちょっとお話をすると
37:56ま例えばまさっきは統率紳士棒を立て
37:59るっていう統率紳士でお話をしましたけど
38:02もま例えばバスケットボールのシュート
38:04なんかでもいいんですねで
38:05バスケットボールのシュートだとシュート
38:08が入ったか入らなかったかっていうこと
38:10しか分からなくて実際にこうシュートを
38:13打つ時にどこの部分の運動が悪かったか
38:16なんていうのはこう分からないわけですね
38:18だけどもシュートした結果の成功したか
38:21失敗したかっていうことだけがこう分かる
38:24そういった時に実際にそのシートの成功率
38:27がえまそれが報酬ということになるわけ
38:31ですけどもそのシトの成功率があどんどん
38:34良くなるようにこう学習をしていくという
38:37ことになるわけですねであとですねえあと
38:40その大脳規定格ではその運動の順序の学習
38:44にも関与してるっていうことがま言われて
38:46いますでま運動の順序っていうのはどう
38:48いうことかというとえ例えばコップで水を
38:51飲むっていう運動を考えてくださいでその
38:54運動を実現するためにはこまずコップまで
38:58手を伸ばしてでコップを掴んででコップを
39:01持ち上げて口まで持ってくると例えばそう
39:04いう順番が大事なわけですねだからこれが
39:07どっかひっくり返ってしまうと実はコップ
39:09で水を飲むっていう行動がえ成立しなく
39:12なってくるわけですねですからこういうう
39:16各要素の行動を正しく順番ねえ2個
39:22え計画しないとやっぱり目的とする運動が
39:25達成できないとまこういったそのより
39:28ちょっと複雑なねえ運動の組み立てえ
39:32なんかをするというものも大の定格の役割
39:35だという風にま考えられてい
39:38ますでそれでですねまこういった観点から
39:42あのまどやさんていうまま非常にその私が
39:45尊敬してる研究者の1人なんですけどもま
39:48こういったドヤさんがですねま今日
39:50ちょっとお話をしたようにえま大脳皮質で
39:54は教師なし学習がされてるんではないかと
39:56で能規定格では教科学習が行われてるんで
40:00はないかで小脳では教師あり学習が行われ
40:03てるんではないかということをま提案され
40:06ていてま実は今日のお話っていうのはこの
40:09ドヤさんのま論文ですねドヤさんのこの
40:12論文に基づいてまお話をさせていただき
40:15まし
40:16たですからまこういう風にねえっと脳と
40:20学習っていうのはこう密接にこう関係をし
40:22ていてでいろんなタイプの学習が脳の中で
40:26え存在してる可能性があるんだよという
40:29ことでまちょっとこの話を締めくくりたい
40:32と思い
40:34ますでえ最後にですねえっと濃度最適化と
40:38いうことでも少しだけねちょっとあのお話
40:41をさせて
40:43くださいでまずですねえ最適化について
40:46簡単に説明をしますでまずまあの何らかの
40:50問題をあの解くということを考えてもらっ
40:53た時にその解いたあ回がですね多数存在
40:58するという場合をちょっと想像してみて
41:01くださいでま解が多数存在するということ
41:04はまどの回を選択していいか普通こう
41:07分からないわけですねでま1つの戦略とし
41:10ては回の義足を判定することによって
41:14できるだけいい回を選択してやろうとこの
41:18回を回の義足を判定する関数これをここで
41:21は目的関数という風に呼びますですから
41:25この目的関数によって解の足っていうもの
41:28を判定して最もいい回を選択してやろうと
41:31でこれをサティかという風に言い
41:35ますでま式で書くとま下のようになるん
41:39ですけどもまあのFが目的関数でxが解
41:43ですですから何らかの解Xっていうものを
41:46目的関数に入力した時の解の良足を判定し
41:50た結果まこれを評価値と言うんですけども
41:52これがいいということになるわけですねだ
41:55から多数存在する解をこの目的関数fに
41:59入力して解の良し足を判定してでま評価値
42:03が最小もしくは最大になるような解Xを
42:07選択してあげるとまこういった考え方が
42:09最適かっていうことになり
42:13ますでまこういった考え方をすることに
42:16よってえっと実は身体の運動をあの選択
42:20するということもできますで例えばここで
42:24書いてあるようにこう手先の起動ですね位
42:27から目標位置までこう手を伸ばす運動で
42:30そのその時の手先の軌道がこれXTって
42:33いう風に書いてありますけどもまこの初期
42:361から目標1までの手先の運動起動って
42:38いうのはこう無数に存在するわけですね
42:42じゃあえっとどういうねえさっきった無数
42:44に解が存在するわけですねじゃあそのどの
42:47運動が1番いいかということで何らかの
42:51目的関数っていうものを設定してあげて
42:54その目的関数がえ最も最初もしくはあ最大
42:59になるような運動っていうものを選択して
43:02あげればいいとでこういった考え方によっ
43:05てえ人間の運動とかロボットの運動を生成
43:09することができ
43:12ますでこういった観点からですねま人間の
43:16腕の運動ですね逃げの人間のその腕の運動
43:19を再現するための計算モデルっていうのが
43:22まいろんな観点からあ研究されていてで
43:26特にこう最小モデルなんていうのがま1番
43:29このえ最初にねえこういった研究がなされ
43:32てえでそのジーク最小モデルによってある
43:35程度人間の運動があ再現できるということ
43:39がこう報告されてまそれ以来ですねえ実に
43:43様々な研究がこうなされているわけです
43:45けども実はまここに書いてある計算モデ
43:48ルっていうのはこの滑らか光速に基づいた
43:51計算モデルということでま滑らか光速って
43:54いうのは例えばジーク最初っていうものの
43:57は加速度の変化が最小にする高速条件なん
44:02ですねで2つ目に書いてるトルク変化最小
44:05っていうのは関節トルの変化が最小になる
44:08だからなんたらの物理量の変化が最小に
44:12なるようなあさっきで言っと目的関数と
44:16いうことになるわけですねだからそういう
44:18なめらかそういうのをま滑らか光則って言
44:21んですけどもまこういう滑らか光速に
44:23基づいた計算モデルが実はこう色々提案さ
44:26れてで実はま1番下に書いてあるえキス
44:30レス変化最小モデルなんていうのも最近
44:32ちょっと私のグループでこう提案をしてい
44:34て実はこの金ス列変化最小モデルっていう
44:37のが実はなかなかあすごい計算モデルなん
44:39だよっていうことが最近こういろんな研究
44:42からこう分かってきてまこれについてもね
44:44またあの研究事例ということでえ講義の
44:47後半の方でねまお話をさせていただきたい
44:50と思い
44:52ますでまこのようにですねまあののの研究
44:58において実はまその計算論的神経価格と
45:03いう分野においてはねま学習に基づいた
45:05研究であったりとか最適化に基づいた研究
45:09が実はいろんな観点からなされていますで
45:12まこういった観点からねえっと本行議では
45:16ま学習の基礎っていうものについて少し話
45:19をしてで1番メインにはねま最適化におけ
45:22る様々な手法についてえま説明をしていき
45:26たいという風に持っていますま学習につい
45:28てはねまいろんな他の講義とかでもねあり
45:31ますのでま学習についてはえ必要最低限に
45:35まとめておいてでまできるだけ最適化の方
45:38にこう時間をさえてですね説明していき
45:40たいと思いますでま本日の講義は以上で
45:44終わりますそれではさよなら
5.0 / 5 (0 votes)
