5kai
Summary
TLDRこの講義では最適化の基礎数学について解説されています。固有値と固有ベクトル、対象行列、直行行列、2次形式、ヘシアン行列などの概念を復習し、最適化理論の理解を深めることを目的としています。
Takeaways
- 📚 最適化の基礎数学について、特にベクトル、行列、固有値、固有ベクトルなどの概念を復習する。
- 🔍 y=axという式から、ベクトルyが行列Aによってどのように変換されるかを学ぶ。
- 📈 固有値（ラムダ）と固有ベクトル（P）の関係性と、それらが行列の性質を表す方法を理解する。
- 📉 対象行列の固有値と固有ベクトルが存在する場合、その行列は特殊な性質を持ち、例えば直行する性質がある。
- 📐 平面と法線ベクトルの関係、および曲線上の点における法線ベクトルの計算方法を学ぶ。
- 📝 2次元平面上の曲線f(x, y) = 0における接線の方程式を導く方法を学ぶ。
- 📚 2次形式と線形台数に関する基礎知識を復習し、それらが最適化理論にどのように関連するかを理解する。
- 🔢 2次形式の標準形とその導出過程、固有値の分布が2次形式の性質を決定する理由を学ぶ。
- 📊 行列のランクとその重要性、特に対象行列が正則であるために必要な条件を理解する。
- 📈 2次形式が0以上または0以下の場合、行列の制定値性、不定値性、非制定値性を理解する。
- 📘 ヘシアン行列の概念とその在最適化や学習速度の導出における役割を学ぶ。
Q & A
最適化とはどのような概念ですか？
-最適化とは、ある問題に対して最適な解を求める数学的な手法です。最適化問題は、目的関数を最大化または最小化する同時、制約条件を満たすことが目標となります。
固有値と固有ベクトルとは何ですか？
-固有値は、線形代数において、ある線形変換で大きさのみが変化し、方向は変化しないベクトルに対する倍率です。固有ベクトルは、そのベクトルそのものです。
ベクトルの変換における方向の変化とは何を指しますか？
-ベクトルの変換において、方向の変化とは、変換された後のベクトルが変換前と比べて方向が異なることを指します。固有ベクトルは変換前後で方向が変わらないベクトルです。
対象行列とはどのような行列ですか？
-対象行列とは、転置しても同じ行列になる行列のことを指します。この行列は、固有値と固有ベクトルの性質を持ち、線形代数や最適化理論で重要な役割を果たします。
2次元平面と法線ベクトルの関係はどのようなものですか？
-2次元平面上の任意の点において、その点の法線ベクトルは平面の方程式を導くために使用されます。法線ベクトルは平面と垂直な方向を持つベクトルです。
テーラー展開とは何ですか？
-テーラー展開とは、関数をその値を中心とした多項式で近似する手法です。これにより、関数の微分や極値などの性質を分析することができます。
2次形式とはどのような数学的表現ですか？
-2次形式とは、変数の2乗項とそれらの積項のみを含む代数式のことを指します。一般的な形は x^T A x などであり、行列 A とベクトル x の積として表現されます。
対角化とは何を意味しますか？
-対角化とは、ある行列を対角行列に変換するプロセスです。対角行列は、非対角成分がすべてゼロで、対角成分のみが異なる値を持つ行列です。これにより、行列の固有値を簡単に求めることができます。
ランクとは何を指し、その重要性はありますか？
-ランクは、行列の最大の非ゼロ固有値の個数を指します。これは、線形代数において、行列の独立性や可逆性に関する重要な指標であり、最適化問題の解の存在や多重度に影響します。
2次形式の正値性、負値性、不定値性とは何を意味しますか？
-2次形式の正値性、負値性、不定値性は、2次形式の値が常に正、負、または正負の両方を持つかどうかを表します。これらの性質は、最適化問題における解の性質を決定する上で重要な役割を果たします。
Outlines
📚 最適化の基礎数学の復習
最適化の基礎となる数学概念について説明されています。固有値と固有ベクトルの関係性、行列の変換、およびベクトルの方向変化を解説しています。固有値は、行列Aによってベクトルが変換された際の倍率であり、固有ベクトルは変換前後で方向が変わらないベクトルを指します。また、対象行列とその性質についても触れられており、直行する性質を持つベクトル（内積が0になるベクトル）の重要性が強調されています。
📐 平面と法線ベクトルの関係性
2次元平面とその法線ベクトル、また接線の方程式について説明されています。平面上の曲線f(x, y) = 0について、その上側と下側の符号が反転する性質や、閉曲線内部と外部の符号変化について解説されています。さらに、法線ベクトルの計算方法やその重要性、および多変数空間での法線ベクトルの表現方法についても説明されています。
🔍 接線ベクトルと法線ベクトルの関係
接線ベクトルと法線ベクトルの関係性について詳しく説明されています。接線ベクトルは曲線上の特定の点における接線の方向を表し、法線ベクトルはその点における平面の垂直方向を示します。テーラー展開を用いてこれらのベクトルを導出する方法や、これらのベクトルが最適化理論や制御理論で重要な役割を果たすことについても触れられています。
📈 2次形式と対象行列の性質
2次形式と対象行列の性質について説明されています。2次形式は変数の2乗項のみからなる式であり、対象行列は特定の性質を持つ行列です。対象行列は固有値と固有ベクトルを持ち、これらの値を用いて2次形式を標準形に変換することができます。また、対象行列のランクや正則性についても触れられており、これらの概念が最適化理論で重要な役割を果たすことが示されています。
🔢 2次形式と行列の固有値
2次形式と行列の固有値の関係性について解説されています。2次形式は行列の固有値と固有ベクトルを用いて表現することができ、これらの値は最適化問題の解に関連しています。固有値が正の値である場合、行列は正定値であるとされ、最小値や最大値を求める問題で重要な役割を果たします。また、2次形式が0以上か0以下か、またはその両方の場合の行列の性質についても説明されています。
🔚 最適化のための基礎数学の概要
最適化のための基礎数学の概要について説明され、講義の締めくくりがされています。固有値、固有ベクトル、2次形式、対象行列の性質、およびヘッセ行列（2次微分行列）などの概念が復習され、これらの概念が最適化理論や制御理論でどのように使われるかについても触れられています。また、2次形式に基づく最適化問題の解法やその応用についても簡単に紹介されています。
Mindmap
Keywords
💡最適化
💡固有値
💡固有ベクトル
💡対象行列
💡法線ベクトル
💡テーラー展開
💡2次形式
💡ヘシアン行列
💡直行行列
💡2次形式の標準形
Highlights
最適化の基礎数学について話す。
固有値と固有ベクトルの基礎を復習する。
行列の変換とその特性を解説する。
対象行列とその性質について学ぶ。
平面と法線ベクトルの関係を理解する。
曲線と法線ベクトルの概念を復習する。
2次元平面上の曲線に関する接線の方程式を学ぶ。
テーラー展開の重要性とその適用を解説する。
2次形式とその数学的表現方法を学ぶ。
対象行列の対角化とそのプロセスを解説する。
線形台数におけるランクの概念とその重要性。
2次形式の標準形とその変形方法を学ぶ。
最適化理論における制定値性と不定値性の解説。
ヘシアン行列の役割とその計算方法を解説する。
2次形式に基づく最適化問題の解法を学ぶ。
最適化のための基礎数学の全体像を提供する。
講義のまとめと今後の最適化理論への道筋を示す。
Transcripts
00:00はい皆さんこんにちはと今回から最適化に
00:04ついて話をしていきますでま最適化ではね
00:08まいろんなこう理論が出てきますのでま
00:10そのために必要なねま最低限のまあの基礎
00:13的な数学についてまずお話をしてからえ
00:17最適化の理論についてお話をしていこうと
00:20思い
00:22ますでまずま最適化の基礎数学ということ
00:26で
00:27えっとでまずですねえ固有地とこういう
00:30ベクトルについてあの復習をしてもらい
00:32たいと思い
00:35ますはいえっとそれではですねえっとここ
00:38に書いてあるようにy=axっていうのを
00:40考えてみてくださいでまyとxっていうの
00:44がベクトルででえAが行列であるとでまA
00:48がまここに書いてあるよはま2か2の
00:50サイズの行列であるという風に考えて
00:52くださいでこの時ですねえベクトルの1と
00:562というものはベクトル5の7に変換さ
01:01れるんですねまこの図に書いてあるように
01:03ねえ1と2っていうベクトルが5と7の
01:07ベクトルにこう変換されるということに
01:09なるんですけども例えばですね2と1って
01:13いうベクトルはねベクトル4の2という風
01:17にベクトルに変換されてこの下の図に書い
01:19てあるようにねえ2と1っていうベクトル
01:22はこのベクトルの大きさを2倍にしたよう
01:26なベクトルね方向が変わらないでえ大きさ
01:29が2倍になったようなベクトルに変換さ
01:31れるわけですねでまた1と1っていう
01:34ベクトルも同じようにえ方向が変わらない
01:38でえ大きさが3倍になるようなあ変換され
01:42ていますだからこういうベクトルが存在
01:45するということになるわけですねですから
01:48ま方向が変わらないまこれも方向がですね
01:52ま逆向きでも構わないんですけどもねえ
01:56逆向きもしくは同じ向きのでの大きさが
02:00変わるという風にそのそういった変換さ
02:03れるようなえベクトルが存在するという
02:06ことになるわけですねですから例えばこう
02:09いうそのえベクトルにまそういった方向が
02:14変わらないえベクトルにこう着目をすると
02:17ですね結局そのえAP=PというまこPが
02:24これベクトルですねPがノト0のベクトル
02:27として考えた時にえPというベクトルがA
02:31によって変換されるのが結局元々のPと
02:35いうベクトルがラムダ倍になるとねこの右
02:38の図に書いてあるようなえことが
02:41え式で書くとまこういう風になるわけです
02:45ねでこの時にえラムダっていうものをこれ
02:49固有値という風に言うわけですねだから
02:52こういうベクトルが存在すればですねこう
02:55いうベクトルが存在すればこのラムダ倍に
02:58なってるものをこのラムダを固有値って
03:01いう風に言うわけですねでえまこのラムダ
03:05に対応したえこの方向が変わらないこの1
03:08と1とか2と1っていうものをこれ固有
03:11ベクトルっていう風に言いますでただこの
03:15固有ベクトルっていうのはえまこの大きさ
03:18は関係ないのでえま実はこの同じ方向の
03:22ベクトルであれば何でもいいのでえその
03:25無数に存在するということになるわけです
03:28ね
03:30いいですかねまこういったそのこういう値
03:33とこういうベクトルってのはこういう関係
03:35にあるということですねまもう1回言い
03:37ますけどもえこういうy=axでえまXが
03:42AによってYに変換されるという行列の
03:46変換を考えた時にえ方向が変わらないベク
03:51トルっていうものが存在しますよとね変換
03:54される前と後で方向が変わらないベクト
03:57ルっていうのが存在することがありますよ
03:59とでその存在したとにえこのラムダって
04:04いうのを固有値と言ってこの方向が変わら
04:07ないベクトルのことをえこいうベクトルと
04:10いう風に言うわけですねまこういうのま
04:14よくちょっと覚えといて
04:17くださいでさらにですねじゃあこのえ行列
04:21Aが対象行列だった場合ですねま対象行列
04:25っていうのは転地しても同じになるという
04:27行列ですねそういう場合にえさっきのおの
04:32ように例えばこう変換された後にえその
04:36方向が変わらないベクトルていうものがま
04:39存在するつまりま固有値と固有ベクトルと
04:42いうものがま存在するんですけどもあ存在
04:45することがあるんですけどもえっとその時
04:48ですねこう対象行列になってる場合には実
04:52はそのこ有ベクトルっていうものは直行
04:55するという性質がありますねですからま
04:58こういうまここういうその線形台数とかね
05:01いろんなことをやってる時にこういった
05:03対象行列ってのはあの結構よく出てくるん
05:05ですけどもこういう対象行列のこういう
05:10ベクトルっていうものは結こういう直行
05:12するんだということをちょっとま覚えとい
05:15てくださいま直行するってことはこの内積
05:17を取った時に0になるということですから
05:20まこういった性質っていうのもあのよく
05:22利用されますですからもこれもよく覚え
05:25といて
05:27くださいでえっと次にですねえっと平面と
05:31法線ベクトルということでちょっとこれも
05:34復習しておきたいと思い
05:37ますでえっと例えばですねこの左図のよう
05:41にこの曲線を書いてあるんですけどもこれ
05:44はもうえっと2次元平面ね2次元平面でえ
05:47一応こう考えますけどもYのxy=0と
05:52いう風にこの2次元平面上の曲線をこう
05:55表したという風にしますでこの時にですね
05:59ええYFXっていうものが0より小さい
06:03領域がま上側手だとすると下側手の領域
06:07っていうのは0より小さいということに
06:10なるのでま色々この条件のこう判定とかね
06:13色々こする時にま結局こういうえ2次元
06:16平面上で考えた場合にYFえfxy=0と
06:21いう曲線があった時時にその
06:25えまこの場合だとその上側とか下側とかの
06:28領域によってえその符号が反転するんです
06:32よとねえま上側手の方が正だとすればあ
06:36下側ば負になるんですよということですね
06:39で同じようにですね例えばこう閉曲線です
06:41ねえ右側手のようにえっとFのxy=0と
06:46いうこの閉曲線があのあった時にま内部が
06:51負になった時にはあ外が正になるよとね
06:56例えばこういう風にそのえ符号が反転する
06:59ということはまあのよく覚えといて
07:01くださいまこういったことも最適化のねえ
07:03ところでえまたまにこういうのが出てき
07:05ますのでまこれいうのもちょっとま覚え
07:07といて
07:10くださいであとま曲線とね法線ベクトルに
07:14ついてちょっとお話をしておきますけども
07:17あの例えばさっきとねえ言った2次元平面
07:20で考えますけども2次元平面のこのFの
07:24xy=0という曲線でえある座標のの点
07:29ですねX0Y0っていうある1点を考えた
07:33時のその1点における法線ベクトルまなF
07:37っていう風に書きますけどもえナブラFの
07:40xyはまこの
07:43おFをxで返微分したものをこのFXって
07:49いう風に書いてえFをYで変微分したのを
07:52FYっという風に書くとするとねえこの
07:56法線ベクトルXX0Y0によく法線
08:00ベクトルいうものはこのFXFYという風
08:03にベクトルで表すことができるとでま
08:05ちょっとこの書き方としてはねえ例えば
08:08こう縦棒を引っ張っといてXYがX0Y0
08:11という条件のもでっというね例えばこう
08:14いう今こではこういう表記をしてますけど
08:16もでこれはえX=X0Y=Y0の点に
08:23おけるFXとFYということですねでこれ
08:27はですねえま多数あのも高次元のそのえ
08:32空間っていうのを考えてもですねま同じ
08:35ようにえそのFをx1で変微分したものf
08:39をx2で返微分したものともちろんこれも
08:42点X1からXNにおける点におけるその
08:47えベクトルね法線ベクトルということに
08:51なるわけですねまこまこういう風にえ多
08:53変数ま多次元になってもま同じように法線
08:57ベクトルっていうのをこういう風に表さる
08:59ことができるということちょっとまた覚え
09:02といて
09:03くださいまこの復習ですよね
09:08はいはいえっとそれではま説平面について
09:11お話をしますでえっとま先ほどと同じよう
09:14にですねえ2次元平面内の曲線fxy=0
09:20上のある点X0Y0での接線の方程式って
09:24いうのはこういう風に表すことができると
09:26でFXっていうのはFをxで返分したもの
09:30でこの時そのX=X0Y=Y0でえ変微分
09:35したものがFXとで同様にFYっていう
09:38ものはFをYで変微分したものになります
09:42まこの時えこういう風にそのX0Y0を
09:45通るあの接線の方程式っていうのはこう
09:47いう風になるわけですねで同じようにえま
09:503次元空間上の局面FXYZ=0でもね
09:55同じようにこういう風に説平面の方程式
09:58っていうものをま表すことができるという
10:00わけですねま図でかけばまこんな感じに
10:04なってるわけですねそのナブライフって
10:06いうのがさっきのの法線ベクトルでしたね
10:08そ法線ベクトルっていうのが求まりばこう
10:10いうえ接線の方程式とかあ節平面の方程式
10:14っていうものをま求めることができると
10:16いうわけです
10:18ねでまそこでですねまあまりこういうのは
10:22こう必要ないかもしれないんですけどま
10:24接線ベクトルと法線ベクトルがま直行し
10:27てるんですよということだだけまちょっと
10:29ねえお話をしておこうかなと思いますで
10:33えっとま例えばさっきも出てきますけども
10:36え2変数関数のまfxyではXY平面上の
10:41関数が一定値ですねつまりまFの値が一定
10:45となるようなあ曲線上ねそれを登行線と
10:51いう風に言いますだからこの等性上では
10:54fxyの値は常に同じということになる
10:57わけですねこれこれま投という風に呼び
11:01ますでそこでですねまfxyのえある点
11:06X0Y0がえまFX=Cの等線上にあるま
11:11=Cの等線上にある
11:14時点X0Y0の近くでその等線上にある別
11:19の点XYっていうのを考えるとでつまりま
11:22近くですからまX0+デXがXになるとで
11:27YがY=Y0+デタYという風に考えると
11:31でそうするとえこの点も点XYもえ登行線
11:36上にありますのでえこのFのX0+デXと
11:41Y0+デy=cになるということですね
11:44同じCになるとですからまこれをえま2次
11:49以上の項を無視してまテーラー展開をする
11:52とですねえまこんな感じに表すことが
11:55できるわけですねでえこれでそのさっきの
11:58そのX0Y0っていうのは登行線上の上に
12:01ありますからこれがCですから結局その
12:05えこのFXDelX+FYデY=0という
12:12ことになってでこのえFXDelXFYデ
12:17YっていうのはこれナブfとデタXとのお
12:21ま内積ということになりますから内積が0
12:24ということはこう直行してい
12:25るってことですねだからまああの今の考え
12:28方ね先ほど説明したものがま正しいとねで
12:32ナブラFっていうのはある曲線上の法線
12:35ベクトルになっていてねデルタXっていう
12:38のは接線の方向になってるわけですから
12:40それがこう直行しているということでま
12:43あのさっきの説明がま合ってるということ
12:46にこうなるわけです
12:48ねまこういった
12:50その結構そのいろんなねえ最適化の理論で
12:54もま局面曲線上とかね局面上の法線
12:58ベクトルとか接線ベクトルとかねえそう
13:01いったものもあまよく出てきますからま
13:03そういちょっと概念をねちょっと思い出し
13:05といて
13:07くださいでま先ほどねテーラー展開って
13:09いうのが出てきましたのでまちょっとこれ
13:11も復習をしておくとあのま関数ある関数ね
13:16FXとかまある関数っていうものはえま
13:19無数の同関数によってえま表すことができ
13:24ますというのがまテーラー展開なんです
13:26けど
13:27も例えばここに書いてるねまある点X+
13:31デタXの周りでのテーラー展開はえまこの
13:37デタXに関してその1次か2次か3次とか
13:40ねえこうに工事の項っていう風にこう
13:42いろんなその項でえこのFっという関数を
13:45こう表すことができるんですけど
13:48もうんで例えばこの2変数関数fxyと
13:52いう場合のではまこんな感じにテイラー
13:55展開されるわけですねまこの場合によく
13:58その2次以上の項を無視するとか3次以上
14:02の項を無視するとかねそういうにしてえま
14:05禁止するということがよくやりますでこれ
14:08はもうN変数の関数でも同じようにえ
14:11テーラー展開することができますのでま
14:13こういったこの非常に大変すね高次な関数
14:16でもまこういったことをあの色々出てき
14:19ますのでまちょっとこれも復習しといて
14:26くださいでえっと次にですねええっとま2
14:29次形式とま線形台数とかねえいろんな
14:32ところでこういった2次形式というものが
14:35あのよく出てきますのでまちょっとこれも
14:39あの少しだけねちょっと復習をしておき
14:41たいと思い
14:43ますでえま2次形式ってのはまどういう
14:46ものかということなんですけどもうん
14:49例えばここに書いてる例ではねまFXって
14:52いうのはn個の変数ねX1からXNまでの
14:56こn個の変数でま表現してるんですけど
14:59けどもあのそれぞれですねえっと2つの
15:03変数の掛け算ねX1の事情でもいいしX1
15:07下X2でもいいしねそういう2つの変数を
15:11掛け算したのこれを2次の項って言うん
15:13ですけどもこういう2次の項からのみなる
15:16式のことを2次形式という風に言いますで
15:19例えばですねまあのX1X2からなるま
15:24例えばこういった例を考えるとねえまX1
15:27の2とかX1とかX2の事情からなる項ま
15:31これをその2次形式っていう風に言ってで
15:34こういう2次形式になってるものはまここ
15:37に書いてるようにえX1X2のベクトルと
15:41こういう定数のま行列ですねこういう風に
15:43してえ表すことができますよとですからま
15:47一般的にこういったその2次形式っていう
15:50ものは2次まえ表せれる場合にはえXの
15:54このTっていうのは転地ですね関数fxは
15:58Xの天地とね行列AとベクトルXまこう
16:04いう風に表すこともできるしまXとAXと
16:08の内積という風にま表したりする場合も
16:11ありますけどもねだからまこ2次形式の
16:15場合にはえXの天地AXという形でま表す
16:20ことができるというわけですねだからま
16:24あの一応ま要素的に書くとおま例えばこの
16:291番下のようにね20二重のシによってま
16:34こういう風に一般的にこう表したりする
16:36こともできますまこういうのま2次形式と
16:40いうわけです
16:42ねはいえっとそれでねえっと2次形式の
16:46標準形についてお話をしますでまここでは
16:50ですね例えばNかn次元の正方行列Aと
16:54いうものがあった時にこの正方行列Aがえ
16:57n個の固有値っていうのを持つとしますで
17:00まI盤面の固有値をLIという風に表すと
17:04するとLIに対応したこういうベクトルを
17:08Piという風に表すとことにしますでこの
17:11こ有ベクトルPiをですねま列方向にこう
17:15n個こう並べた行列っていうものをとして
17:19考えますでこの時ですねPの逆行列に元の
17:25行列正方行列AとまたPっていうものを
17:28かけると結局その固有地がえ対角線上にね
17:33え並んだような
17:36え行列になるとでこれを対格化という風に
17:41言い
17:42ますで特にですねえこの時その行列Aと
17:47いうものが対象行列ま対象行列のは転地し
17:50ても同じになるとい行列ですね対行列の
17:53場合にはまま色々性質があって
17:59Pっていうものはこう直行行列になります
18:01で直行行列っていう定義はえPを展示した
18:05ものとPの逆行列ですねていうのが等しい
18:09ですよとで
18:11えまたそのえPの天地かPとPとPの天地
18:18をかけたものがま単位行列Iになりますよ
18:21とまこういったその直行行列にPはねなり
18:26ますよということなんですね
18:29でさらにはですねえまこの行列が対象行列
18:33の場合にはえっとまこのPの天地によまに
18:38よってXがま例えばXダシュにこう変換さ
18:42れたとしますね変換されたとしますでえ
18:48この時ですねえっとPの天地=Pの逆行列
18:54ですからえこれを使うとX=PのX
18:58ダッシュということになるわけですねです
19:02からまこれをこうさっきの2次形式Xの
19:06天地AXにですねXの天地とそのXにこう
19:12代入するとですね代入するとまこんな感じ
19:16にこう変形していけるわけですねでこれを
19:19ずっとこう変形して整理していくとラダ1
19:23のX1ダシュの2と+ラダ2のX2ダシュ
19:27の2という風ににしてえ表すことができる
19:30これを2次形式の標準系という風にま表す
19:34ことができますま言い
19:36ますでまこういったその線形台数の時には
19:39ねこれランクっていうのもよく出てくるん
19:42ですけどもえまえランクについてねえ
19:46ちょっとだけこう補足しておくとま対象
19:50行列の0でない固有値の個数をその行列の
19:53ランクま日本語で言うと回数って言います
19:56ねランクと呼びますとでえNけNの対象
20:01行列が正則であるための必要十分条件ま
20:05正則であるっていうことは逆行列を持つ
20:08ための必要十分条件はどの固有値も0で
20:13ないことということになり
20:15ますつわそのランクがNとなることである
20:19とランクがNっていうことはもうこれフル
20:21ランクって言うんですけどまこれNけN
20:24行列ですからえま最大の有値の個数がNと
20:30いうことですからえ全てその固有値0で
20:33ない固有値を持つという時にえま必要十分
20:37条件っていうのはああ正則でやるための
20:40必要分条件っていうのはどの固有打ちも0
20:43でないことすなわちランクがNであると
20:46いうことになるわけですねだからまこう
20:48いったそのランクっていうものをこう
20:50調べることによってもま正則であるかどう
20:53かていうこともこう分かるというわけです
20:55ねですからまあのまあねえ線形台数で習っ
21:00たようなことていうのはま結構こういった
21:02ね最適化の理論の中でもこう色々出てき
21:04ますのでま色々こう整理してといて
21:06もらえるといいかなという風に思い
21:10ますでまこれちょっともう概念的にはね
21:13ちょっとえ難しいですけどもまこれはもう
21:16こういう定義だという風にしてちょっと
21:18覚っといてもらったらいいんですけどま性
21:20定値性とかっていうのがあのこういった
21:23そのお最適化の理論とかねま制御の理論
21:27なんかでも実はこれよく出てくるんです
21:29けどもちょっとまこれはもこういうもんだ
21:31とにちょっとまとりあえず今はねこう覚え
21:33といてもらったらいいと思うんですけども
21:36例えばかさっきたその対象行列Aの固有値
21:39をダIとした時にえっと2位のベクトル
21:43ですね0でない2位のベクトルXに対して
21:46そのX点aのxまこれ2次形式ですね2次
21:51形式がえ0より大きければAが制定値で
21:55あるという風に言いますで実はこの時え
21:58ラダIっていうのはあ全部0より大きく
22:01なるということですからえま0でないn個
22:05の固有値を持つということになるわけです
22:07ねでえその2次形式が0以上の時には皮膚
22:13定置とか反制定値という風に言いますで
22:17この場合そのえ固有値ラダIっていうのは
22:200以上になるとだから0になることもあり
22:22売るということですねでえ2次形式がこの
22:26負になる場合ですねこのこのAが不定値で
22:30あるという風に言ってでここの時そのこ有
22:33値は全てえ負になるとでえこいう位が0
22:38以下になるような場合にはこれAが非制定
22:41値という風に呼んでえこのまえこ有1ダI
22:45っていうのは0以下になるつまりラダが0
22:47になることもあり得るというわけです
22:51ねでえっとこの2次形式が0より大または
22:55あ0より小さいねより大またはその0より
23:00小さいっていう場合にはAが不不定値って
23:03いう風に言ってえま例があラムダま固有地
23:08ラムダがですね正になったり負になった
23:10りっていうま両方存在するということに
23:12なるわけですねまこういうそのま2次形式
23:16のその符合とかねま0以上とか0以下とか
23:19ねえそういうものによってえ色々こう固有
23:22値との関係がありますのでえこの制定値と
23:26か皮不定値とか不定値とかねでそういう風
23:29にえ呼ばれていますだからまえAが制定値
23:32性を満たしているとかねえAが制定値の
23:35行列であるという風に言われたらこういう
23:38ことなんだよという風にま思っといて
23:43くださいでえそれでですね2次関数の同
23:46関数についても少し触れておきたいと思い
23:49ますでまここでそのえ2次形式をですねえ
23:54まxthHXという風にえ表すこととし
23:58ますちょっと1/2がついてますけどねま
24:00これはまあのどうでもいいのでえいいん
24:03ですけどもまXTのHXっていうにま2次
24:06形式でこう表したとするとでこれをそのえ
24:10Xの同関数っていうのはまラウFラXっと
24:15いうことになるのでえこのナブラFって
24:18いうものはえHXになるというわけですね
24:22でえさらにXで変微分したものがこれヘセ
24:25行列っていうことになるんですけどもで
24:27これHで表しますですからまFをxで2回
24:31変微分したものがまヘセ行列まこれ
24:34ヘシアンとも言うんですけどもでまこれを
24:37要素で書けばこの右下にあるようにま
24:41このヘシアンのねえ行列ってのこういう風
24:44に表したとするとHiIIJっていうのは
24:47まこういう風にXiとXJでま2回返分し
24:50たもののが要素になるというわけですねで
24:54これもえま最適化とかね学習とかの学習速
24:58とかを導く時のま勾配法とかでねよくその
25:02平成行率ヘ案を使ったような学習速とか
25:05最適化の理論とかもねありますのでまこの
25:08こういうものをへし案平成行列という風に
25:10てちょっと覚えといて
25:14くださいでえまこれもまそのあえて出さ
25:19なくてもいいかなとは思うんですけどま
25:21一応そのえ最適感にも多少関係がするので
25:24まあ一応その説明しておきたいと思思い
25:28ますでえまさっきも言ったように例えば
25:31その対象行列Aが制定値であるとま制定値
25:35の対象行列Aっていうものを考えると結局
25:39さっき言ったようにえラダIっていうのは
25:42全て正になるはずですね0より大きいと
25:45いう風になるはずですねだからまこれを0
25:48より大きいえ固有値がですねこういう風に
25:51n個あるという風に考えますとでえこの時
25:55ですねま例えばXのの
25:58がですねえ1ねまXの大きさが1であると
26:03いう条件のもでね2次形式X天地のAX
26:08っていうものを考えた時にこのFXという
26:13取りうる値の範囲はラダ1以上ラダN以下
26:18であるという風にえっとま分かるわけです
26:22ね例えばそのもうこれだけねこの関係が出
26:25てくれば実はもう最適かともえしていて
26:29例えばFXの例えばFXを最小にする最
26:35最小値を求めたいとかっていうことになる
26:38と実はこれラムダ1が最小値だしね最大値
26:42を求めたいっていうことになればこうラダ
26:44Nがあ最大値になるということなんですね
26:48でえその時ですねその時の例えば最小値に
26:53なるだったらラムダ1ですからえ最小値は
26:56ラムダ1ででラナー1に対応した固有
27:00ベクトルp1ですねP1というものが最小
27:06値におけるまXになると
27:09ねま最大値でも同じようにえFXの最大値
27:13っていうのはこれラダNになりますからえ
27:16ラダNに対応したこういうベクトルPNと
27:19いうものがあ最大値になる時のXに
27:23ベクトルになるということですねですから
27:25まこういう2次形式っでこう表現されてる
27:29場合にはねまこういったそのことを利用
27:32すれば
27:33えーままもちろん制定値性とかですね
27:37先ほど紹介したような制定値性とかって
27:39いうのをえベースにして考えればあま最小
27:42値とか最大値っていうのは結構こういう値
27:45を求めるだけでえ求まるしねでこういう値
27:48かこういうベクトルを求めればこういった
27:50その最適解とかっていうのをこう求める
27:52ことができるということでまあ一応その2
27:56次形式におけるその最低かとかねていう
27:59ことともこう関係がするのでえですからま
28:02こういったことをベースにしたようなこの
28:042次形式で書けるようなあ最適化問題って
28:07いうのはこういったことをベースにして
28:09え求めてま求めることができ
28:14ますでま以上でですねま最適化のための
28:17基礎数学の説明はあの終わりますでまた
28:21ただしねここではちょっと説明できなかっ
28:22たようなこともま色々出てくると思います
28:25けどもま一応皆さんがま習ってるような
28:28ことが多分ほとんどだと思いますのであの
28:31ま色々こう復習とかしながらねえ理解して
28:34いってもらったらあいいかなという風に
28:37思いますでま今日のま講義は一応これで
28:40終わりたいと思いますそれではさよなら
5.0 / 5 (0 votes)
