5kai
Summary
TLDRこの講義では最適化の基礎数学について解説されています。固有値と固有ベクトル、対象行列、直行行列、2次形式、ヘシアン行列などの概念を復習し、最適化理論の理解を深めることを目的としています。
Takeaways
- 📚 最適化の基礎数学について、特にベクトル、行列、固有値、固有ベクトルなどの概念を復習する。
- 🔍 y=axという式から、ベクトルyが行列Aによってどのように変換されるかを学ぶ。
- 📈 固有値(ラムダ)と固有ベクトル(P)の関係性と、それらが行列の性質を表す方法を理解する。
- 📉 対象行列の固有値と固有ベクトルが存在する場合、その行列は特殊な性質を持ち、例えば直行する性質がある。
- 📐 平面と法線ベクトルの関係、および曲線上の点における法線ベクトルの計算方法を学ぶ。
- 📝 2次元平面上の曲線f(x, y) = 0における接線の方程式を導く方法を学ぶ。
- 📚 2次形式と線形台数に関する基礎知識を復習し、それらが最適化理論にどのように関連するかを理解する。
- 🔢 2次形式の標準形とその導出過程、固有値の分布が2次形式の性質を決定する理由を学ぶ。
- 📊 行列のランクとその重要性、特に対象行列が正則であるために必要な条件を理解する。
- 📈 2次形式が0以上または0以下の場合、行列の制定値性、不定値性、非制定値性を理解する。
- 📘 ヘシアン行列の概念とその在最適化や学習速度の導出における役割を学ぶ。
Q & A
最適化とはどのような概念ですか?
-最適化とは、ある問題に対して最適な解を求める数学的な手法です。最適化問題は、目的関数を最大化または最小化する同時、制約条件を満たすことが目標となります。
固有値と固有ベクトルとは何ですか?
-固有値は、線形代数において、ある線形変換で大きさのみが変化し、方向は変化しないベクトルに対する倍率です。固有ベクトルは、そのベクトルそのものです。
ベクトルの変換における方向の変化とは何を指しますか?
-ベクトルの変換において、方向の変化とは、変換された後のベクトルが変換前と比べて方向が異なることを指します。固有ベクトルは変換前後で方向が変わらないベクトルです。
対象行列とはどのような行列ですか?
-対象行列とは、転置しても同じ行列になる行列のことを指します。この行列は、固有値と固有ベクトルの性質を持ち、線形代数や最適化理論で重要な役割を果たします。
2次元平面と法線ベクトルの関係はどのようなものですか?
-2次元平面上の任意の点において、その点の法線ベクトルは平面の方程式を導くために使用されます。法線ベクトルは平面と垂直な方向を持つベクトルです。
テーラー展開とは何ですか?
-テーラー展開とは、関数をその値を中心とした多項式で近似する手法です。これにより、関数の微分や極値などの性質を分析することができます。
2次形式とはどのような数学的表現ですか?
-2次形式とは、変数の2乗項とそれらの積項のみを含む代数式のことを指します。一般的な形は x^T A x などであり、行列 A とベクトル x の積として表現されます。
対角化とは何を意味しますか?
-対角化とは、ある行列を対角行列に変換するプロセスです。対角行列は、非対角成分がすべてゼロで、対角成分のみが異なる値を持つ行列です。これにより、行列の固有値を簡単に求めることができます。
ランクとは何を指し、その重要性はありますか?
-ランクは、行列の最大の非ゼロ固有値の個数を指します。これは、線形代数において、行列の独立性や可逆性に関する重要な指標であり、最適化問題の解の存在や多重度に影響します。
2次形式の正値性、負値性、不定値性とは何を意味しますか?
-2次形式の正値性、負値性、不定値性は、2次形式の値が常に正、負、または正負の両方を持つかどうかを表します。これらの性質は、最適化問題における解の性質を決定する上で重要な役割を果たします。
Outlines
📚 最適化の基礎数学の復習
最適化の基礎となる数学概念について説明されています。固有値と固有ベクトルの関係性、行列の変換、およびベクトルの方向変化を解説しています。固有値は、行列Aによってベクトルが変換された際の倍率であり、固有ベクトルは変換前後で方向が変わらないベクトルを指します。また、対象行列とその性質についても触れられており、直行する性質を持つベクトル(内積が0になるベクトル)の重要性が強調されています。
📐 平面と法線ベクトルの関係性
2次元平面とその法線ベクトル、また接線の方程式について説明されています。平面上の曲線f(x, y) = 0について、その上側と下側の符号が反転する性質や、閉曲線内部と外部の符号変化について解説されています。さらに、法線ベクトルの計算方法やその重要性、および多変数空間での法線ベクトルの表現方法についても説明されています。
🔍 接線ベクトルと法線ベクトルの関係
接線ベクトルと法線ベクトルの関係性について詳しく説明されています。接線ベクトルは曲線上の特定の点における接線の方向を表し、法線ベクトルはその点における平面の垂直方向を示します。テーラー展開を用いてこれらのベクトルを導出する方法や、これらのベクトルが最適化理論や制御理論で重要な役割を果たすことについても触れられています。
📈 2次形式と対象行列の性質
2次形式と対象行列の性質について説明されています。2次形式は変数の2乗項のみからなる式であり、対象行列は特定の性質を持つ行列です。対象行列は固有値と固有ベクトルを持ち、これらの値を用いて2次形式を標準形に変換することができます。また、対象行列のランクや正則性についても触れられており、これらの概念が最適化理論で重要な役割を果たすことが示されています。
🔢 2次形式と行列の固有値
2次形式と行列の固有値の関係性について解説されています。2次形式は行列の固有値と固有ベクトルを用いて表現することができ、これらの値は最適化問題の解に関連しています。固有値が正の値である場合、行列は正定値であるとされ、最小値や最大値を求める問題で重要な役割を果たします。また、2次形式が0以上か0以下か、またはその両方の場合の行列の性質についても説明されています。
🔚 最適化のための基礎数学の概要
最適化のための基礎数学の概要について説明され、講義の締めくくりがされています。固有値、固有ベクトル、2次形式、対象行列の性質、およびヘッセ行列(2次微分行列)などの概念が復習され、これらの概念が最適化理論や制御理論でどのように使われるかについても触れられています。また、2次形式に基づく最適化問題の解法やその応用についても簡単に紹介されています。
Mindmap
Keywords
💡最適化
💡固有値
💡固有ベクトル
💡対象行列
💡法線ベクトル
💡テーラー展開
💡2次形式
💡ヘシアン行列
💡直行行列
💡2次形式の標準形
Highlights
最適化の基礎数学について話す。
固有値と固有ベクトルの基礎を復習する。
行列の変換とその特性を解説する。
対象行列とその性質について学ぶ。
平面と法線ベクトルの関係を理解する。
曲線と法線ベクトルの概念を復習する。
2次元平面上の曲線に関する接線の方程式を学ぶ。
テーラー展開の重要性とその適用を解説する。
2次形式とその数学的表現方法を学ぶ。
対象行列の対角化とそのプロセスを解説する。
線形台数におけるランクの概念とその重要性。
2次形式の標準形とその変形方法を学ぶ。
最適化理論における制定値性と不定値性の解説。
ヘシアン行列の役割とその計算方法を解説する。
2次形式に基づく最適化問題の解法を学ぶ。
最適化のための基礎数学の全体像を提供する。
講義のまとめと今後の最適化理論への道筋を示す。
Transcripts
はい皆さんこんにちはと今回から最適化に
ついて話をしていきますでま最適化ではね
まいろんなこう理論が出てきますのでま
そのために必要なねま最低限のまあの基礎
的な数学についてまずお話をしてからえ
最適化の理論についてお話をしていこうと
思い
ますでまずま最適化の基礎数学ということ
で
えっとでまずですねえ固有地とこういう
ベクトルについてあの復習をしてもらい
たいと思い
ますはいえっとそれではですねえっとここ
に書いてあるようにy=axっていうのを
考えてみてくださいでまyとxっていうの
がベクトルででえAが行列であるとでまA
がまここに書いてあるよはま2か2の
サイズの行列であるという風に考えて
くださいでこの時ですねえベクトルの1と
2というものはベクトル5の7に変換さ
れるんですねまこの図に書いてあるように
ねえ1と2っていうベクトルが5と7の
ベクトルにこう変換されるということに
なるんですけども例えばですね2と1って
いうベクトルはねベクトル4の2という風
にベクトルに変換されてこの下の図に書い
てあるようにねえ2と1っていうベクトル
はこのベクトルの大きさを2倍にしたよう
なベクトルね方向が変わらないでえ大きさ
が2倍になったようなベクトルに変換さ
れるわけですねでまた1と1っていう
ベクトルも同じようにえ方向が変わらない
でえ大きさが3倍になるようなあ変換され
ていますだからこういうベクトルが存在
するということになるわけですねですから
ま方向が変わらないまこれも方向がですね
ま逆向きでも構わないんですけどもねえ
逆向きもしくは同じ向きのでの大きさが
変わるという風にそのそういった変換さ
れるようなえベクトルが存在するという
ことになるわけですねですから例えばこう
いうそのえベクトルにまそういった方向が
変わらないえベクトルにこう着目をすると
ですね結局そのえAP=PというまこPが
これベクトルですねPがノト0のベクトル
として考えた時にえPというベクトルがA
によって変換されるのが結局元々のPと
いうベクトルがラムダ倍になるとねこの右
の図に書いてあるようなえことが
え式で書くとまこういう風になるわけです
ねでこの時にえラムダっていうものをこれ
固有値という風に言うわけですねだから
こういうベクトルが存在すればですねこう
いうベクトルが存在すればこのラムダ倍に
なってるものをこのラムダを固有値って
いう風に言うわけですねでえまこのラムダ
に対応したえこの方向が変わらないこの1
と1とか2と1っていうものをこれ固有
ベクトルっていう風に言いますでただこの
固有ベクトルっていうのはえまこの大きさ
は関係ないのでえま実はこの同じ方向の
ベクトルであれば何でもいいのでえその
無数に存在するということになるわけです
ね
いいですかねまこういったそのこういう値
とこういうベクトルってのはこういう関係
にあるということですねまもう1回言い
ますけどもえこういうy=axでえまXが
AによってYに変換されるという行列の
変換を考えた時にえ方向が変わらないベク
トルっていうものが存在しますよとね変換
される前と後で方向が変わらないベクト
ルっていうのが存在することがありますよ
とでその存在したとにえこのラムダって
いうのを固有値と言ってこの方向が変わら
ないベクトルのことをえこいうベクトルと
いう風に言うわけですねまこういうのま
よくちょっと覚えといて
くださいでさらにですねじゃあこのえ行列
Aが対象行列だった場合ですねま対象行列
っていうのは転地しても同じになるという
行列ですねそういう場合にえさっきのおの
ように例えばこう変換された後にえその
方向が変わらないベクトルていうものがま
存在するつまりま固有値と固有ベクトルと
いうものがま存在するんですけどもあ存在
することがあるんですけどもえっとその時
ですねこう対象行列になってる場合には実
はそのこ有ベクトルっていうものは直行
するという性質がありますねですからま
こういうまここういうその線形台数とかね
いろんなことをやってる時にこういった
対象行列ってのはあの結構よく出てくるん
ですけどもこういう対象行列のこういう
ベクトルっていうものは結こういう直行
するんだということをちょっとま覚えとい
てくださいま直行するってことはこの内積
を取った時に0になるということですから
まこういった性質っていうのもあのよく
利用されますですからもこれもよく覚え
といて
くださいでえっと次にですねえっと平面と
法線ベクトルということでちょっとこれも
復習しておきたいと思い
ますでえっと例えばですねこの左図のよう
にこの曲線を書いてあるんですけどもこれ
はもうえっと2次元平面ね2次元平面でえ
一応こう考えますけどもYのxy=0と
いう風にこの2次元平面上の曲線をこう
表したという風にしますでこの時にですね
ええYFXっていうものが0より小さい
領域がま上側手だとすると下側手の領域
っていうのは0より小さいということに
なるのでま色々この条件のこう判定とかね
色々こする時にま結局こういうえ2次元
平面上で考えた場合にYFえfxy=0と
いう曲線があった時時にその
えまこの場合だとその上側とか下側とかの
領域によってえその符号が反転するんです
よとねえま上側手の方が正だとすればあ
下側ば負になるんですよということですね
で同じようにですね例えばこう閉曲線です
ねえ右側手のようにえっとFのxy=0と
いうこの閉曲線があのあった時にま内部が
負になった時にはあ外が正になるよとね
例えばこういう風にそのえ符号が反転する
ということはまあのよく覚えといて
くださいまこういったことも最適化のねえ
ところでえまたまにこういうのが出てき
ますのでまこれいうのもちょっとま覚え
といて
くださいであとま曲線とね法線ベクトルに
ついてちょっとお話をしておきますけども
あの例えばさっきとねえ言った2次元平面
で考えますけども2次元平面のこのFの
xy=0という曲線でえある座標のの点
ですねX0Y0っていうある1点を考えた
時のその1点における法線ベクトルまなF
っていう風に書きますけどもえナブラFの
xyはまこの
おFをxで返微分したものをこのFXって
いう風に書いてえFをYで変微分したのを
FYっという風に書くとするとねえこの
法線ベクトルXX0Y0によく法線
ベクトルいうものはこのFXFYという風
にベクトルで表すことができるとでま
ちょっとこの書き方としてはねえ例えば
こう縦棒を引っ張っといてXYがX0Y0
という条件のもでっというね例えばこう
いう今こではこういう表記をしてますけど
もでこれはえX=X0Y=Y0の点に
おけるFXとFYということですねでこれ
はですねえま多数あのも高次元のそのえ
空間っていうのを考えてもですねま同じ
ようにえそのFをx1で変微分したものf
をx2で返微分したものともちろんこれも
点X1からXNにおける点におけるその
えベクトルね法線ベクトルということに
なるわけですねまこまこういう風にえ多
変数ま多次元になってもま同じように法線
ベクトルっていうのをこういう風に表さる
ことができるということちょっとまた覚え
といて
くださいまこの復習ですよね
はいはいえっとそれではま説平面について
お話をしますでえっとま先ほどと同じよう
にですねえ2次元平面内の曲線fxy=0
上のある点X0Y0での接線の方程式って
いうのはこういう風に表すことができると
でFXっていうのはFをxで返分したもの
でこの時そのX=X0Y=Y0でえ変微分
したものがFXとで同様にFYっていう
ものはFをYで変微分したものになります
まこの時えこういう風にそのX0Y0を
通るあの接線の方程式っていうのはこう
いう風になるわけですねで同じようにえま
3次元空間上の局面FXYZ=0でもね
同じようにこういう風に説平面の方程式
っていうものをま表すことができるという
わけですねま図でかけばまこんな感じに
なってるわけですねそのナブライフって
いうのがさっきのの法線ベクトルでしたね
そ法線ベクトルっていうのが求まりばこう
いうえ接線の方程式とかあ節平面の方程式
っていうものをま求めることができると
いうわけです
ねでまそこでですねまあまりこういうのは
こう必要ないかもしれないんですけどま
接線ベクトルと法線ベクトルがま直行し
てるんですよということだだけまちょっと
ねえお話をしておこうかなと思いますで
えっとま例えばさっきも出てきますけども
え2変数関数のまfxyではXY平面上の
関数が一定値ですねつまりまFの値が一定
となるようなあ曲線上ねそれを登行線と
いう風に言いますだからこの等性上では
fxyの値は常に同じということになる
わけですねこれこれま投という風に呼び
ますでそこでですねまfxyのえある点
X0Y0がえまFX=Cの等線上にあるま
=Cの等線上にある
時点X0Y0の近くでその等線上にある別
の点XYっていうのを考えるとでつまりま
近くですからまX0+デXがXになるとで
YがY=Y0+デタYという風に考えると
でそうするとえこの点も点XYもえ登行線
上にありますのでえこのFのX0+デXと
Y0+デy=cになるということですね
同じCになるとですからまこれをえま2次
以上の項を無視してまテーラー展開をする
とですねえまこんな感じに表すことが
できるわけですねでえこれでそのさっきの
そのX0Y0っていうのは登行線上の上に
ありますからこれがCですから結局その
えこのFXDelX+FYデY=0という
ことになってでこのえFXDelXFYデ
YっていうのはこれナブfとデタXとのお
ま内積ということになりますから内積が0
ということはこう直行してい
るってことですねだからまああの今の考え
方ね先ほど説明したものがま正しいとねで
ナブラFっていうのはある曲線上の法線
ベクトルになっていてねデルタXっていう
のは接線の方向になってるわけですから
それがこう直行しているということでま
あのさっきの説明がま合ってるということ
にこうなるわけです
ねまこういった
その結構そのいろんなねえ最適化の理論で
もま局面曲線上とかね局面上の法線
ベクトルとか接線ベクトルとかねえそう
いったものもあまよく出てきますからま
そういちょっと概念をねちょっと思い出し
といて
くださいでま先ほどねテーラー展開って
いうのが出てきましたのでまちょっとこれ
も復習をしておくとあのま関数ある関数ね
FXとかまある関数っていうものはえま
無数の同関数によってえま表すことができ
ますというのがまテーラー展開なんです
けど
も例えばここに書いてるねまある点X+
デタXの周りでのテーラー展開はえまこの
デタXに関してその1次か2次か3次とか
ねえこうに工事の項っていう風にこう
いろんなその項でえこのFっという関数を
こう表すことができるんですけど
もうんで例えばこの2変数関数fxyと
いう場合のではまこんな感じにテイラー
展開されるわけですねまこの場合によく
その2次以上の項を無視するとか3次以上
の項を無視するとかねそういうにしてえま
禁止するということがよくやりますでこれ
はもうN変数の関数でも同じようにえ
テーラー展開することができますのでま
こういったこの非常に大変すね高次な関数
でもまこういったことをあの色々出てき
ますのでまちょっとこれも復習しといて
くださいでえっと次にですねええっとま2
次形式とま線形台数とかねえいろんな
ところでこういった2次形式というものが
あのよく出てきますのでまちょっとこれも
あの少しだけねちょっと復習をしておき
たいと思い
ますでえま2次形式ってのはまどういう
ものかということなんですけどもうん
例えばここに書いてる例ではねまFXって
いうのはn個の変数ねX1からXNまでの
こn個の変数でま表現してるんですけど
けどもあのそれぞれですねえっと2つの
変数の掛け算ねX1の事情でもいいしX1
下X2でもいいしねそういう2つの変数を
掛け算したのこれを2次の項って言うん
ですけどもこういう2次の項からのみなる
式のことを2次形式という風に言いますで
例えばですねまあのX1X2からなるま
例えばこういった例を考えるとねえまX1
の2とかX1とかX2の事情からなる項ま
これをその2次形式っていう風に言ってで
こういう2次形式になってるものはまここ
に書いてるようにえX1X2のベクトルと
こういう定数のま行列ですねこういう風に
してえ表すことができますよとですからま
一般的にこういったその2次形式っていう
ものは2次まえ表せれる場合にはえXの
このTっていうのは転地ですね関数fxは
Xの天地とね行列AとベクトルXまこう
いう風に表すこともできるしまXとAXと
の内積という風にま表したりする場合も
ありますけどもねだからまこ2次形式の
場合にはえXの天地AXという形でま表す
ことができるというわけですねだからま
あの一応ま要素的に書くとおま例えばこの
1番下のようにね20二重のシによってま
こういう風に一般的にこう表したりする
こともできますまこういうのま2次形式と
いうわけです
ねはいえっとそれでねえっと2次形式の
標準形についてお話をしますでまここでは
ですね例えばNかn次元の正方行列Aと
いうものがあった時にこの正方行列Aがえ
n個の固有値っていうのを持つとしますで
まI盤面の固有値をLIという風に表すと
するとLIに対応したこういうベクトルを
Piという風に表すとことにしますでこの
こ有ベクトルPiをですねま列方向にこう
n個こう並べた行列っていうものをとして
考えますでこの時ですねPの逆行列に元の
行列正方行列AとまたPっていうものを
かけると結局その固有地がえ対角線上にね
え並んだような
え行列になるとでこれを対格化という風に
言い
ますで特にですねえこの時その行列Aと
いうものが対象行列ま対象行列のは転地し
ても同じになるとい行列ですね対行列の
場合にはまま色々性質があって
Pっていうものはこう直行行列になります
で直行行列っていう定義はえPを展示した
ものとPの逆行列ですねていうのが等しい
ですよとで
えまたそのえPの天地かPとPとPの天地
をかけたものがま単位行列Iになりますよ
とまこういったその直行行列にPはねなり
ますよということなんですね
でさらにはですねえまこの行列が対象行列
の場合にはえっとまこのPの天地によまに
よってXがま例えばXダシュにこう変換さ
れたとしますね変換されたとしますでえ
この時ですねえっとPの天地=Pの逆行列
ですからえこれを使うとX=PのX
ダッシュということになるわけですねです
からまこれをこうさっきの2次形式Xの
天地AXにですねXの天地とそのXにこう
代入するとですね代入するとまこんな感じ
にこう変形していけるわけですねでこれを
ずっとこう変形して整理していくとラダ1
のX1ダシュの2と+ラダ2のX2ダシュ
の2という風ににしてえ表すことができる
これを2次形式の標準系という風にま表す
ことができますま言い
ますでまこういったその線形台数の時には
ねこれランクっていうのもよく出てくるん
ですけどもえまえランクについてねえ
ちょっとだけこう補足しておくとま対象
行列の0でない固有値の個数をその行列の
ランクま日本語で言うと回数って言います
ねランクと呼びますとでえNけNの対象
行列が正則であるための必要十分条件ま
正則であるっていうことは逆行列を持つ
ための必要十分条件はどの固有値も0で
ないことということになり
ますつわそのランクがNとなることである
とランクがNっていうことはもうこれフル
ランクって言うんですけどまこれNけN
行列ですからえま最大の有値の個数がNと
いうことですからえ全てその固有値0で
ない固有値を持つという時にえま必要十分
条件っていうのはああ正則でやるための
必要分条件っていうのはどの固有打ちも0
でないことすなわちランクがNであると
いうことになるわけですねだからまこう
いったそのランクっていうものをこう
調べることによってもま正則であるかどう
かていうこともこう分かるというわけです
ねですからまあのまあねえ線形台数で習っ
たようなことていうのはま結構こういった
ね最適化の理論の中でもこう色々出てき
ますのでま色々こう整理してといて
もらえるといいかなという風に思い
ますでまこれちょっともう概念的にはね
ちょっとえ難しいですけどもまこれはもう
こういう定義だという風にしてちょっと
覚っといてもらったらいいんですけどま性
定値性とかっていうのがあのこういった
そのお最適化の理論とかねま制御の理論
なんかでも実はこれよく出てくるんです
けどもちょっとまこれはもこういうもんだ
とにちょっとまとりあえず今はねこう覚え
といてもらったらいいと思うんですけども
例えばかさっきたその対象行列Aの固有値
をダIとした時にえっと2位のベクトル
ですね0でない2位のベクトルXに対して
そのX点aのxまこれ2次形式ですね2次
形式がえ0より大きければAが制定値で
あるという風に言いますで実はこの時え
ラダIっていうのはあ全部0より大きく
なるということですからえま0でないn個
の固有値を持つということになるわけです
ねでえその2次形式が0以上の時には皮膚
定置とか反制定値という風に言いますで
この場合そのえ固有値ラダIっていうのは
0以上になるとだから0になることもあり
売るということですねでえ2次形式がこの
負になる場合ですねこのこのAが不定値で
あるという風に言ってでここの時そのこ有
値は全てえ負になるとでえこいう位が0
以下になるような場合にはこれAが非制定
値という風に呼んでえこのまえこ有1ダI
っていうのは0以下になるつまりラダが0
になることもあり得るというわけです
ねでえっとこの2次形式が0より大または
あ0より小さいねより大またはその0より
小さいっていう場合にはAが不不定値って
いう風に言ってえま例があラムダま固有地
ラムダがですね正になったり負になった
りっていうま両方存在するということに
なるわけですねまこういうそのま2次形式
のその符合とかねま0以上とか0以下とか
ねえそういうものによってえ色々こう固有
値との関係がありますのでえこの制定値と
か皮不定値とか不定値とかねでそういう風
にえ呼ばれていますだからまえAが制定値
性を満たしているとかねえAが制定値の
行列であるという風に言われたらこういう
ことなんだよという風にま思っといて
くださいでえそれでですね2次関数の同
関数についても少し触れておきたいと思い
ますでまここでそのえ2次形式をですねえ
まxthHXという風にえ表すこととし
ますちょっと1/2がついてますけどねま
これはまあのどうでもいいのでえいいん
ですけどもまXTのHXっていうにま2次
形式でこう表したとするとでこれをそのえ
Xの同関数っていうのはまラウFラXっと
いうことになるのでえこのナブラFって
いうものはえHXになるというわけですね
でえさらにXで変微分したものがこれヘセ
行列っていうことになるんですけどもで
これHで表しますですからまFをxで2回
変微分したものがまヘセ行列まこれ
ヘシアンとも言うんですけどもでまこれを
要素で書けばこの右下にあるようにま
このヘシアンのねえ行列ってのこういう風
に表したとするとHiIIJっていうのは
まこういう風にXiとXJでま2回返分し
たもののが要素になるというわけですねで
これもえま最適化とかね学習とかの学習速
とかを導く時のま勾配法とかでねよくその
平成行率ヘ案を使ったような学習速とか
最適化の理論とかもねありますのでまこの
こういうものをへし案平成行列という風に
てちょっと覚えといて
くださいでえまこれもまそのあえて出さ
なくてもいいかなとは思うんですけどま
一応そのえ最適感にも多少関係がするので
まあ一応その説明しておきたいと思思い
ますでえまさっきも言ったように例えば
その対象行列Aが制定値であるとま制定値
の対象行列Aっていうものを考えると結局
さっき言ったようにえラダIっていうのは
全て正になるはずですね0より大きいと
いう風になるはずですねだからまこれを0
より大きいえ固有値がですねこういう風に
n個あるという風に考えますとでえこの時
ですねま例えばXのの
がですねえ1ねまXの大きさが1であると
いう条件のもでね2次形式X天地のAX
っていうものを考えた時にこのFXという
取りうる値の範囲はラダ1以上ラダN以下
であるという風にえっとま分かるわけです
ね例えばそのもうこれだけねこの関係が出
てくれば実はもう最適かともえしていて
例えばFXの例えばFXを最小にする最
最小値を求めたいとかっていうことになる
と実はこれラムダ1が最小値だしね最大値
を求めたいっていうことになればこうラダ
Nがあ最大値になるということなんですね
でえその時ですねその時の例えば最小値に
なるだったらラムダ1ですからえ最小値は
ラムダ1ででラナー1に対応した固有
ベクトルp1ですねP1というものが最小
値におけるまXになると
ねま最大値でも同じようにえFXの最大値
っていうのはこれラダNになりますからえ
ラダNに対応したこういうベクトルPNと
いうものがあ最大値になる時のXに
ベクトルになるということですねですから
まこういう2次形式っでこう表現されてる
場合にはねまこういったそのことを利用
すれば
えーままもちろん制定値性とかですね
先ほど紹介したような制定値性とかって
いうのをえベースにして考えればあま最小
値とか最大値っていうのは結構こういう値
を求めるだけでえ求まるしねでこういう値
かこういうベクトルを求めればこういった
その最適解とかっていうのをこう求める
ことができるということでまあ一応その2
次形式におけるその最低かとかねていう
ことともこう関係がするのでえですからま
こういったことをベースにしたようなこの
2次形式で書けるようなあ最適化問題って
いうのはこういったことをベースにして
え求めてま求めることができ
ますでま以上でですねま最適化のための
基礎数学の説明はあの終わりますでまた
ただしねここではちょっと説明できなかっ
たようなこともま色々出てくると思います
けどもま一応皆さんがま習ってるような
ことが多分ほとんどだと思いますのであの
ま色々こう復習とかしながらねえ理解して
いってもらったらあいいかなという風に
思いますでま今日のま講義は一応これで
終わりたいと思いますそれではさよなら
5.0 / 5 (0 votes)