GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
Summary
TLDRこのスクリプトは、事前訓練されたトランスフォーマーモデルであるGPTとその仕組みについて解説しています。GPTは大量のデータを学習し、新しいテキストを生成することができます。その中核はアテンションメカニズムで、これは文脈を理解し、各単語が他の単語とどう関連しているかを把握する役割を果たします。また、トランスフォーマーは多層パーセプトロンブロックを使い、入力データを意味的に更新していきます。最適な単語の選択にはソフトマックス関数が使われ、これは確率分布を作り出すことで、次の単語を予測する際に役立ちます。さらに、温度パラメータの調整により、生成されるテキストの確度やオリジナリティを制御できます。トランスフォーマーモデルは、自然言語処理の進化の中で重要な役割を果たしており、AIの発展に寄与しています。
Takeaways
- 📚 GPTは事前訓練されたトランスフォーマーモデルで、新しいテキストを生成することができます。
- 🧠 事前訓練とは、モデルが大量のデータを学習し、具体的なタスクに応じてファインチューニングを適用するプロセスを指します。
- 🔑 トランスフォーマーは、現在のAI技術の中心的な発明であり、様々な種類のモデルを構築することができます。
- 🎭 トランスフォーマーは音声からテキストを書き取り、テキストから音声を生成するなど、多様な応用が可能です。
- 🌐 2022年に登場したDALL-EやMidjourneyなどの画像生成AIも、トランスフォーマーモデルに基づいています。
- ✍️ GPTのようなモデルは、テキストを受け取り、次の出現する単語や画像、音声を予測するように訓練されています。
- 🔮 予測モデルは、テキストを生成するプロセスで、ランダムなサンプルを生成し、テキストに連結することで長い文章を構築します。
- 📈 トランスフォーマーは、入力を小さな部分（トークン）に分け、ベクトルに変換することで処理を行います。
- 🤖 アテンションブロックは、文脈を把握し、意味を更新する演算であり、ニューラルネットワークの重要な部品です。
- 🧮 多層パーセプトロンブロックは、ベクトルに同じ演算を平行で適用し、パラメータを調整することで振る舞いを学習します。
- 🔄 学習プロセスは繰り返しされ、最終的なベクトルが文章の意味を含み、次に来るトークンの確率分布を作成します。
- 🔑 チャットボットやAIアシスタントは、システムプロンプトを作成し、ユーザーの入力に基づいて応答を予測します。
Q & A
GPTはどのような種類のニューラルネットワークモデルですか？
-GPTは事前訓練されたトランスフォーマーモデルです。これは大量のデータをもとに学習し、テキスト生成などを行うことができます。
トランスフォーマーモデルはどのようなタスクに使われますか？
-トランスフォーマーモデルはテキスト生成、音声認識、翻訳など、言語処理タスクに幅広く使われています。また、テキストから画像を生成するなどの創造的なタスクにも応用されています。
事前訓練とは何を意味しますか？
-事前訓練とは、モデルが特定のタスクに応じて追加のトレーニングをする前に、大量のデータを用いて事前に学習することで、一般的な言語パターンを捉えるプロセスを指します。
アテンションブロックとは何ですか？
-アテンションブロックは、トランスフォーマーモデル内の重要な部品で、各単語が文脈内の他の単語とどれだけ関連しているかを把握する役割を果たします。これにより、モデルはより適切な予測を行い、生成されたテキストの質を向上させることができます。
GPT3はなぜ機械学習コミュニティを超えて注目されたのですか？
-GPT3はその大規模なパラメータ数と高い性能によって、テキスト生成や自然言語処理タスクで優れた結果を出し、そのために世界中の注目を集めました。また、その能力を応用した様々なアプリケーションが提案され、インパクトを与えているためです。
テキストをどのようにしてベクトルに変換するのですか？
-テキストは、まず単語や記号などの小さな部分に分割され、それらをトークンと呼ばれます。その後、これらのトークンは埋め込み行列を通じて、各単語に対応するベクトルに変換されます。これらのベクトルは高次元空間内の点を表し、意味を持つ情報を含んでいます。
ソフトマックス関数は何に使われますか？
-ソフトマックス関数は、数値のリストを正規化された確率分布に変換するために使われます。これは、例えば、次に来る単語の予測や、アテンション機構での重みの計算に用いられます。
GPT3のパラメータ数はいくつですか？
-GPT3は約1750億のパラメータを持つ巨大なモデルです。これらのパラメータは、学習過程で調整され、モデルの振る舞いを決定します。
トランスフォーマーモデルの入力データはどのように処理されますか？
-トランスフォーマーモデルは、入力データを小さな部分に分割し、各部分をベクトルに変換します。これらのベクトルは、アテンションブロックや多層パーセプトロンブロックを通じて処理され、最終的な意味のベクトルに集約されます。
テキスト生成において、どのようにして意味のあるストーリーが生成されるのですか？
-テキスト生成では、モデルは与えられたテキストに基づいて、次に来る単語の確率分布を作り、その分布からランダムにサンプルを選ぶことで、徐々にストーリーを構築していきます。
温度パラメータはGPT3の生成プロセスでどのような役割を果たしますか？
-温度パラメータは、生成されるテキストの多様性と確率性を制御します。高い温度は一様分布に近づけ、低い温度は高い確率の単語を選ぶ傾向があります。これにより、生成テキストの創造性や予測可能性を調整できます。
Outlines
🧠 GPTとは何か？
GPTは生成事前訓練トランスフォーマーの略であり、新しいテキストを生成するボットです。事前訓練は大量のデータに基づいてモデルが学習することを意味し、トランスフォーマーは特定のニューラルネットワークの種類で、現在のAI技術の中心的な発明です。この動画では、トランスフォーマー内部でデータがどのように処理されるかを視覚的に説明し、様々なモデルの利用例についても紹介します。例えば、音声からテキストを生成するモデルや、テキストから画像を生成するモデルなどです。原型のトランスフォーマーはGoogleによって2017年に発明され、チャットGPTなどの基礎となっています。テキストの予測を通じて長い文章を生成するプロセスを説明し、GPT3とGPT2の違いについても触れています。
🔄 トランスフォーマーのプロセス
トランスフォーマーのデータ処理の流れを簡単に説明します。入力データはトークンと呼ばれる小さな部分に分割され、それぞれがベクトルに変換されます。このベクトルはアテンションブロックと多層パーセプトロンブロックを通じて情報を交換し、意味を更新します。最終的に生成されたベクトルは次に来るトークンの確率分布を作り出し、この分布をもとに次の単語を予測することができます。このプロセスは繰り返し行われ、長いテキストを生成することができます。
📊 埋め込みベクトルとその役割
トランスフォーマーでは、単語やトークンは埋め込みベクトルとして表現されます。これらのベクトルは高次元空間内の座標として考えることができ、意味の似ている単語は近いベクトルになります。埋め込みベクトルはトランスフォーマーの処理を通じて意味を持つ方向に変化し、モデルは訓練データをもとにこの方向性を学習します。例えば、性別や国に関連するベクトルの差を取ることで、意味のある情報を抽出することができます。
🌐 トランスフォーマーの文脈理解
トランスフォーマーは単語の埋め込みベクトルを用いて文脈を理解し、次に来る単語を予測します。モデルは1度に決まった数のベクトルしか処理できず、この数はコンテキストサイズと呼ばれます。GPT3では2048のベクトルが処理され、これがモデルが扱えるテキストの量を決定します。ネットワークの各層を通じて、ベクトルは意味を持つ方向に変化し、最終的に次に来る単語の予測に使用されます。
🎯 確率分布とソフトマックス関数
トランスフォーマーの最終ステップでは、次に来るトークンの確率分布を生成します。これにはソフトマックス関数が使用され、出力の数値を0と1の間に正規化し、全体の合計が1になるようにします。これにより、確率分布として解釈可能な形になります。モデルはこの分布をもとに次の単語を予測し、温度パラメータを調整することで、予測の多様性をコントロールできます。
📚 アテンション機構の準備
次回の動画では、アテンション機構について詳しく説明します。アテンション機構はトランスフォーマーの中心的な部分であり、埋め込みベクトルやソフトマックス、内積の概念を理解することでスムーズに理解できます。アテンション機構は、AIモデルが文脈を効率的に取り入れるための重要な要素です。
Mindmap
Keywords
💡GPT
💡事前訓練
💡トランスフォーマー
💡アテンションブロック
💡多層パーセプトロン
💡埋め込み行列
💡コンテキストサイズ
💡確率分布
💡ソフトマックス関数
💡温度パラメータ
💡ロジット
Highlights
GPTは事前訓練されたトランスフォーマーモデルで、新しいテキストを生成することができます。
事前訓練とは、モデルが大量のデータを学習し、具体的なタスクに応じてファインチューニングが可能という意味です。
トランスフォーマーは、現在のAIブームの中心的な発明であり、様々な種類のニューラルネットワークモデルの基礎となっています。
トランスフォーマーを使用すると、音声からテキストを書き取り、テキストから音声を生成するモデルを作成できます。
2022年に登場したDALL-EやMIDJOURNEYは、トランスフォーマーを用いてテキストから画像を生成するAIです。
原型のトランスフォーマーは、Googleが言語間の翻訳タスクに特化して開発しましたが、チャットGPTなどのテキスト予測モデルにも使用されています。
GPTは、与えられたテキストに基づいて次の単語を予測するように訓練され、その予測は確率分布として表現されます。
GPT2を動かすと、次の単語を予測し、ストーリーを生成することができますが、そのストーリーは必ずしも意味を持っていません。
GPT3はより大きなモデルで、意味のあるストーリーを生成することができます。
入力テキストは小さな部分に分けられ、トークンと呼ばれ、それぞれのトークンはベクトルに変換されます。
アテンションブロックは、ベクトルがお互いに情報を渡し合い、意味を更新する演算を行います。
多層パーセプトロンブロックは、ベクトルに同じ演算を平行で行い、値を更新します。
これらの演算は、巨大な行列の掛け算と見なされ、行列の理解が重要です。
アテンションと多層パーセプトロンの繰り返しによって、文章の意味が最後のベクトルに集約されます。
最後のベクトルから、次に来る全てのトークンの確率分布を作成し、テキストを生成することができます。
チャットボットは、ユーザーとの交流を通じて学習し、プロンプトを生成することで応答します。
深層学習は、逆伝播アルゴリズムを用いて学習され、モデルは入力データからパラメーターを調整します。
GPT3は150億のパラメーターを持ち、これは2万8000円の行列にまとめることができます。
埋め込み行列は、単語をベクトルに変換し、高次元空間内の点を表すために使用されます。
アテンション機構は、AIブームの中心であり、トランスフォーマーモデルを理解する上で重要です。
Transcripts
00:00GPTは生成事前訓練トランスフォーマー
00:03の略です1つ目は分かりやすいですねこれ
00:05は新しいテキストを生成するボットです
00:08事前訓練とはモデルが大量のデータを元に
00:11学習したことを表していますまたセト時
00:14から具体的なタクについて追加の
00:17トレーニングによってファイン
00:18チューニングをする余地があることが
00:20読み取れますしかし最後の単語これが真の
00:22鍵ですトランスフォーマーは特定の種類の
00:25ニューラルネットワーク機械学習モデルで
00:27現在のAIブームの元となっている中心的
00:30な発明ですこの動画と続編では
00:32トランスフォーマーの中で何が起こって
00:34いるのかを資格的に説明し
00:37ます内部を通るデータの流れに沿って
00:40一歩一歩見ていきましょう
00:42トランスフォーマーを使って作ることが
00:44できるモデルはたくさんありますある
00:46モデルは音声を元に台本を書き取ることが
00:49できますまたその逆でテキストから合成
00:52音声を作るモデルもあり
00:54ます2022年世界を接見したドリーや
00:58ミッジャーニーといったテキストから画像
01:00を生成するAIはトランスフォーマーで
01:02できてい
01:03ますフイクリーチャーが本来どんな見た目
01:06かは私にも分からないんですがこういった
01:08ことがある程度できるだけでもすごいと
01:10思い
01:12ます原型のトランスフォーマーは2017
01:15年にGoogleによってある言語から別
01:17の言語にテキストを翻訳する具体的な
01:20ユースケースのために発明されました
01:22しかし私たちが見ていくのはチャトGPT
01:24などの元になっているモデルでこれは
01:26テキストを受け取って場合によっては一緒
01:29に画像や音声を受け取って次に続くものが
01:32何であるか予測するように訓練されてい
01:34ますこの予測は次に続くテキストの候補
01:37異なるたくさんの塊の確率分布の形をして
01:40います一見すると次の単語を推測すること
01:44は新しいテキストを生成することから
01:47だいぶ離れていると感じられるかもしれ
01:49ませんがこうした予測モデルがあればより
01:51長い文章を最初に与えたテキストから作る
01:54ことができますモデルに生成された分布
01:57からランダムなサンプルを選ばせて
02:00これをテキストにくっつけてそれから全体
02:02のプロセスを今加えたものを含めた
02:04テキスト全体について再び実行します人に
02:07よるかもしれませんがこれがうまくいく気
02:09がしないという方もいらっしゃるかもしれ
02:11ません画面に示しているのはノート
02:13パソコンでGPT2を動かしている様子で
02:16繰り返し次の単語を予測させこれを
02:18取り込んで与えたテキストを元に
02:20ストーリーを生成させていますこの
02:22ストーリーはあんまり意味をなしていない
02:24ですねしかしこれをGPT3のAPIに
02:27変えるとこれは基本的に同じでただより
02:30大きなモデルなんですが急に意味をなす
02:32ストーリーが得られますパイクリーチャー
02:34が数学と計算の世界に住むとすら言ってい
02:37ますこの繰り返しの予測とサンプリングが
02:41まさに皆さんがチャットGPTや他の大
02:43規模言語モデルを使う時に起こっている
02:45こと
02:46です1単語ずつ生成される様子ですね次に
02:50来る新しい単語の元になっている分布が見
02:53られる機能は結構面白いと思います
03:01まずはトランスフォーマーがデータをどう
03:03処理するかざっくりと見ていきましょう
03:06それぞれのステップについて後でより深く
03:08詳細に見ていきますが全体像としては
03:10チャットボットがある単語を生成する時
03:13こんなことが起こってい
03:15ますまず入力はたくさんの小さな部分に
03:18分けられますこれらの小さな部分は
03:21トークンと呼ばれテキストの場合これは
03:23単語単語の1部分その他のよくある文字の
03:26組み合わせなどになります画像や音声を
03:29扱う場合トークンは画像の1区画や音声の
03:331部分になりますこうしたトークンの1つ
03:361つはベクトルつまり数のリストと
03:38結びつけられていますこれはその部分の
03:40意味を何らかの形で表現するものになって
03:43いますこれらのベクトルを非常に公次元の
03:46空間の座標として考えると似ている意味の
03:48単語はこの空間で互いに近いベクトルに
03:51なる傾向にありますこの1つきのベクトル
03:54はアテンションブロックという演算を経て
03:57ここでベクトルがお互いに情報を渡し値を
04:00更新します例えばモデルという単語は機械
04:04学習モデルという時とファッションモデル
04:07という時で意味が異なりますアテンション
04:10ブロックはある文脈でどの単語が他のどの
04:13単語と関連しているのか把握する役割を
04:15果し具体的にどのように意味を更新するか
04:18を導き出しますおさいですが意味という時
04:21これはベクトルの要素で完全に表現される
04:24ものを指してい
04:25ますそれからこれらのベクトルは別の演算
04:29多パーセプトロンやフィードフォワード層
04:31と呼ばれる部分を通り
04:33ますここではそれぞれのベクトルはお互い
04:36に干渉することなく同じ演算を平行で通り
04:40ますこのブロックは少し解釈が難しいの
04:42ですが後々このステップがそれぞれの
04:45ベクトルについていくつもの質問をして
04:47それからその答えに基づいて値を更新して
04:50いるようなものだということをお話しし
04:52ますこうした演算の全ては巨大な行列の
04:54掛け算の見た目をしていてこの基礎となっ
04:57ている行列をどう読むか理解することが
05:00私たちの第1目標になり
05:03ます途中にある正規化のステップなど詳細
05:06を飛ばしてはいるもののこれがざっくりと
05:08した見た目
05:10ですその後は基本的に同じプロセスの
05:13繰り返しになりますアテンションブロック
05:15と多層パーセプトロンブロックをいったり
05:17来たりしてついに最後まで来ると一塊の
05:20文章の根本的な意味全部がこの最後の
05:23ベクトルに焼きつけられ
05:25ますそれからこの最後のベクトルに特定の
05:28演算をして次に来るかもしれない全ての
05:31トークンの確率分布を作り
05:33ます前述の通り与えられたテキストの次に
05:37来るものを予測するツールがあれば初期値
05:39となるテキストを与えて次に何が来るかを
05:42繰り返し予測させることができます分布
05:45からサンプルを取ってきて元のテキストに
05:47付け加えてこれをひたすら繰り返すことが
05:49できますね詳しい方はチットGPTが
05:52現れるずっと前にGPT3のデモがこんな
05:55見た目だったのを覚えているかもしれませ
05:57んストーリーやエッセイを与えられた
05:59テキストにに基づいて自動保管させるわけ
06:01ですこうした道具をチャットボットにする
06:03簡単な方法はまずユーザーと優秀なAI
06:07アシスタントの交流の設定を作るような
06:09テキストを作ってこれはシステム
06:11プロンプトと呼びますがそれからユーザー
06:13の最初の質問あるいはプロンプトを対話の
06:16最初の部分にしてそれからこういった優秀
06:19なAIアシスタントがどのように応答し
06:21そうか予測させますこれがうまくいくため
06:24に必要な事前学習のステップはありますが
06:27ざっくり言うとこれが基本的な考え方です
06:30ですこのチャプターではネットワークの
06:331番最初と1番最後で何が起こっているか
06:36詳しく見ていきますそれから
06:38トランスフォーマーが登場した時点でどの
06:40機械学習エンジニアにとっても当たり前に
06:42なっていたであろう重要な背景知識も時間
06:45をかけておさいしたいと思いますもしこの
06:48背景知識に馴染みがある場合はご自由に次
06:50のチャプターに飛んでいただいて構いませ
06:52んそちらではトランスフォーマーの心臓と
06:55も言えるアテンションブロックに焦点を
06:57当てますその後は多層パーセプトロン
06:59ブロックや学習の仕組みその他そこまで
07:01飛ばしてきた詳細な部分についてお話しし
07:05ますより広い視点ではこれらの動画は深層
07:09学習についての短いシリーズの続きになっ
07:11ています前回までをご覧になっていなくて
07:14も大丈夫ですが特にトランスフォーマーに
07:16ついて見ていく前に深層学習の基本的な
07:18前提や構造について確認しておくと良いと
07:21思います明らかかもしれませんがこれは
07:24機械学習のアプローチの1つですモデルが
07:27どう振る舞うかを何かしらでデータを使っ
07:30て決めるようなどんなモデルのことも指し
07:33ますこれはつまり例えば画像を受け取って
07:36それが何であるかラベル付けしたり
07:39テキストを元に次に来る単語を予測したり
07:41ある種の直感やパターン認識の要素を必要
07:44とするタスクのことです最近だとこれを
07:47当たり前だと思うかもしれませんが機械
07:49学習の考え方はこのタスクを遂行する
07:51手続きを具体的にコードで定義しようと
07:54するのではなくちなみにこれはAIの最初
07:57期に人々がやっていたことなんですがその
07:59代わりに調整可能なパラメーターある種
08:02ダイヤルやノブのようなものをたくさん
08:04持った柔軟な構造を持たせてそれから与え
08:07られた入力に対してどんな出力が適切かと
08:10いうたくさんの例を使ってこの
08:11パラメーターを調整することでこの振舞を
08:14真似させようというものです例えば機械
08:16学習の最も単純な例は線形会期かもしれ
08:19ません入力と出力はそれぞれ1つの数で
08:22例えば住宅の面積とその価格でこれを元に
08:26住宅価格を予測するために1番合う直線を
08:29見つけたいとし
08:30ますこの直線を2つの連続変数例えば傾き
08:34とY接辺で表すことにすると線形会期の
08:38ゴールはデータにできるだけ合うような
08:40これらの変数を決定することになります
08:43言うまでもなく深層学習モデルはずっと
08:45複雑です例えばGPT3は2つではなく
08:491750SECのパラメーターを持ってい
08:51ますしかし問題は膨大な数のパラメーター
08:54を持つ巨大なモデルを作ることができたと
08:57してもそれが訓練データに過剰に適しない
08:59ことやあるいは全く訓練できない手に負え
09:02ないといったことにならない保証はないと
09:04いうことです深層学習はここ数十年で
09:07目覚ましくスケールできることが分かった
09:09モデルですその共通点は学習の
09:12アルゴリズムで以前お話しした逆電波と
09:14呼ばれるものですねここで皆さんと共有し
09:17ておきたいのはこの学習アルゴリズムが大
09:20規模でもうまくいくためにはこれらの
09:22モデルは特定の形式に従う必要があると
09:25いうことですこの先この形式が分かって
09:27いればトランスフォーマーに同言語を処理
09:29させているかたくさんのデザイン上の選択
09:32が当てずぽに感じられることなく説明し
09:34やすくなりますまずどのようなモデルでも
09:37入力は実数の配列である必要があります
09:40これは数のリストかもしれないし2次元の
09:43配列かもしれません大抵テンソルと呼ば
09:47れるより高次元の配列を扱います入力
09:50データはたくさんの異なる層に変換されて
09:53いくと考えることができ
09:55ます角層は実数の配列の構造をしていて
09:58最後のまで来るとこれは出力になります
10:01例えばテキスト処理モデルでは最後の層は
10:04次に来るトークンの確率分布を表す数の
10:07リストになっています深層学習ではこれら
10:10のパラメーターは大抵重みと呼ばれます
10:13これはこのパラメーターがデータ処理に
10:15どう関わるかに由来していますつまり重み
10:18つきは
10:20です非線形関数も登場しますがこれは
10:23パラメーターとは関係ないですねしかし
10:26大抵このように直接重み付きを書く割に
10:29行列とベクトルの席の要素として一まとめ
10:32にされているのを見かけると思い
10:34ます行列とベクトルの席を知っていれば
10:37これは同じものを表していると分かります
10:40ね出力のそれぞれの成分は重みつきはの見
10:43た目をしています単に概念的により明確だ
10:46と思うんですが行列を調整できるたくさん
10:48のパラメーターと考えてこれがデータから
10:51取ってきたベクトルを変換
10:52トランスフォームすると考え
10:54ましょう例えばGPT3の150億の重み
10:59は2万8000円に満たない行列に
11:01まとめることができますこれらの行列は8
11:04つに分類されます1つ1つのカテゴリに
11:07ついてそれが何をするのか見ていくことに
11:10し
11:11ましょうこのGPT3の150億という
11:15数字がどこから来たのか数え上げながら
11:17進むのは面白いのではないかと思います
11:20最近はより大きなより性能の良いモデルが
11:23ありますがGPT3には機械学習
11:25コミュニティを超えて世界の注目を浴びた
11:28魅力があるのではないですでしょかそれ
11:30から現実的に企業は最近のネットワークに
11:33関連した数字は言わない傾向にあります
11:35からチットGPTのようなツールの仕組み
11:38を見ていく準備をしっかりしておきたいと
11:40思い
11:42ますほとんどの計算は行列とベクトルの席
11:45の見た目をしていますが膨大な数の波に
11:47飲まれて迷子になってしまわないように先
11:50にしっかり区別をしておき
11:52ましょうモデルの重みは青か赤の色をつけ
11:55て表示します処理されるデータの方は
11:59グレースケールで表示します重みが脳の
12:02部分で訓練により学習し振る舞いを決める
12:04部分
12:06です処理されるデータはモデルが動く時に
12:09与えられる入力例えばテキストの一部の
12:12ような具体的な入力の情報を単に表してい
12:15ますこれを基礎としてテキスト処理の対1
12:18歩を見ていきましょう入力を細切れにして
12:22それをベクトルに変えることでしたこれら
12:24の細切れになった部分をトークンと呼ぶ話
12:27をしました単語の一部や記号などですね
12:30しかし今後動画の中ではもう少し綺麗に
12:32単語ごとに区切られているというふりをし
12:34たいと思います実際には違うんですが人間
12:38は単語で考えるので説明がずっと分かり
12:40やすくなりますから
12:41ねモデルには定義済みの語意考えられる
12:45あらゆる単語例えば5万5くらいのリスト
12:47があります我々が出くわす最初の行列は
12:50埋め込み行列と言ってこれらの単語1つ1
12:53つの列を持ってい
12:55ますこれらの列が最初のステップで
12:58それぞれの単がどのベクトルになるか決め
13:00ていますこれをWeと呼ぶことにし
13:04ましょう他の行列同様ランダムに始まって
13:07データを元に学習をさせ
13:10ます単語をベクトルにすることは
13:12トランスフォーマーの前から機械学習では
13:14よくあることでしたが初めて見る方にとっ
13:17てはやや奇妙に感じられるかもしれません
13:19のでちょっとこれになれる練習をし
13:21ましょう
13:22かこれは埋め込みと呼ばれてこれらの
13:25ベクトルは高次元の空間内の点を指すもの
13:28と考えることがができ
13:30ます3つの数のリストを3次元空間内の点
13:34の座標として資格化するのは簡単ですね
13:37しかし単語の埋め込みはずっと高次元です
13:40GPT3では
13:412228次元ありますたくさんの異なる
13:45方向を持つ空間で扱うことには実は意味が
13:47あるんですね3次元空間を横切る2次元の
13:50平面を取ってきて全ての点をこの平面に
13:54投影するのと同様に単語の埋め込みを説明
13:57するためにこの非常に高次元の空間を通る
13:593次元のスライスを選んで単語のベクトル
14:02をここに投影した結果をお見せしたいと
14:04思い
14:05[音楽]
14:07ますここで重要なのはモデルが重みを調整
14:11し学習する中で具体的にどのように単語が
14:14ベクトルに埋め込まれるかを決めるんです
14:16がこの時空間の中での方向がある種言葉の
14:19意味と関連するようになるということです
14:22例えばここで示している単純な単語と
14:24ベクトルのモデルではタワーに近い
14:26埋め込みのベクトルを探すと対応する単は
14:29どれもタワーっぽい感じを出していますよ
14:32ねご自宅でpyonでやってみたい方は
14:35このモデルが今アニメーションに使われて
14:37いるものですトランスフォーマーではあり
14:39ませんが説明するには十分ですねとにかく
14:42空間内の方向が意味を表すことができると
14:45いうことです昔ながらの例を示すと例えば
14:48女性と男性を表すベクトルの差を取ること
14:50を考えますこれはベクトルの先端をつげて
14:54こんな見た目になるのです
14:55がこれは女王とOの差にとても似たものに
14:59なってい
15:01ますなので例えば女性の君主を表す言葉を
15:05知らなかったらまず王を見つけてきて次に
15:08これに女性引く男性の方向を足してこの点
15:11に1番近い埋め込みを検索しますま大体
15:15こんな感じですこれは昔ながらの例なん
15:17ですが今回説明に使ったモデルでは
15:19クイーンはもうちょっと離れているみたい
15:21です多分訓練データでのクイーンの使われ
15:24方にバンドのクイーンとか他の用法が入っ
15:27ていたんでしょう
15:29色々試すと家族関係がより良い資格化に
15:32なっていまし
15:32たとにかくトレーニングの過程でモデルは
15:36空間のある位方向が性別の情報を表すよう
15:39に学習したよう
15:43です別の例ではイタリアの埋込みを取って
15:46きてドイツを引き算してこれにヒトラーを
15:50足す
15:51とムッソリーニの埋め込みにとても近い
15:54ものが得られますまるでモデルがある方向
15:57をイタリアっぽさと学習して別の方向を第
16:002次世界大戦の数字国指導者たちと学んだ
16:03かのようですちなみに面白いのはある
16:05モデルではドイツと本の差を取っ
16:08てそこに寿司を加えるとソーセージ
16:12ブラッドブルストに近いものが得られると
16:15いうことですね他にも近いベクトルを探す
16:17例では猫が獣とモンスターの近くになって
16:20いました特に次回に向けて覚えておくと
16:24良い数学的知識が2つのベクトルの内積
16:26ですこれは2つのベクトルがどれだだけ
16:29揃っているか測る方法として考えることが
16:31できます計算的には内積は全ての成分を
16:35それぞれペアで掛け算して足し合わせる
16:37ことになります私たちの計算のほとんどは
16:40重み付きはの見た目をしているのでこれは
16:42いいですね科学的には内積は2つの
16:45ベクトルが近い方向を向いていると正に
16:47なり垂直だと0になり逆方向を向いている
16:51と負になり
16:53ます例えばこのモデルで遊んでいて猫の
16:56複数形から端数形を引き算したら数を表す
17:00方向が分かるのではないかと予想でき
17:03ますこれをテストするにはこのベクトルと
17:06他の単数の名刺の埋め込みの内積を計算し
17:09てこれを複数形との内積と比較します
17:14いろんな単語で試すと複数形は確かに単数
17:17形よりも常に高い値を与えつまりこの方向
17:20に揃っているように見え
17:23ますさらに面白いのはこの内積を1や23
17:27といった単語の埋めと取ると増えていく値
17:30が得られてまるである単語がどれだけ複数
17:33っぽいかを量的に測ることができるかの
17:35ようです
17:36ね単語が具体的にどう埋め込まれるかは
17:40データを元に学習されます列がそれぞれの
17:42単語に何が起こるかを決める埋め込み行列
17:45は私たちのモデルの最初の重みの集まり
17:47ですGPT3では語意のサイズは5257
17:52ですおさいですが厳密にはこれは単語では
17:55なくトークンからなります埋め込みの次元
17:59は1万2188でこれらを掛け算すると
18:02重みが6億1700万ほどあることが
18:05分かります集計表にこれを書き加えておき
18:08ましょう最後には合計150億になるはず
18:11でした
18:12ねトランスフォーマーではこの埋込み空間
18:15のベクトルはただそれぞれの単語を表して
18:17いるだけではありませ
18:19んまずこれらは単語の位置を表す情報も
18:22持っていますこれは後でお話ししますが
18:25より重要なのはこれらが分脈を吸収する
18:28余裕を持っていると考えるべきであると
18:30いうことです例えばOを表す単語の
18:32埋め込みのベクトルから始まってこの
18:35ネットワークの様々なブロックに押したり
18:37引いたりされながら最後にはずっと具体的
18:40な方向に行くことができるということです
18:43スコットランドに住み前の台の王を殺し
18:46シェイクスピアの戯曲になったとか
18:51ね皆さんがどう単語を理解するか考えてみ
18:55ましょうその単語の意味は明らかに周辺の
18:58情報を使理解しますこれが離れたところの
19:00文脈である時もありますねなので次の単語
19:04を予測できるモデルを作るためにはどうに
19:06かこの文脈を効率的に盛り込む力を持たせ
19:09ないといけませんはっきりさせておくと
19:12最初入力テキストを元に配列を作るところ
19:15ではそれぞれのベクトルは単純に埋め込み
19:18行列から作られますなのではめ1つ1つは
19:21周囲の情報を持たない1つの単語の意味
19:23のみを持っていますしかしこの
19:25ネットワークがやりたいことはそれぞれの
19:27ベクトルが単語単体よりもずっと豊かで
19:30具体的な意味を吸収できるようにすること
19:35ですネットワークは1度に決まった数の
19:38ベクトルしか処理することができずこの数
19:41はコンテキストサイズと呼ばれますGPT
19:433ではこの数は2048なので
19:46ネットワークを流れるデータは2048の
19:48列がそれぞれ1万2000ほどの次元を
19:51持った配列の見た目をしていますこの
19:53コンテキストサイズはトランスフォーマー
19:55が次の単語を予測する際に扱えるテキスト
19:58のの量を決めていますだから初期の
20:00チャットGPTなどのチャットボットと
20:02長く会話していると会話の流れを失った
20:05ような感じがするんです
20:09ねアテンションについては次回説明します
20:12が飛ばして先に最後の部分についてお話し
20:15したいと思いますおさいですが欲しい出力
20:18は次に来るトークンの確率分布でし
20:21た例えば最後の単語が教授
20:25で文脈にハリーポッターのような単語が
20:28含まれてい
20:29その直後に1番嫌いな先生といった言葉が
20:32あってそれからここではトクが単純に単語
20:35の見た目をしていることにするとハリー
20:37ポッターの知識を持つ訓練された
20:39ネットワークはスネイプという単語に高い
20:41数値を結びつけますこれは2つのステップ
20:45からなります1つ目はまた別の強烈を使っ
20:47て最後のベクトルから語意にある5万の
20:50トークンそれぞれについての値を導き出し
20:54ますそれからこれを正規化して確率分布に
20:57する関数ソフトマックスがあってすぐ後で
21:00このお話もしますしかしその前にこの最後
21:03の埋め込みのみを使って予測をするのは
21:06少し奇妙な感じがしませんかこの最後の層
21:09でも数千の他のベクトルがそれぞれ文脈を
21:12含んだ意味を持ってそこにあるにも関わら
21:15ずこれは訓練の段階で最後の層のそれぞれ
21:19のベクトルに同時に直後に何が来るか推測
21:22させた方がずっと効率的だったということ
21:24に由来するんです
21:27ね後で訓練トレーニングについては詳細に
21:30扱い
21:32ますこの行列はアニベディメイトリックス
21:35と言って訳語が見つからなかったんですが
21:37このシリーズでは掘り出し行列ということ
21:39にしますそしてこの掘り出し行列はWUと
21:42書くことにしますこれも他の全ての重みの
21:45行列と同様成分ははめランダムで
21:47トレーニングによって学習されていきます
21:50そういえばパラメーターの数を数えてい
21:51ましたねこの掘り出し行列は語意の単語
21:54それぞれについて行を持っておりそれぞれ
21:56の行は埋め込み次元と同じ数の要素を持っ
21:59ています埋め込み行列ととても似ていて
22:02順番が入れ替わっただけですねなのでまた
22:056億1700万パラメーターが加わって
22:07ここまでで12億ぐらいになりました全部
22:10で1750のうち小さいけど無視できない
22:14一部
22:15ですこのチャプターのミニ講座として
22:18ソフトマックス関数についてお話しします
22:21これはアテンションブロックでも出てき
22:23ますから
22:24ね数のリストがあってこれを確率分布とし
22:28して解釈したい場合例えば次に来る単語の
22:31分布とかですねそれぞれの値は0と1の間
22:34になっていないといけないのとまた全部
22:37足し合わせたら1になっている必要があり
22:39ますしかし行列とベクトルの席がたくさん
22:42ある学習を一通り終えるとデフォルトの
22:45出力の見た目は全くこうなっていませ
22:48ん負の値もたくさんあるし1より大きい
22:51ものもあるしほとんど確実に足して1に
22:54なりませんソフトマックスは2位の数の
22:56リストを有効な分布に変関する標準的な
22:59方法で大きな値は1に近く小さな値は0に
23:03近くなり
23:04ますひとまず必要なのはここまでです興味
23:08がある方向けに説明するとまずそれぞれの
23:10数でEを上して正の数のリストにし
23:14ますそれからこれらの正の値の輪を取って
23:18この輪でそれぞれの値を割り算しますこれ
23:21で正規化されてリストの合計が1になり
23:23ますもし入力のうち1つの数が他より
23:26明らかに大きければ出力で対応する値が
23:30分布で突出しますなのでここから標本を
23:33取ったらほとんど確実に最大の入力を取っ
23:36ていることになりますしかし他の値が同様
23:38に大きい場合分布に有意味な重みが現れ
23:41ますからその意味で最大MAを取るより
23:44ソフトなんですねそれから入力を連続的に
23:47変えると分布も連続的に変化します
23:49チャットGPTのようないくつかの場合に
23:52はこの分布に1工夫をしていますこれらの
23:54指数の分母に定数Tを入れていますこれは
23:58温度テンパラチャーと呼ばれますなんと
24:00なく熱力学方程式の温度のような役割を
24:03彷彿とさせますからねTが大きい時には
24:06小さな値により重みを与えることになり
24:08ますつまり分布はより一様に近くなり
24:11ますTが小さい時にはより大きな値がより
24:15分布を独占するようになりますTが0だと
24:18最大値に全ての重みが割り振られ
24:21ます例えばGPT3にストーリーを書かせ
24:24ましょう昔々あるところに誰々がいました
24:27の途中まで書いたテキストを与えますが
24:30それぞれ異なる温度を設定しています温度
24:330は常に最も確からしい単語を選ぶことを
24:35意味します動画の3匹のクマを持ってきた
24:39ような話になりましたより高い温度では
24:42より低い確率の単語も選ぶチャンスがあり
24:44ますがリスクもありますここでは
24:46ストーリーはよりオリジナリティがある
24:48韓国の若いウェブアーティストの話から
24:51始まりましたがすぐに出たらめになって
24:53しまいました厳密にはAPIでは2より
24:56大きい温度を選べないようにいます数学的
24:59な理由はなくめちゃくちゃな内容を生成さ
25:02せないようにするためのC的な制限だと
25:04思われますなのでこのアニメーションは
25:06GPT3が作る次のトークン予測から
25:09APIで選べる最大の上位20件を取って
25:12きてそれからEの1/5上を元に確率を
25:15調整して作っていますもうちょっと用語の
25:18話をするとこの関数の出力の成分を確率と
25:21呼ぶのと同様にこの入力の部分はロジット
25:24と呼ばれ
25:25ます例えばあるテキストを入力して
25:28埋め込みがネットワークを流れてこの最後
25:31の掘り出し行列で掘り出されてくる時機械
25:34学習の人々はこの行の性分正規化されてい
25:37ない出力を次の単語の予測のロジットと
25:40呼び
25:42ますこのチャプターのゴールは
25:44アテンションを理解するための基礎を
25:46固めることでした素ぶり練習みたいな感じ
25:50ですねというのも単語埋め込みやソフト
25:53マックス内積が類似性を図ることそれから
25:57ほとんどの計算が行列の席の見た目をして
26:00いて行列がたくさんの調整できる
26:02パラメーターからなることを知っていれば
26:04アテンション機構このAIブームの中心は
26:07比較的スムーズに理解することができる
26:09ようになり
26:10ますアテンションについては次回見ていき
26:27ましょうOG
Browse More Related Video
How Google Translate Uses Math to Understand 134 Languages | WSJ Tech Behind
【英単語攻略】もっと脳を使えや！！独学でも完璧に英単語をカチ込む方法を教えてやる卍
さらに賢くなる！Claude3におけるプロンプト術を解説してみた
What is Stemming and how Does it Help Maximize Search Engine Performance?
Transformer Neural Networks, ChatGPT's foundation, Clearly Explained!!!
【ChatGPT】最新AIアプリで英単語を無限に覚える方法
5.0 / 5 (0 votes)
