【AI論文解説】DALL-E 2へ至るまでの道のり：文章に沿った画像を高品質かつ多様に生成 -詳細編-
Summary
TLDRこのビデオでは、拡散モデル（Diffusion Models）に基づいた画像生成技術の進化について解説しています。最初に、拡散過程を利用した生成モデルの基礎から始め、DDPM（Denoising Diffusion Probabilistic Models）の説明へと進みます。次に、高解像度画像生成に挑戦したADM（Augmented Diffusion Models）の紹介、テキストから画像を生成する技術への拡張、そして最終的には、この技術の最先端であるDALL·E 2やCLIPとの統合により、よりリアルで多様な画像生成が可能になったプロセスを詳しく説明しています。生成モデルの仕組み、アーキテクチャの特徴、そして具体的な応用例まで、最新の画像生成技術の概要を網羅的に紹介しています。
Takeaways
- 😀 拡散モデルはノイズに基づいて画像を生成する生成モデルである
- 😊 dpmは拡散モデルの基本形で、逆方向にノイズを取り除いていくことで画像を生成する
- 📝 admはdpmを拡張し、高解像度画像の生成を実現した
- 👩💻 グライドはテキスト条件付きで画像を生成できるようになった
- 📱 アンクリップはグライドを改良し、画像の多様性と品質の両立を図った
- 🖥 アンクリップはデコーダとプライヤーの2つの拡散モデルを組み合わせている
- 📷 デコーダーを使うことで、画像の変換や中間画像の生成が可能
- 🔬 クリップ特徴量の主成分分析から意味的な情報が埋め込まれていることがわかる
- ❌ クリップ特徴量では物体と属性の結びつきがうまく表現できない場合がある
- 🚨 クリップ特徴量に文字列が埋め込まれていないと正しく生成できない
Q & A
拡散モデルとはどのようなものですか?
-拡散モデルは、あるデータが与えられたときに、ガウスノイズを乗せていくことで完全なノイズに至る過程を考えた生成モデルです。この「時間の逆向きにノイズを取り除いていく」ことで、ノイズからデータを生成できると考えています。
DDPMとは何ですか?
-DDPMは拡散モデルの一つで、一つ前の時刻を推定する処理をノイズ除去の処理として学習する方法です。情報量の誤差を最初から最小化しようとするアプローチです。
ADMの特徴は何ですか?
-ADMはモデルをベースとアップサンプラーの2つに分割し、ベースで低解像度画像を生成し、アップサンプラーで高解像度画像を生成するという構成を取っています。これにより高解像度画像生成が可能になっています。
クラス制御拡散モデルとは?
-クラス情報を拡散モデルの入力として与えることで、そのクラスに沿った画像を生成するモデルのことです。ADMではクラス情報と時刻情報を結合してモデルに入力しています。
DDIMは何を目的とした手法ですか?
-DDIMは、クラス識別モデルを使わずに、拡散モデルだけでクラス情報を反映させる手法です。クラス指定の有無によるノイズの差分を利用することで実現しています。
クラスガイダンスとは何ですか?
-指定されたクラスに近づくように、ノイズの結果をずらす処理のことです。クラスファイヤーを使って勾配を計算し、その分だけ結果をずらします。これによりクラス情報を強く反映できます。
DALL-E 2で画像エンコーダーはなぜ必要ですか?
-テキストから直接画像を生成する代わりに、テキストに対応する画像の特徴量を生成し、それをデコーダーで画像に復元することで、品質と多様性のバランスが取れた生成が可能になるためです。
クラスガイダンスとCLIPガイダンスの違いは?
-クラスガイダンスは指定テキストをそのまま使うのに対し、CLIPガイダンスはテキストから特徴量を生成するので、ガイダンスが強くても多様性が下がりにくい特徴があります。
拡散モデルの欠点は?
-拡散モデルはCLIP特徴量を利用しているため、そこで抽出しきれていない情報は正しく生成できない場合がある点です。例えば、物体と属性の結びつきなどの理解が難しいです。
拡散モデルの今後の可能性は?
-特徴量だけでなく、潜在空間での拡散モデル利用が面白いと思います。計算コスト削減という従来の用途とは異なり、条件情報の生成に使うというアイデアは新しいと感じます。
Outlines
😊拡散モデルの基本的な説明
拡散過程と拡散モデルの概念説明。画像生成のためにノイズの除去を繰り返し行う。ddpmというベースラインモデルの紹介。
😃高解像度画像生成のadmについて
2つのdpmで構成されるadmでは、低解像度画像生成後に高解像度画像を生成する。クラス条件付きの低解像度画像生成時にはクラスガイダンスを用いる。
😄テキスト条件付き画像生成のグライド
テキストから画像を生成するためのグライド手法。クラスガイダンスの代わりにクリップの類似度やクラスガイダンスフリーを利用。
🤩アンクリップv2の概要
画像とテキストの変換を行うアンクリップv2では、トランスフォーマーのプライヤーと拡散モデルのデコーダーを使用。グライドと比較して多様性を維持。
😮アンクリップv2の応用
アンクリップv2を用いて、画像編集、画像間の中間画像生成などの応用が可能。クリップ空間の解析にも利用できる。
🤔アンクリップv2の限界
クリップがうまく特徴抽出できない場合、正しく生成できない。属性と物体の結びつきや文字情報の保持などが難しい。
Mindmap
Keywords
💡拡散モデル
💡高解像度画像生成
💡テキスト条件付き画像生成
💡クリップ
💡アンクリップ
💡拡散モデルとアンクリップの融合
💡クラス条件付き画像生成
💡テキストガイダンス
💡拡散モデルの多様な応用
💡計算コスト
Highlights
最初の重要なハイライトのプレースホルダー
2番目の注目すべきハイライトのプレースホルダー
3番目のハイライトのプレースホルダー
4番目のハイライトのプレースホルダー
5番目のハイライトのプレースホルダー
6番目のハイライトのプレースホルダー
7番目のハイライトのプレースホルダー
8番目のハイライトのプレースホルダー
9番目のハイライトのプレースホルダー
10番目のハイライトのプレースホルダー
11番目のハイライトのプレースホルダー
12番目のハイライトのプレースホルダー
13番目のハイライトのプレースホルダー
14番目のハイライトのプレースホルダー
15番目のハイライトのプレースホルダー
Transcripts
00:01いっ
00:03はいということででは打率に怒るまでの道
00:06ということで
00:09この図を左から順番に説明していきます
00:14まずは一番代表的なベースラインである
00:16この dd pm というものを説明し
00:18ます
00:20まずそもそも diffusion モデル
00:21拡散モデルテナーにって話なんですけど
00:23これは拡散過程に基づく生成モデルです
00:26拡散過程というのはあるデータが与えられ
00:29たときに
00:30ジョジョインド位ノイズを乗っけいって
00:33いくことで完全なの維持に至るというよう
00:35な過程を考えてあげますこれを拡散過程と
00:38呼びます
00:39これは別にあの倍増乗っけるだけだので
00:41特にん
00:42なんか学習するものは何もなくて
00:44ドイツ思ってるだけですね
00:47この拡散モデルというのはこれを逆に遡る
00:49ことによってノイズをデータ変換しようと
00:52いうことを考えます
00:54つまり各時刻においてちょっとだけ乗って
00:56いるノイズをちょっとだけ
00:58除去するということをたくさん繰り返し
01:00行えばノイズからデータが生成できる
01:02でしょうということで
01:06えーとこれあの物理現象との新たなロジー
01:08ということで自国という概念が導入されて
01:10います時刻というのはゼロの時がデータで
01:14時刻が過ぎていくことにだんだんデータが
01:17崩壊していってらー gt になった時に
01:20完全にノイズになっているという風に考え
01:21ます
01:28代表的なベースラインジェルこの dd
01:30pm n ジング diffusion
01:31プロバリスティックモデルというのは
01:33このひとつ時刻を戻る処理というのをで
01:36ノイズ処理とし学習しようという方法です
01:39具体的はもう最初に情報というか8二乗
01:41誤差最初かで学習しようという方法です
01:45モデルの入力としては学習データにノイズ
01:48をのっけたものを入力してあげて+時刻
01:51ですね今何時ですかっていうのを入力して
01:53あげて
01:54このだぞに乗っている
01:56ノイズを捨て推定しますこの推定した
01:59ノイズがここでのっけたノイズと窓のか何
02:02ているかと言う事でこれを最小化するよう
02:05にモデルを更新するというような学習を
02:07行います
02:09今回紹介するすべてのモデルはもうこれを
02:13使っているのでちょっと今回はもうこれ
02:15以上説明しませんなんで25支え消化が
02:18いいのかと
02:19いうことを知りたい方はあの別当10日が
02:22あるのでこちらをご覧ください
02:26今回はちょっとアーキテクチャどういうの
02:27を使っているのかが若干重要なので
02:29ちょっとアーキテクチャについて紹介し
02:31ます
02:32でベースああいうネットですね
02:35ノイズ月画像が入ってきてダウンサンプル
02:37してたを散布しダウンサンプルしてって
02:39いうのが入って
02:41深く深いところでちょっと処理があった後
02:43に今度アップ散布したさせしたサンプル4
02:45良いのがありますここがスキップ
02:48コネクションで使ってつながっていると
02:49いうモデルですね
02:53えっと後時刻情報を入れなくちゃいけない
02:55のでここに時刻情報が入ってきます今時刻
02:58情報はエンディングしてアフィンを2回
03:00掛けた後に
03:02各ブロックに入っていきます
03:05この各ブロックではそれぞれこの情報にア
03:08フィンをかけた後に
03:10パーカー減ったフィンをかけることで
03:12チャンネルごと特徴量ごとのスケールと
03:14バイアスを計算して
03:16ここで抽出されている特徴連休をすると
03:19いうことを行います
03:20あのご存知の方フィルムと呼ばれている
03:23技術に相当します
03:28伊藤
03:29先ほどの例は特に何も指定しないでし生成
03:32する場合なんですけどクラスを指定して
03:34生成したい場合はあの
03:36クラスの情報を同様に入れますでこれは
03:39自国と情報へ時刻情報と同様に入れます
03:43具体的にどうやっているかと言うと先ほど
03:45のこの左下の部分で時刻入れてたんです
03:48けどここに暮らすも入れてあげてあの
03:50足し算して同じように使うという家ですね
03:54学習の方法は基本的に変更だしです
03:58これによってへとモデルが入力
04:01であるそのクラス情報を使って色移動する
04:03ということができるようになります
04:08ということでまず dba をご紹介し
04:11ますと
04:12次がですねこの dpm を使って高解像
04:15度画像を生成するためにはどうしたらいい
04:17かということでこの壁を打ち破った adm
04:20と呼ばれるモデルを紹介します
04:24adm ではですねまず今回贈答生成の
04:27ためにモデルを2つに分割しましたこの
04:29ベースとアップ散布等と言われています
04:32それぞれ dpm なんですけどこっちの
04:34低解像度生成の方は低解像の数を生成する
04:37と高解像堂先生の方は
04:40て解像度の画像と
04:43この5月の高解像度のでデータを使って割
04:47増推定すると
04:48いうことを行います
04:50メッセージは力生シティ
04:53低解像度画像を生成したあとこっちの
04:55dpm で公開外画像を生成するという
04:58ことによって最終的に高解像度が生成
05:01できるというものです
05:06ヘッド adm はですねこのモデルを二
05:09つに割ったというのとさらにですねこの低
05:12解像度の生成時のみ
05:14クラスば野外ランスと呼ばれる処理を使っ
05:17て暮らす情報を強く反映させるということ
05:19を行っています
05:23いくら妻野外ラースどんな持つかというと
05:26グラスファイバーを使って各自国ので
05:28ガールズ結果をずらすということを行い
05:29ます
05:31この先ほどのいうネットをで生成し生成し
05:34たでノイズ結果を何か事前学習
05:37海のクラスファイアに入れてあげて暮らす
05:40識別を行います例えばこの赤い部分の
05:43クラスに対応するものを今回を作りたいん
05:45ですと思ったらここの出力が上がるように
05:48したいので
05:49この出力に対応する勾配を計算します
05:54この入力に対する購買を計算したら素が出
05:57ないず結果に達しだするということを行い
05:59ます
06:00猫の足し算された結果を注ぎた自国の下の
06:03子処理使うという処理になりますこれに
06:06よって
06:07まあとりあえず結果ちょっとずらされて
06:08言ってワーク等特定のクラス方向に
06:11とんとんてなぜ結果がよっていくという
06:13ことが行います
06:19えっと adm の性能なんですけどここ
06:21に店でているのはイメージ熱湯の512
06:24かけ512の画像だけ実験機した結果です
06:27けど
06:28非常に高精細な画像が
06:31生成できているということがわかると思い
06:32ます
06:34定量的な評価においてもピぐぎゃんを
06:37上回る妖精のを得ていて
06:39国会増の中画像生成において初めてやを
06:41超える性能を達成したというものをこのに
06:44市に報告しています
06:52はいここまでで高解像度画像が生成できる
06:54ようになりました次はですねテキストに
06:57沿っだーが画像を生成するためにはどうし
06:59たらいいかということを行いたいと思い
07:01ますが
07:03その前に四段が2つあります
07:06一つ目がの最初に紹介したクリップですね
07:08これはも再掲などで簡単に来ますけどその
07:11画像とテキストを直接比較できる特徴空間
07:15に飛ばしてくれるエンコーダーが2つ用意
07:16されましたという話です
07:20これの学習方法について知りたいという方
07:23のまた別の動画にあるのでご覧ください
07:29もう一つの四段がちょっとクラスファーや
07:31古いが入りますと呼ばれるものって
07:34先ほどの蔵スパイダースというのは
07:37クラスファイアーが必要ですね
07:39なんですけどこのクラスファイアーという
07:40のはノイズ月のガードで学習したクラス
07:42識別キーが必要があってこれ別途用意し
07:45なくちゃいけませんなのでこの準備の
07:47コストが高かったという問題がありました
07:51これとくださいは使いたくないということ
07:53で
07:54小倉スパや古いガイダンスでは+ fire
07:57使わずに拡散モデルだけを使って似たよう
07:59なガイダンスを行うにはどうしたらいいか
08:01ということを行っています
08:05具体的にどうやっているかと言うと強度の
08:08いう音と左下時刻とクラスを指定して精製
08:11していたと思うんですけど
08:12クラスを指定して生成するというのと指定
08:17しないで先制するというのをそれぞれ
08:19行なっておきます
08:21s 当然その推定されるノイズがちょっと
08:23違うわけですけど
08:25このクラス条件の有無によって生じた違い
08:28を s 倍に強調して
08:31生成したこのノイズというを
08:35推定されたノイズとして使うということを
08:37行いますこれによって暮らす情報の利用に
08:40よる変化がビス杯強調されて
08:43先ほどのクラスからがイラスト同様に
08:45暮らす情報を強く反映させるということが
08:48できるようになります
08:54はいということで本来のあのテキストから
08:56画像の生成をするにはどうしたらいいかと
08:59いう話をします
09:04ええっとテキストから画像生成したいん
09:06ですけど
09:07指定されたテキストにそうだ造成したいと
09:09いうことで先ほどまでクラス情報を使って
09:11いたんですけどこれのカーリンテキスト
09:13情報使えばいいというのがアプローチに
09:16なります
09:18先ほどの adm ではクラス情報が幕
09:21大きく2つ
09:23使う場所がありました
09:25一つが1情報時刻情報と一緒にモデル入力
09:29してたということですね
09:30この部分に関しては別にテキスト情報でも
09:33同様に可能ですエンディングどうするても
09:35でありますけど基本的にはどう
09:37と良い可能です
09:40もう一つがですね生成時にベースのモデル
09:43において暮らすファイラー具合ランスに
09:45使っていました
09:47ここですねー
09:49こちらに関しては
09:51テキストの場合に対応するこのクラス
09:53ファイアーというのが自明じゃないので
09:56このくらいガイドの仕方に工夫が必要です
10:01この工夫を行ったのがこのグライドと呼ば
10:04れ方法手法です
10:07このくらいグライドではですね
10:09テキストカラーの画像生成が行われるよう
10:12にこの入江も拡張した方法なんですけど
10:15先ほど言ったようにそモデルへのテキスト
10:17入力はグラ8 adm のクラス4個と
10:20ほぼ同様の方法で行っています
10:23一方でガイダンスの方がしては2つの方法
10:26を提案してその性能を検証するということ
10:28を行っています
10:31一つがとくれクリップ大ラスと呼ばれる
10:33もので
10:34アラサーヤの代わりにクリップの類似度を
10:36使った映画遺髪を行うというものです
10:40もう一つが暮らす fire フリーが
10:42イラストさっき紹介したものを使ったもの
10:44です
10:48グリップガイダンスは本当にこのクラス
10:50ファイアの部分をクリップのイメージ
10:52エンコーダーに置き換えたものですね指定
10:55されたテキストに近くなるように公開を
10:59計算して aその分ずらすという処理に
11:02なります
11:08伊藤テキストここを使ったクラス早振り
11:10ガイダンスもこれもあの先ほど紹介した
11:12クラスはや古いがイラストほとんど一緒で
11:14ここをクラスだったのテキストなっている
11:16だけです
11:23はい0レッドグライドの性能なんですけど
11:26ここに示しているのは s 9プロンプト
11:28から生成した結果ですが
11:30このような感じになって言ってチリつめが
11:32今回紹介してないですけどたりバージョン
11:35i ですね
11:37ヘッドを真ん中がクリップ外ラースを使っ
11:40たグライド一番下がクラスはや古い
11:43ガイダンスを使ったグライドです
11:46ちょっとこれ見て伝わるかどうかわかん
11:48ないんですけど
11:49だりーわ結構のっぺりとしたテクスチャー
11:51になってしまうって言うんですけど
11:53ちょっとグライドのほうはかなり細かい
11:55テクスチャまで復元できていて
11:58先制できていて高精細な画像が生成できて
12:01いるということがわかると思います
12:04あとですねチェーンダルいの方は毒いっ
12:07ぷりランキングと呼ばれている処理が築か
12:09れていってたくさん生成してみてあの
12:12clips 公が一番良いものなんか使う
12:14たい
12:15ことを行っているので生成こそが結構高い
12:17んですけどプライドはそのようなことを来
12:20なくても先生がうまくいくということが
12:22わかっています
12:25ちなみにこの2つはどっちがいいかという
12:26と定量的にはこの下側のクラスはや古い街
12:29発を使う方が良いということがわかってい
12:32ます
12:32なぜこの後紹介するアクリップ
12:35ダリのバージョン2の方でもこちらが使わ
12:38れています
12:41えっとちなみにですねこのグライドは局所
12:43的な編集へ拡張することもいけます
12:47このレビューとまぁこの四角の部分
12:49だけをこの
12:52とテキストに合うように
12:54生成してくださいみたいなことはできる
12:56ようになります
12:58エッグどやっているかということ言うと
12:59あの基本的にはその in ペンキのです
13:01ねここの間を埋めるという処理を同時に
13:04行うようにも delphi ちゃんする
13:05ということを行っています
13:07モデルの入力に対してその元画像とこの
13:10領域指定用の四角いますけど
13:13いうものを同時によくするというものです
13:20はいということでえっとそれではだり2
13:23まで辿り着いたので打率7話をします
13:27野菜系ですけど打率で使われているこの案
13:30クリップ呼ばれるものがアイデアっていう
13:31のはクリップの逆処理ですイメージん
13:34コーダーを逆に処理するものをイメージで
13:36コーダーというものを処理カー用意すれば
13:39テキストから画像変換できるでしょって
13:40いうものですね
13:43この一番とにばところでと拡散モデルを
13:46使いますよという話をしました
13:48これからあのそれぞれ説明しますけど
13:51ちょっと順番が前後さんですけど2番の方
13:54から説明します
13:58この2羽のがデコーダーと言われていて
14:00画像のクリップ特徴から画像を生成する
14:02モデルです
14:04これほぼグライドです
14:06グライドでパンクラスはや古いガイダンス
14:09を使ったものなんですけど大きくに就こう
14:11となる点があります一つ目が当然なんです
14:15けどこれ入力が画像のクリップ特徴だった
14:18ので
14:19モデルの入力にがクリップ特徴を追加して
14:21いますグライドってこんな感じだったと
14:23思うんですけど
14:26アンクリックではこんな感じになってます
14:27ね
14:28きっとこの画像のクリック特徴が増えてい
14:30ます
14:31このテキストもいるんかという気持ちに
14:33なると思うんですけどあのベースモデルで
14:35だけこれを入れたほうが性能が良かった
14:37ですみたいな報告をしています
14:42二つ目が
14:43えっとに卵会構成という話をしたと思うん
14:46ですけど
14:46ベースとアップ散布等があったと思います
14:48がアップ3プラウ1つクリアしました
14:513段階構成なりました64かけ64を生成
14:54して250億円250を生成して1000
14:57人掛け前に銃を生成して最後にはこれは出
15:00てくると
15:02システムになりました
15:04三つ目がアップサンプラーがー no 各種
15:07の話なんですけど
15:09学習時のみ1/4の改造の
15:14部分画像を入力して学習コストを低減する
15:16というテクニック公がありますあの
15:20この例えばこの一番最後のアップ
15:22サンプラーというのは1024かけ
15:231024なので普通に考えたら1024
15:26かけ生乳ジョンのいうネット学習しなく
15:28ちゃいけない気持ちになると思うんです
15:29けど
15:31実際には
15:32えっと256かけ256の解像度で学習し
15:35ています
15:36でそれでなんでいいのかって話なんです
15:39けど実はこのモデルない
15:41のその空間方向の処理っていうのは
15:43畳み込みとせるファーテンション回しか
15:45ないので
15:46えっと実はえーっと兄の解像度で処理が
15:48可能です
15:50なのでえっと学習コストの低減のために
15:52学習子だけは
15:54を
15:55解像度を落として
15:57推論二世政治だけ高解像ですせーらをする
16:00ということを行っていますこれはあの髪で
16:03はこの論文ではなくてこちらのラテンと
16:06diffusion モデルと呼ばれる本
16:08の論文がヘアしているものです
16:14もう一つの拡散モデルがプライアーモデル
16:16と呼ばれていて
16:18テキストのクリップ特徴から画像の
16:19クリップ特徴を生成するものです
16:22今回は先生対象がクリップの特徴なのでゆ
16:26ネットではなくてトランスフォーマーを
16:27使っています
16:29トランスフォーマーへの入力は個々の価値
16:31ですね基本的にはのグライドと大して
16:33変わらないです
16:35この部分に関しては
16:37ざり2の論文では自己回帰モデルと拡散も
16:40で両方とも試しているんですけど実験的に
16:42はこの拡散モデル方が少し高性能になった
16:45というふうに報告しています
16:51グライドと何が違うのって話なんですけど
16:53ここちょっと半分書簡が入っているので
16:55注意なんですが
16:57私が思うにペット一番大きく違う点はが
17:00ゾーンの生成時に使う条件情報をどうやっ
17:02て表したかという点だと思います
17:05グライドの方は
17:07指定されたテキストそのまま終わりと使っ
17:09ていて
17:11決定的に使っていますなのでガイダンスを
17:13強くかけていくと指定されたテキストに
17:16どんどんほとんど来ようって言っちゃうん
17:17ですね
17:18なのであの
17:20もちろんその指定されたテキストに沿った
17:22がずにはなるんですけどその多様性が大幅
17:24に低下するという問題があります
17:29一方で今回の案クリップの方はテキストに
17:32対応する画像のクリップ特徴拡散モデルを
17:35使って確率的に生成するというアプローチ
17:37をとっています猫の確率的に生成した情報
17:40を使って2ターン目の拡散モデル
17:43レコーダー方でと生成を行うということを
17:46買っていますなのでガイダンスを強くかけ
17:49ても熱湯をかけている相手が確率的に生成
17:51されたものなので多様性が低下しにくいと
17:54いうメリットがあります
17:58これによってアンフリップでは品質画像の
18:00品質と多様性を料理するということができ
18:03ています
18:08はいということであるクリックの性能です
18:09けど先ほど木土曜に ms ここを
18:11プロンプトからの成績結果ですが1段目が
18:14グライドでリーダーの目が合っクリップ
18:16ですまあこれだけ見てもかなり両方とも
18:18すげーなっていうイメージしかないと思う
18:20んですけど
18:22えっと主観評価では写実性山テキスト忠実
18:25性では2つはおおよそ同等くらい
18:30なんですけど画像の多様性という面で
18:32クリップの方が評価が高かったというふう
18:35に報告しています
18:37えっと定量評価法だとまぁ先程言って自己
18:40回帰モデルを使うよりは拡散もで扱った
18:43グリップが一番良かったというふうに報告
18:45しています
18:51先ほど述べた品質を対応性のトレードオフ
18:53の話なんですけど
18:55ガイダンスのスケール各自国税のでノイズ
18:57結果どれだけズラすかの量を公開た時の
18:59性能評価
19:01崩壊示しているんですが
19:04これ横軸がガイダンスを助け
19:06縦軸が
19:08しか評価の結果と客観評価の結果なんです
19:10けど
19:11ライダーさんスケールを大きくしていくと
19:13緑色の線ガーの多様性評価で上に行くほど
19:16クリックが入ってみなんですけど
19:19ガイダンスのスケールを大きくしていくと
19:20グライドよりも服行ったほうがいいって
19:22いうふうに主観評価で評価されていて
19:26かつですねーファーギーが測っても開発を
19:29大きくしていった時の fit の
19:31ダメージが少ないということがわかってい
19:33ますこれにはつまりえっとアンクリップの
19:36方が値は性が低下しにくくて
19:39このポリドフラおくと言っていると言う
19:48ここからちょっと目先のお子様変わるん
19:50ですけど
19:51レコーダーを今回学習したので
19:54実はですねこのクリップのエンコーダーと
19:56アンクいくのデコーダーでこの画像特に
19:59特徴の相互変換が可能
20:03新しいあのこのクリップから画像の方向
20:05だけは拡散モデルなので確率的な処理なん
20:07ですけど1曲変化が可能ですということで
20:09この画像を入力して
20:12特リプ特上にして拡散モデルでは元に戻す
20:15画像に戻すということが可能ですそうする
20:17とこの画像のバリエーションみたいなも
20:20たくさん作ることができます
20:24あとえっと2枚の画像を持ってきて
20:27クリップ特徴にして
20:29ないそうしてこそないそうした特徴量画像
20:31に戻すってことをするとこの2つの画像の
20:34間を作るみたいなことができます
20:38この復元自体が確率的なのでまぁこのよう
20:41にバリエーション3列あるの産業あるの
20:43バリエーションなんですけど
20:44バリエーションを作ることもできます
20:53さらにえっとデコーダーを使ってクリップ
20:55特徴の空間の解析をしようみたいなことも
20:57ちょっとできます
21:00ここでやっているのはクリップの主成分に
21:02どのような情報が生まれ埋め込まれている
21:04かというのを実験的に種類を調べた結果
21:06です
21:09画像から抽出したクリップ特徴の主成分
21:12だけ使ってへとリコーダーで画像復元する
21:15とどんな画像になるかというのを調べてる
21:17んですけど左側の方ほどを使っている次元
21:19数が少なくて
21:21だんだん右に行くほど多くなっていくと
21:24ようなと結果がここに出てるんですけど
21:28いていただくと例えば一番下とかだと
21:31なんか
21:32ヤマノ草原の中に何か動物がいるんです
21:35けど一番左のほうだ動物になくて空と草原
21:39みたいなものしか写ってません
21:41だんだんこの細い
21:43糸山とかえっとこの動物曲が生えてくる
21:46みたいなことがを聞いて
21:49主成分ですねこういう家の大きい次元ほど
21:51画像の新井意味情報というのが埋め込まれ
21:53ているというのが分かるかと思います
22:01もう一つの快適なんですけど越冬タイプ
22:04グラフィックアタックと呼ばれるもの脳
22:06画像の特徴量を調べたものですね
22:10硬くが何かという話ですけどこの青リンゴ
22:12にですね ipod って書いておく等
22:16えっとこのクリップ
22:18この画像の特徴量を出して
22:21テキストのですね photo of
22:23グラニースミス6会おうリンゴの画像って
22:25いうテキストと ipod もかどういう
22:28テキストのどっちに近いって調べると
22:31なんか ipod に近い入っちゃって
22:33クリップ0識別するとらいポッドになっ
22:36ちゃうっていう
22:37直仔グラフィックアタックというタック
22:39あるんですけど
22:41この時のこの画像のぷクリップ特徴って第
22:44何が思い込まれているのっていうのを調べ
22:46た結果です
22:48このクリップ特徴からデコーダーで画像
22:50復元するとこのような感じなんですけど観
22:52ていただいて分かるとおりピポットは出て
22:54きたくて
22:56全部リンゴを釣ってですねりんご兄なんか
22:59文字が書いてあったよ
23:01のが生成されますピザでも一緒ですね
23:05なのでその画像
23:07このタイプグラフィッカータックっていう
23:09のは発生しているんですけど画像を
23:11埋め込んだこのクリップ特徴量自体には
23:15問題はなくて
23:17どっちかって言うとこの後テキストと画像
23:19館でグリップの類似度を測るときに何か
23:21問題起きているんじゃないかということが
23:23今回分かりましたと言う
23:31はいで細胞イミテーションですけど
23:33クリップ特徴をベースとした方法なので
23:36グリップ特徴量でうまく抽出されていない
23:39情報については正しく生成できません
23:42代表涼子に2つ持ってきたんですけど
23:45一つ目がこの属性と物体のバインディング
23:47はまくりから場合うまくいかない場合と
23:49いうものです
23:51ここではですねパレットキューブ恩田
23:52トッポブルーキューブって書いてあるん
23:55ですけど
23:56左側のアンクリッパー全然できていません
24:00一方でこの暗い顔のほうは結構出来ていて
24:05テキストまあそのままトランスフォーマー
24:07に突っ込んでヘッドを抽出した特徴量で
24:09生成しているのでこちらはうまくいったん
24:12ですけどこっちは1回クリップの特徴量が
24:14凝っちゃって言って実はクリップの特徴量
24:16のほうでは
24:17このような
24:18えっと色と物体のばイニングみたいなこと
24:21がうまくできていないんじゃないかとか
24:23いうことがわかります
24:28もう一つのレーガー
24:30文字列をそのまま正しく出力するという
24:33タイプですね笠井んだった星図ティプラー
24:35リングとという風に言ってもこんな
24:39このかで引き締まっていてちゃんと
24:40deep learning って書いて
24:41くれないというものです
24:43これも同様にクリップの特徴量の内部に
24:46ディープラーニングという正しい5時列が
24:50埋め込まれていないということが原因なの
24:52ではないかというふうに言われています
24:58はいということで乙女ですけど
25:00標準的な拡散モデルである dpm から
25:03打率
25:041クリックと呼ばれる技術までの1社に
25:06ついて紹介しました
25:12えっ図書館ですけどやっぱり生成画像の
25:15インパクトがすごいですねあの
25:17twitter 上でですねもう著者らが
25:18あの
25:20盗んだのやってほしいって方星てあのそれ
25:24を生成するみたいな事やってていろいろ
25:26たくさん公開されている他のこれ見てみる
25:28と非常に面白いと思います
25:32やっとですね性精度計算こそは誰かそうか
25:34なって最初思ったんですねは1024覚醒
25:36に以上とか生成しているので
25:38なんですがこれあの appendix を
25:40見てみるとそうでもないかもって思いまし
25:42たという話なんですけど
25:45ここに載っているのはですねこの率が
25:47ヘッドベースモデルこの列が負担プリン
25:50カップさんから1個目この率が2個目なん
25:52ですけど
25:54このサンプリング steps ですね
25:56さかのぼる時間の数ですけど
25:59米さあ250とかあるんですけどアップ
26:02サンプラー方は27とか15とか
26:03ものすごく少ない数字になっていうかさ
26:06なので高解像度のほうの生成にはあんまり
26:08計算コストを最低いなくて
26:11全体としての計算コストは実はそこまで
26:13大きくない可能性はあるかなというふうに
26:15思いました
26:19最後がこの方法はですねデコーダーと
26:22プライヤーモデルっていう2つの拡散も手
26:24を使いこなしているんですけどこのように
26:26その画像空間での拡散も出るって言うと
26:28潜在食うか今回はクリップ特徴ですね潜在
26:32空間というの特徴拡散モデルというものを
26:35両方使っていうあいやー面白いかなという
26:37ふうに思いました
26:40潜在空間での拡散モデルを使うということ
26:43自体は割とよくやられていてこれはの画像
26:47圧縮してからマーク3モデル学習しようみ
26:49たい話が多くて
26:51つまりあの計算コストを削減するというの
26:52が目的な場合が多いんですけど
26:55今回はこの聖戦の生成に使う条件情報って
27:00いうのを拡散モデルでたように生成しきる
27:02という点で使い道はちょっと違うかなと
27:04いうふうに思っていてそこらへんが今回は
27:07ちょっと面白かったというふうに思います
27:11はいということで以上です
27:15ん
27:17ん
Browse More Related Video
Day 29/75 Build Text-to-Video AI with LLM [Explained] OpenAI SORA Stable Diffusion VideoPoet Runway
Instant IDでLoRAが不要になる?【Stable Diffusion WebUIでInstant IDを使い同じ顔の人物を生成する方法】
DreamDiffusion - Thought to Image Generation | Paper Summary
【無料で使える動画生成AI】Stable Video Diffusionってどうなの？PikaやGen-2と比較してみた
Giulio Biroli - Generative AI and Diffusion Models: a Statistical Physics Analysis
【Stable-Diffusion】🔰基本を見直そう！単語vs.文章！？意外な特性 #stablediffusion #強調構文 #BREAK #トークン
5.0 / 5 (0 votes)
