【生成式AI導論 2024】第17講：有關影像的生成式AI (上) — AI 如何產生圖片和影片 (Sora 背後可能用的原理)
Summary
TLDR本文概述了生成式人工智能（AI）在影像领域的应用，包括基于条件生成图片或视频的AI技术。介绍了GPT-4如何根据图片生成描述性文字，以及SORA模型如何根据文本描述生成视频影像。探讨了影像生成模型的构建过程、训练数据的需求，以及如何使用CLIP模型评估生成结果的质量。同时，分析了减少视频生成过程中计算量的技术方法，如改造注意力机制和多步骤生成策略。
Takeaways
- 🌟 生成式AI可以根据条件生成内容，包括根据图像生成文字或根据条件生成图像和视频。
- 🔍 GPT-4能够理解图像内容并根据图像生成文字描述，例如评价人物衣着和猜测职业。
- 🎨 SORA模型能够根据文本描述生成图像，展示了生成式AI在图像创造方面的强大能力。
- 📹 生成式AI可以用于视频生成，包括根据文本描述生成视频或对现有视频进行风格转换和画质提升。
- 🗣️ Talking Head技术允许通过AI生成人物讲话的动态视频，有广泛的应用前景。
- 🖌️ 生成式AI可以根据草图或草稿生成精细的图像，提供创意和设计辅助。
- 🎞️ 影片由多帧图片组成，生成式AI可以通过编码和解码过程处理视频数据。
- 🤖 现代AI模型通常不直接使用像素作为输入，而是通过编码器将图像转换为更简单的形式。
- 📈 训练图像生成模型需要大量带文字描述的图像数据，如LAION公司提供的大规模图像数据集。
- 📊 评估图像生成模型的效果可以使用CLIP模型，通过计算模型输出与文本描述的匹配度来评分。
- 🛠️ 减少视频生成中的计算量可以通过改进注意力机制，如使用Spatial和Temporal Attention的组合。
Q & A
生成式AI在影像领域的应用主要有哪些方向？
-生成式AI在影像领域的应用主要有两个方向：一是将影像作为条件输入，生成对应的文字描述；二是根据给定的条件生成图片或影片。
GPT-4在处理图片信息时有哪些特点？
-GPT-4能够处理图片信息，例如通过分析两张人物照片，对人物的衣着进行评论，并猜测他们的职业，但不会直接回答谁更帅这种主观问题。
SORA模型在生成影像方面有哪些能力？
-SORA模型能够读取文本描述并生成与之对应的清晰影像，包括一些现实生活中不太可能出现的场景。
影像生成式AI在生成影片时可能会遇到哪些问题？
-影像生成式AI在生成影片时可能会遇到的问题包括生成的影像中的物体变形、不自然的动作等瑕疵。
如何使用生成式AI进行影片的风格转换或画质提升？
-可以使用生成式AI对未完成的影片进行续写，或对影片进行风格转换，如将黑白影片上色，或用于老电影的影像修复和画质提升。
什么是Talking Head技术，它有哪些应用场景？
-Talking Head技术是指根据给定的录音和照片，生成说话时嘴型和面部表情的影像。它可以应用于VTuber虚拟角色的创建，或者结合GPT-4O生成没有人的Youtuber。
生成式AI在处理图片时的基本单位是什么？
-生成式AI在处理图片时的基本单位是像素，图片由像素构成，像素越多图片越清晰。
影片的基本构成是什么？
-影片是由一系列连续的图片构成的，每一张图片称为一帧（Frame），影片的流畅度与每秒帧数（fps）有关。
Transformer模型在生成图片时通常使用什么方法来表示图片？
-Transformer模型通常会使用编码器（Encoder）将图片切成多个小块（Patch），然后对每个Patch进行压缩表示，再通过解码器（Decoder）还原成图片。
如何训练一个模型以实现文字生成图片的功能？
-需要收集大量对应文字描述和图片的数据，通过训练Transformer模型来学习如何根据文字描述生成对应的图片。
为什么文字生成影片的计算量特别大？
-文字生成影片需要生成大量的Patch，每个Patch之间需要通过Attention机制进行相互关联，导致计算量随Patch数量的增加而急剧增加。
如何减少文字生成影片的计算量？
-可以通过改造Attention机制，如使用Spatial和Temporal Attention的组合来减少计算量，或者通过多步骤生成过程，每一步只专注于某个特定任务。
如何评价生成式AI生成的图片的质量？
-可以使用CLIP模型来评价生成的图片与输入文字的匹配程度，即通过CLIP Score来衡量生成图片的质量。
个人化图像生成是如何实现的？
-通过给特定的对象指定一个独特的名称，并用少量的该对象的图片来训练模型，使模型能够识别并生成与该对象相关的各种场景的图片。
为什么说图片生成模型很难用文字描述来精确控制？
-因为图片包含的细节和视觉元素往往难以用文字完全描述，有些细微的差别和特征可能在文字描述中难以表达。
Outlines
📚 影像与生成式AI的课程介绍
本段落为课程的开场白，介绍了生成式AI的基本概念及其在影像领域的应用。生成式AI可以根据条件生成内容，影像相关的生成式AI可以基于图片或视频生成文本描述，或根据条件生成新的图片和视频。本节课将重点讨论如何根据条件生成图片和视频。
🤖 GPT-4的图像识别与职业猜测
介绍了GPT-4如何根据两张照片猜测人物的职业和审美标准。GPT-4能够根据衣着和外观特征对人物进行评价和职业猜测，例如将穿牛仔外套的年轻人与时尚娱乐行业联系起来，而将穿白衬衫戴眼镜的男士与学术技术或商业领域联系起来。同时，展示了GPT-4在面对“谁更帅”的问题时的回避策略和回答风格。
🎨 SORA模型的影像生成能力
讨论了SORA模型根据文本描述生成影像的能力，展示了SORA根据文本生成的怪物和纽约海底街景的影片。同时指出SORA生成的影像存在一些不自然和瑕疵之处，如怪物背后的墙移动不自然，海底生物的变形等。此外，还提到了SORA模型尚未开放使用，目前的DEMO均来自OpenAI的官方Blog。
🔍 影像生成模型的局限性与应用
深入探讨了影像生成模型SORA的局限性，如在生成过程中出现的生物变形问题，并讨论了影像生成模型的多种应用，例如未完成影片的续写、风格转换、影像修复和画质提升。还提到了Talking Head技术，即根据录音和照片生成说话头像的应用，以及这种技术在VTuber等领域的潜在应用。
🖌️ 生成式AI的图片生成原理
解释了生成式AI如何生成图片，包括图片的基本单位像素、分辨率的概念，以及影片由多张图片组成的原理。介绍了影片中的关键概念如帧（Frame）、帧率（fps），并讨论了人工智能如何通过编码器（Encoder）和解码器（Decoder）处理图片，将图片信息简化并通过Transformer模型进行生成。
📝 文字生成图片的训练方法
讨论了如何训练一个模型以实现文字生成图片的功能。介绍了需要的大规模训练数据集，如LAION公司发布的包含58亿张图片的数据集，以及使用这些数据集进行训练时可能面临的版权风险。同时，解释了模型训练过程中的编码、压缩和解码步骤，以及如何通过Attention机制在生成过程中保持图片元素间的关联性。
📊 影像生成模型的评价标准
探讨了如何评价影像生成模型的效果，指出人类评价的局限性，并引入了CLIP模型作为评价工具。CLIP模型通过比较输入文字和图片的匹配程度来打分，从而评估生成模型的性能。此外，提到了图片生成中的特殊难点，即有些视觉内容难以用文字描述，提出了个性化图像生成的概念。
🌟 个性化图像生成的实现
介绍了如何实现个性化图像生成，即通过给特殊对象指定一个独特的符号，并用少量图片训练模型以识别和生成该对象的不同表现形式。这种方法允许用户在不同场景中使用定制化的对象，并且只需要少量的样本即可实现。
🎞️ 文字生成影片的挑战与技术
讨论了文字生成影片相比于文字生成图片的挑战，主要是由于影片由大量连续帧组成，导致需要计算的Attention次数呈指数级增长。介绍了减少计算量的方法，包括改造Attention机制，如使用Spatial和Temporal Attention的组合来模拟3D Attention，以及通过多步骤生成过程逐步提高影片质量。
🛠️ 影片生成模型的优化策略
深入讨论了优化影片生成模型的策略，包括使用伪3D Attention技术减少计算量，以及通过分步骤生成来简化每个模型的任务。举例说明了如何通过一系列模型逐步提高影片的帧率和分辨率，最终生成高质量的影片，并推荐了两篇关于影像生成的学术论文供进一步学习。
Mindmap
Keywords
💡生成式AI
💡条件
💡GPT-4
💡SORA模型
💡影像修复
💡Talking Head
💡Patch
💡编码器和解码器
💡Transformer
💡CLIP模型
💡个人化图像生成
Highlights
生成式AI在影像领域的应用，包括根据图片生成对应文字或根据条件生成图片和影片。
GPT-4能够分析图片并根据衣着对人物职业进行猜测，展示了AI在图像理解和分析方面的能力。
介绍了Sora模型，能够根据文本描述生成清晰影像，尽管还未开放使用，但展示了生成式AI的潜力。
SORA模型生成的影像存在瑕疵，如背景移动和水生生物变形，指出了生成式AI在影像生成上的局限性。
讨论了用影片生成影片的应用，例如未完成影片的续写和风格转换，展示了AI在影像编辑方面的应用。
介绍了Talking Head技术，通过AI生成说话时的嘴型和面部表情，指出了AI在虚拟现实角色创建上的应用。
探讨了根据条件生成图片的多种应用，如根据草图生成精细图画或根据站姿生成人像。
解释了图片和影片的基本构成单位，即像素和帧，以及它们在AI模型中的处理方式。
介绍了编码器（Encoder）和解码器（Decoder）在AI模型中对影像进行压缩和还原的过程。
讨论了影像压缩技术的发展，以及如何通过Transformer模型生成图片。
分析了非自回归模型在生成图片时的优势，如同时生成所有Patch以提高效率。
介绍了LAION数据集在训练文字生图模型中的作用，以及其规模和潜在的版权问题。
解释了如何使用CLIP模型来评估生成图片的相关性和质量，即CLIP Score。
讨论了个性化图像生成的概念，以及如何通过少量图片训练模型以识别特定对象。
分析了文字生影片的挑战，特别是在计算量和生成连续性方面。
介绍了减少生成影片计算量的方法，如改进注意力机制和分步生成技术。
讨论了Imagen模型如何通过多步骤生成提高影片质量，包括增加帧数和分辨率。
Transcripts
00:00好,那各位同學大家好啊,我們來上課吧
00:06那今天呢,我們要講跟影像有關的生成式AI
00:12我們知道生成式AI呢,它本質上要做的事情就是它有一個輸入
00:17它有一個condition,根據這個condition要生出一些東西
00:22那跟影像有關的生成式AI可以從兩個方向來討論
00:27這個是影像,它可以是生成式AI的condition
00:31生成式AI可以根據它看到的一張圖片
00:34它看到的一段影像來生成一些對應的東西
00:38比如說生成對應的文字
00:40這是一種類的跟影像有關的生成式AI
00:44那另外一類的生成式AI是
00:47這些生成式AI它的目標就是產生圖片或產生影片
00:53你給它一個condition
00:55根據你給他的Condition產生對應的圖片或影片
00:59那在今天的課程裡面
01:01我們會專注於討論第二塊部分
01:04那我們先來很快的看一下第一類的生成式AI
01:09那這一類可以看圖片、可以看影片的生成式AI
01:14也許你已經不是很陌生了
01:16因為現在GPT-4它是能夠看圖片的
01:20所以你可以給GPT-4兩張人的照片
01:24這兩個人呢,其實都叫李宏毅
01:27那你就問他說,這個照片中的哪一個人比較帥
01:30你也不用期待他會回答你
01:32因為他現在都非常的精明
01:33所以他不會直接回答哪一個人比較帥這種問題
01:36但他會對兩人的衣著做一些評論
01:40說左邊這一位穿著牛仔外套的年輕人
01:44比較時尚而有型
01:45右邊穿白襯衫的眼鏡男士
01:48看起來比較專業而有親和力
01:51但是我不知道誰比較帥,你覺得呢?
01:54接下來我還想要問他說
01:56你知不知道這兩個人從事什麼樣的職業
01:59根據他們的衣著和打扮
02:01猜一下他們是從事什麼樣的職業
02:04那GPT4o猜的是蠻準的
02:07他說牛仔外套的年輕人
02:09可能從事時尚娛樂或創意領域的工作
02:12這個沒錯
02:13這個李鴻義是一個非常知名的演員
02:16然後右邊這個呢
02:17他是從事學術技術或商業領域的工作
02:20例如教授工程師或者是經理
02:23所以看起來這些照片拍的都是蠻不錯的
02:26讓這個語言模型可以根據這個照片
02:29大致可以猜出這個人是什麼樣的職業
02:32看起來這些照片都非常符合他對應的那個人的形象
02:36其實這個GPT-4o
02:38他內心深處還是有一個審美標準的
02:42所以如果你逼迫他說一定要決定誰比較帥的話
02:46他還是會給你一個答案
02:48不管我問他幾次
02:49他都會說左邊那個人比較帥
02:52但是我這邊還是特別把他的答案秀出來給你看
02:55你可以仿照一下
02:57你可以參學習一下GPT-4o的回答
03:00雖然他覺得左邊這個人比較帥
03:02他會強調說右邊這個人呢
03:04看起來也很有魅力
03:06他的魅力來自於專業性和親和力
03:09所以GPT-4o呢
03:11經過了大量的RLHF以後
03:13他現在講話已經非常的精明
03:15就是個人精
03:16我們可以多學習他講話的風格
03:19那這個是根據影片來產生
03:24根據圖片來產生文字
03:26那這門課我們會花比較多時間來探討
03:29怎麼根據某一個condition來產生影片或者是產生圖片
03:36那講到根據某一個condition來產生影片這件事情
03:40就不能不提SORA這個模型
03:44在我們學期初的時候
03:46OpenAI 試出Sora這個模型的DEMO
03:54在這個DEMO裡面
03:55他們就展示說Sora有非常強的力量
03:59可以讀一段文字
04:00這段文字是對於一段影像的描述
04:04Sora這個生成式AI
04:06就可以生出非常清晰的對應的影像
04:09那在學期初的時候
04:11一時之間造成了非常大的轟動
04:14不過Sora到現在都還沒有真的被開放使用
04:19所以如果你看到網路上的一些DEMO
04:21那個都是來自於OpenAI它本身的那個Blog的DEMO
04:25就釋出SORA這個模型的DEMO的時候
04:28寫了兩篇Blog
04:30那多數人的影片其實都是從那兩個Blog來的
04:33那我把那兩個Blog的連結呢
04:35也放在投影片上給你參考
04:39那根據OpenAI的DEMO
04:41SORA產生出來的影片
04:43長什麼樣子呢
04:44非常的驚人
04:46我這邊就擷取兩個例子給大家看
04:49左邊下面這段文字
04:51是輸入給Sora這個模型的文字
04:54它是根據下面的文字
04:56去產生出上面這段影片
04:59左邊這個例子裡面
05:00是要Sora畫一個小怪物
05:03這個小怪物看著一個逐漸溶解的紅色蠟燭
05:08Sora產生出來的影片是這個樣子的
05:13右邊是要畫一個紐約的街景
05:24但現在紐約沉在海底下
05:27所以有很多的水生生物
05:29Solar 畫起來是這個樣子
05:46那這邊選的兩段影片
05:48通通是特別選現實生活中不可能出現的場景
05:53但Sora裡面有很多現實中出現的場景
05:56它可以產生非常擬真的影片
05:58但你就會搞不清楚說
06:00到底是訓練資料裡面有一模一樣的影片
06:02還是SORA真的創造出這樣的影片
06:05所以這邊是特別選兩段
06:07在現實生活中可能不會出現的場景
06:09來告訴你說
06:10SORA是有可能創造出
06:12這些現實生活中不會出現的場景的
06:15但你仔細看一下
06:16你還是會發現說
06:18這些影片還是有一點點瑕疵的
06:20比如左邊這個小怪物
06:22你會發現
06:23雖然小怪物沒有動
06:24但背後的牆呢
06:26一直在左右移動
06:27感覺蠻不自然的
06:29那如果你有仔細觀察這個紐約街道上的水生生物的話
06:33你會發現這些水生生物啊
06:35還不是一般的水生生物
06:36好多生物都在變形了
06:38有的生物遠遠看明明是一隻海龜
06:41近看他就突然縮成一隻魚了
06:43這些生物是會變形的
06:45那所以 Sora 在生影像的時候還是有一些瑕疵的
06:49那這邊呢
06:50是找了一些比較有趣的瑕疵
06:53左邊這個圖呢
06:54是要叫Sora畫五隻狼的幼崽
06:58這個是Sora畫出來的狼的幼崽
07:02是長這個樣子的
07:05你看它分裂了
07:13越來越多
07:15所以這個有時候人工智慧還是會犯錯的
07:18右邊呢
07:19是考古學家挖出了一張塑膠椅
07:23這個非常虛科幻的一個場景
07:26那麼來看看發生了什麼事
07:30挖了一個東西出來
07:34變魔術
07:35變出一張椅子
07:41哎呀
07:41椅子跑掉了
07:42你看跑掉了
07:48就算是他產生的影片有一些瑕疵
07:50其實在今年年初的時候,也已經非常讓人震驚了
07:55那剛才講的是用文字來生影片
08:00那你其實也可以做影片來生影片
08:05那用影片來生影片也有很多的應用,比如說你可以給你的AI一段未完成的影片
08:11叫他把剩餘的部分續寫完產生出來
08:15或者是你可以叫AI幫你做風格轉換
08:19給他一段影片,他把他的風格轉換
08:21比如說本來是黑白的影片
08:23然後他把顏色塗上去
08:25像這樣的技術可能可以被用在影像修復上面
08:29比如說把一些老電影做影像修復
08:32讓他看起來更有現代感
08:34或者也可以做畫質的提升
08:37本來你有一個影片的解析度是比較低的
08:40那也許可以透過生成式AI直接幫他提升畫質
08:45所以影像生影像也有很多的應用
08:49那其實也並不侷限於透過影像來生影像
08:54生成影像的生成式AI還有很多其他的應用
08:58一個今天大家都能夠想得到的
09:01而且已經有非常多人在使用的
09:03就是所謂的Talking Head
09:05所謂Talking Head的意思就是
09:07你給這個生成式AI一段你的錄音
09:11然後呢你給生成式AI一張你的照片
09:15然後呢他就想像
09:17你說這句話的時候
09:19你的嘴型
09:20你的臉
09:21應該長什麼樣子
09:23那我這邊用的是一篇今年三月的時候的論文裡面的模型這個模型
09:29是有開源的
09:30像這種talking head生存啊現在你其實可以找到很多的商用軟體
09:35不過通常是要付錢的
09:36那我這邊用的這個是一個免費開源的軟體
09:39所以是每個人都可以試的
09:41那長起來就給他一句話
09:44給他隨便一張照片
09:46他就把這句話合到這個照片的人的口中
09:49聽起來看起來像是這個樣子
09:53這門測試生成式AI導論
09:56就是我就說這門測試生成式AI導論
09:59那就看到說這個人就配合生成式AI導論
10:03這句句話的嘴型在講話
10:06這門課是生成式AI討論
10:08而且我照片裡面是沒有牙齒的啦
10:10他硬要幫我加個牙齒上去啦
10:12加很白皙的牙齒上去
10:15所以可以想像說這個有非常多的應用
10:17這個我馬上可以想到的直接的應用
10:20其實就是這個VTuber對不對
10:23其實這個Talking Head的技術
10:26只要背後直接接GPT-4O
10:28馬上就可以直接做一個
10:30沒有人的Youtuber了
10:32所以我相信很不遠的未來,大概幾個月後
10:35你就可能會聽到有人說
10:37出現了一個新的VTuber
10:39然後這個VTuber講話很有趣
10:41然後再過幾週以後,他就突然承認說
10:43其實這個VTuber是不存在的
10:45他背後就是GPT4 Owner加一個Token Tag
10:47我已經幫忙把這個劇本寫好了
10:49大家要用就拿去用一下
10:51我相信在幾個月,一定就會有這樣子的故事出現了
10:57那還可以拿很多其他的東西
10:59這些東西作為生成式AI輸入的condition
11:03比如說你可以畫一個草圖
11:06叫生成式AI幫你把精細的圖畫出來
11:09或者是就打一個草稿
11:11讓生成式AI根據草稿把圖畫出來
11:15或者是給他一個人的站姿
11:17再讓他根據這個站姿生出對應的人像
11:21所以這篇paper裡面就講了
11:23你可以拿各式各樣的condition來生成圖片
11:27裡面有一個Network叫做ControlNet
11:30就是告訴你說怎麼加入各式各樣的Condition
11:33各種不同的Condition都可以拿來生成圖片
11:37以上呢是講生圖片或影像的AI的種種的應用
11:43那接下來我們就要來講
11:45這一些生圖片或生影像的AI是怎麼被打造出來的
11:51那在講圖片跟影像是怎麼被生成出來的之前
11:56我們來複習一下圖片跟影像
12:00他構成的基本單位是什麼
12:03先來講圖片
12:04那我們都知道說圖片是由像素所構成的
12:08像素越多圖片看起來就越清晰
12:12左邊這張是1024x1024解析度的圖片
12:16他裡面有1024x1024的像素
12:18所以非常的清晰
12:20但是如果同一張圖
12:22你只用16x16個像素
12:24總共只有16x16
12:26256個點去描述這張圖片
12:29每個點都代表一個顏色
12:30但只有256乘256個點
12:32那左邊這張圖看起來就會非常的模糊
12:36這個是圖片
12:38那影片呢
12:39影片其實就是由一張一張的圖片
12:43所構成的
12:45所以一段影片
12:46他其實就是一串的圖片
12:49在影片裡面的每一張圖片呢
12:51叫做一個Frame
12:53叫做一個Frame
12:54中文通常翻譯成 幀 叫做一幀
12:58那有一個詞彙叫做frame per second
13:01所寫是fps
13:03代表的是每秒的幀數
13:05也就是這個影片每秒有幾張圖片
13:08只要圖片夠多
13:10人看起來就會是非常流暢的影片
13:13人看起來就不會覺得
13:14一段影片是由一張一張的圖片所構成的
13:18另外我們在YouTube上看的影片
13:20通常是24fps
13:22也就是一秒鐘呢是由24張圖片接起來所構成的
13:28那看起來呢就是這個樣子啦
13:32那就是你通常在YouTube上看到的影片呢
13:34就是這個樣子
13:35你完全感受不到它是一張一張圖片所構成的
13:40那這個就是那個芙莉蓮呢
13:43把一個絕對不可能打破的結界打破的一個段落
13:48那右邊呢是同一個影片把它改成1FPS
13:51也就是每秒只有一張圖
13:53那看起來呢
13:54就是非常的卡頓啦
13:56看起來就非常的卡頓
13:58好像你網路不好的時候
13:59這個看起來的影片
14:01人家也就會問說
14:02要不要讓人好好看動畫啦
14:04這看起來就會非常的痛苦
14:06啊不過24fps呢
14:08如果是玩遊戲的話
14:09那這個解析度呢
14:10還是太低了
14:12這個每秒的幀數呢
14:13還是太低了
14:14如果玩遊戲的話
14:15可能要60fps
14:17你玩起來呢
14:18才會覺得絲滑流暢
14:21那剛才講的是圖片跟影片是由什麼所構成的
14:27那接下來我們再來看一下
14:29今天的人工智慧是如何看待一張圖片跟看待一段影像
14:36其實今天多數人工智慧的模型都不是直接拿像素當作輸入
14:43當然你要直接拿像素當作輸入也可以
14:46在比較早的年代很多人會這麼做
14:49後來發現像素實在是太複雜了
14:52所以今天能夠產生非常大張非常清晰的圖
14:57其實歸功於一些影像壓縮的技術
15:01今天給一張64x64的圖片
15:04你不會讓模型直接去產生一張解析度64x64的圖片
15:09對人工智慧模型來說
15:12通常會把圖片先通過一個編碼器
15:16這個編碼器的英文是Encoder
15:20那這個編碼器通常做的事情呢
15:22就是先把圖片切成一塊一塊的
15:26在今天這個例子裡面呢
15:2764x64的圖片被切成4x4
15:31總共16塊
15:33那每一塊呢
15:34叫做一個Patch
15:36那接下來呢
15:37每一個Patch呢
15:39會被進行壓縮
15:41那怎麼樣壓縮呢
15:42壓縮的結果是什麼樣呢
15:44取決於你的編碼器長什麼樣子
15:46有的方法是會把每一個Patch
15:49用一個獨特的符號來表示它
15:52所以每一個Patch就好像是一種新的語言
15:55每一個Patch可以看作是新的語言裡面的一個Token
15:59這是一種表示的方式
16:01也有一些編碼器
16:02它是把每一個Patch變成一個低維度的向量
16:06本來一個Patch裡面應該要有很多的像素
16:10但是它把這些像素的資訊全部濃縮起來
16:13用幾個數字,也就是一個低維度的向量來表示它
16:17總之有很多種不同類型的編碼器
16:20但是他們都是把影像變得更簡單
16:24就是把影像切成一個一個Patch
16:26每一個Patch用一個簡單的方法來表示它
16:30然後接下來呢
16:31你就會把圖片裡面的Patch拉直
16:35本來一個圖片是2D的
16:36但是給人工智慧模型
16:38比如說Transformer處理之前
16:40你就把它拉直,拉成一條線
16:42然後呢 丟給Transformer
16:46那人工智慧的模型
16:47比如說Transformer在產生圖片的時候
16:50其實他也是產生一排的Patch
16:54然後這一排Patch呢
16:55會通過一個解碼器
16:57他的英文是Decoder
16:58然後就會還原回原來的圖片
17:02那講到這邊可能有同學會有問題說
17:04那這個不就跟
17:06只是調低影像的解析度一樣嗎
17:09我們可不可以說這個編碼器做的事情
17:12就是把原來64x64的圖片
17:15把它解析度調低變成4x4呢
17:18在概念上也許類似
17:21但是實際上編碼器跟解碼器做的事情
17:25遠比調低調高解析度更加的複雜
17:30事實上這邊的編碼器跟解碼器呢
17:33他們都是很複雜的類神經網路
17:36他們裡面往往都是transformer
17:38往往都有非常多層
17:40所以今天你可能會覺得說
17:42如果我把一張圖片變成4x4
17:45總共16個patch
17:46會不會通過解碼器還原回來以後
17:49我這個狗呢
17:50這個圖片呢
17:51看起來就是4x4
17:52總共只有16個格子呢
17:54其實不會
17:55這個解碼器在還原的時候
17:58其實會做非常複雜的事情
18:01他不是隻看一個patch來還原
18:03他會考慮一個patch
18:04跟他所有鄰近的patch
18:06甚至是整張圖片裡面所有的patch
18:08一起去做還原
18:10那這邊這個壓縮跟還原的過程
18:12其實都是透過類神經網路
18:14來進行的
18:16這個壓縮跟還原的過程
18:18其實都非常的複雜
18:20那我們可以把圖片
18:22壓縮到非常簡單
18:24然後還可以把它解回來
18:26而解回來看起來仍然是
18:28一樣的圖片
18:30那至於實際上的細節是怎麼做的
18:32我右邊就留了一篇論文
18:34那其實類似的技術非常的多
18:36比較有代表性的給大家參考
18:39這邊講的是圖片的部分
18:42那我們再來看影片
18:44我們知道影片是由一堆圖片所構成的
18:48那你當然可以用一個圖片的編碼器
18:51把影片裡面的每一張圖片
18:54都分別轉成一排的patch
18:58但對於影像來說
19:00你可以做更多的壓縮
19:02本來圖片是2D的
19:04只有高跟寬
19:05所以你只能在高跟寬這兩個方向上去做壓縮
19:09但影片是有時間這個維度的
19:12所以你可以在時間的方向上也進行壓縮
19:16比如說常見的做法
19:18可能會把相鄰的幾個Frame合併在一起
19:22一起做壓縮
19:24比如說在這個例子裡面
19:25這段影片總共有四個Frame
19:27那可能第一個Frame跟第二個Frame會一起做壓縮
19:31第三個Frame跟第四個Frame一起去做壓縮
19:34那這邊實際上的做法可能是
19:36第一個跟frame跟第二個frame
19:38他們位置一樣的patch
19:40會被再做進一步的壓縮
19:43變成另外一個
19:44video的patch
19:46一樣位置的patch
19:47進一步壓縮
19:48變成video的patch
19:49一樣位置的patch
19:50做進一步壓縮
19:52變成video的patch
19:53圖片裡面
19:54同樣位置的patch
19:56做壓縮
19:57變成新的
19:58video的patch
19:59變成影片的patch
20:02然後再把
20:03影片的patch呢
20:04把他拉直排成一排
20:07那這個就是今天這個生成式人工智慧
20:11的這些模型的輸入跟輸出的影片的樣子
20:15所以大家要記住等於在等一下的這個討論裡面
20:18我們就假設你已經知道一段影片
20:21就是描述成一排的patch
20:25那我們就不會特別把影片轉patch這個部分再告訴你
20:29總之你心裡要知道對於人工智慧來說
20:33一段影片就是一排的Patch
20:36那事實上SORA也用了類似的技術
20:41但你知道今天OpenAI它都不會明著告訴你
20:43它要做什麼樣的事情
20:45不過從它畫的圖裡面
20:47你也可以很明確的知道說
20:49它使用了這個Patch這個技術
20:51你看它的圖裡面
20:53這是一段影片
20:54而一段影片呢
20:55就是說很多張圖片所構成的
20:58通過一個Encoder
20:59那這個Encoder呢
21:01會把影片變成一堆Patch
21:04那這個Patch壓縮的方向
21:06可以是同一張圖裡面的長跟寬兩個方向
21:09也可以在時間的方向上面做壓縮
21:13所以這邊每一個小塊的Patch
21:16可能都對應了影片裡面的
21:18一段長、一段寬跟一段時間
21:21都對應了影片的一小塊
21:23最後把這些Patch通通拉直
21:26再丟到你的人工智慧的模型
21:30比如說Transformer裡面
21:32那SORA也會使用Patch這樣子的技術
21:37好,那我們接下來呢
21:38就來進入模型的部分
21:41我們來講文字
21:43我們先用文字生圖為例
21:45來跟你講說這些模型是怎麼被訓練出來的
21:48那麼很快也會講到文字生影片的部分
21:53好,那文字生圖
21:55我們就是希望模型呢
21:56可以讀一段文字
21:58然後產生對應的圖片
22:01那要怎麼訓練一個模型
22:03可以讀一段文字
22:04產生對應的圖片呢
22:06你就需要大量的訓練資料
22:09可是這邊需要什麼樣的訓練資料呢
22:13這已經是我們這學期最後一堂實體的課了
22:17不知道你能不能夠猜得出
22:19如果要訓練一個模型
22:21輸入是一段文字
22:22輸出是一張圖片
22:23需要什麼樣的訓練資料
22:25我們知道如果今天要教遠模型做文字接龍
22:28你就是要給他一句話
22:29然後告訴他接下來要接哪一個Token
22:32那對圖片生成來說道理也非常的類似
22:36你要他看一段文字產生一張圖片
22:40那你要教他的就是收集一大堆圖片
22:43跟這些圖片對應的文字敘述
22:46然後機器就可以學會說看到這段文字
22:49應該要產生這樣的圖片
22:51看到這段文字應該要產生這樣的圖片
22:54以此類推
22:55但你知道說現在這些生成圖片的模型都非常的厲害
23:00你輸入什麼他往往都可以產生對應的輸出
23:04甚至很多時候你直接打一個人名
23:06如果那個人夠有名的話
23:08生成是AI畫出來的人臉還會跟那個名人長得蠻像的
23:13到底是用什麼樣的訓練資料才能夠達到這樣的地步呢
23:18現在其實已經有非常大規模的開源的
23:24可以拿來訓練文字生圖的資料了
23:28有一個資料集是一個叫做LAION的公司所釋出的
23:32裡面就是大量的圖片
23:34每一張圖片都有它對應的文字
23:37你就可以拿這樣子的
23:39你就可以拿這樣子的大規模的資料來訓練一個模型
23:43教他怎麼看一段文字產生對應的圖片
23:47LAION最大的資料集有多少張圖呢?
23:50有58億張圖啊
23:54這個資料集大到說他們特別做了一個搜尋引擎
23:57你在這個搜尋引擎上面打一段文字
24:00他告訴你說這個資料集裡面有哪些圖片對應到類似的文字
24:06LAION會問說這麼大規模的資料集是怎麼被收集來的呢?
24:11你想也知道就是一定是從網路上爬下來的
24:14他們做的事情很有可能是從網路上爬了一些圖片
24:17看到很多網路的圖片
24:19其實都有對應的文字敘述
24:21他們就把圖片跟對應的文字敘述爬下來
24:24當然他們也做了一些後處理
24:26比如說把母湯的那些照片拿掉啊
24:29你懂我的意思吧
24:3018禁的照片拿掉啊
24:32把覺得這段文字跟這個圖片
24:34其實沒有對得很好的也拿掉啊等等
24:37整理出這樣的資料集
24:39但使用這樣的資料集
24:41其實還是有一定程度的風險的
24:43LAION這個公司
24:44他其實對外宣稱說他只是幫忙收集了這些圖片
24:48所以他並沒有這些圖片的所有權
24:52那你拿去訓練那是你家的事情
24:55你知道蠻多公司都是拿這些圖片去訓練的
24:58比如說這個Stability AI就是做Stable Diffusion那家公司
25:03他們都是拿這個資料集去訓練的
25:06然後後來就被一些畫家告了
25:09像OpenAI就死都不告訴你他們資料是哪裡來的
25:12搞不好也是同一個資料集
25:14但只要不講就不會被告這樣
25:17總之就是這麼回事啦
25:18總之這個LAION就只是把資料放在那邊
25:22那至於能不能用
25:23那是另外一件事情
25:26好那有了這樣子的資料集以後
25:29要怎麼訓練一個文字生圖的模型呢
25:33所以你已經知道
25:35有一段文字
25:36它對應到某一張圖片
25:38那我們現在圖片都用Patch來表示
25:41所以你看到這些Patch
25:42你知道這代表著某一張圖片
25:45那你用這樣子的資料
25:47你就可以去訓練一個Transformer
25:50也許你可以訓練Transformer
25:52做這個Patch接龍
25:54我們都已經知道語言模型去做文字接龍
25:57那我們可以訓練一個Transformer
25:59去做Patch接龍
26:01這個Transformer要學到的東西就是
26:03看到這段文字
26:05就先生出一個編號1的Patch
26:09然後把編號1的patch貼到文字後面
26:13那再看接下來要生哪一個patch
26:15也許生編號7的patch
26:17再把編號7的patch貼到後面
26:20再產生下一個patch
26:21生出編號99的patch
26:23把一張圖片裡面的patch都生出來
26:26通過decoder
26:27你就可以還原出一張圖片
26:30這是某一種用文字生圖的可能的方式
26:34但其實在上上週講生成的策略的時候
26:38也已經告訴你說
26:39其實文字生圖很少用這種接龍的方式
26:43那接龍的方式有個專有名詞叫做
26:45Auto-regressive
26:46其實文字生圖很少用Auto-regressive的方式來產生圖片
26:52因為就算把圖片表示成Patch
26:54一張圖裡面Patch的數量可能還是太多了
26:59那我們在上上週的課程講生成的策略的時候
27:03也有特別跟大家提醒說
27:05其實在生圖的時候往往就是一步到位
27:09用一個non-autoregressive的model
27:11一張圖片裡面所有的patch是同時被生成出來的
27:16那在上上週的課程裡面
27:18我畫的圖呢
27:19大概都是長這個樣子的
27:21就是你有一個transformer
27:23然後呢
27:24你會告訴transformer說
27:25我們產生位置1的patch
27:27他就生出patch1
27:29產生位置2的patch就出patch7
27:32產生位置3的patch
27:34就生成Patch99
27:36那一張圖片裡面
27:38所有的Patch都是透過同一個模型
27:41同時生成的
27:43所以你就不需要等這個Patch一個一個被生出來
27:46一張圖片裡面
27:47所有的Patch都是可以被同時生成的
27:52這個是在概念上
27:53所有的Patch是被同時生成的
27:57但實際上的做法是這個樣子
28:00我們其實會把所有要
28:04就假設現在總共要生16個Patch
28:07這張圖現在是由4x4
28:09總共16個Patch所組成的
28:11那你一開始其實就會告訴同一個Transformer說
28:15我們要生Patch1到Patch16
28:18然後Transformer呢
28:20就會同時把16個Patch
28:22通通都生出來
28:24所以實際上呢
28:25這個第一個位置到第16個位置
28:28他們其實並不是完全分開生出來的
28:32而是同時丟給一個Transformer
28:35同時被生出來的
28:37那這樣做有什麼好處呢
28:39雖然這些Patch還是平行同時被生出來的
28:43但是在生成的過程中
28:45你知道Transformer裡面呢
28:47就是會有Attention
28:49Attention的意思就是
28:50每一個位置在做處理的時候
28:52都會參考其他位置的資訊
28:56那因為Transformer裡面有Attention
28:58所以我們在生成某一個Patch的時候
29:01其實會去參考其他Patch生成的過程
29:04再去生成某一個Patch
29:06用這個方法你生出來的圖片
29:08每一個Patch中間
29:10他還是有一點關聯性的
29:12透過這個Attention
29:13他Patch跟Patch間還是會有一些關聯性
29:16不會完全毫不相關
29:19不過就算是用這樣子的方法
29:21就算是你用Transformer裡面有Attention
29:24來處理Patch跟Patch之間的關係
29:27其實也不能保證能夠解決
29:30我們上上週講生成策略的時候提到的
29:33腦補的問題
29:35就如果每一個位置
29:36看到一隻在奔跑的狗
29:37每一個位置
29:38如果想要畫的狗長得是不一樣的話
29:41那你可能就會畫出很多隻狗
29:43疊在同一張圖片裡面
29:45就算是用了Transformer
29:47其實也不能夠完全解決這個問題
29:49那至於這個問題實際上是怎麼被處理的
29:52我們在等一下的課程中
29:54還會再看到
29:55但現在就假設說
29:56Transformer可以處理這個問題
29:58反正就是告訴他說生16個位置的Patch
30:01他就把16個位置的Patch
30:03一次都生成出來
30:05Patch跟Patch之間的關係
30:07我們透過Attention來進行處理
30:12我們現在已經知道在概念上
30:14怎麼產生一張圖片
30:16那我們來談一下
30:17怎麼衡量影像生成模型的好壞
30:21如果你今天給你的影像生成模型輸出一個指令
30:25它產生對應的圖片
30:27那我們怎麼知道生成的結果好不好呢
30:32那你記得我們在講怎麼評量文字模型的時候
30:36我們最後有講到說
30:37雖然有很多評量的方法
30:39但是人類才是最好的Evaluator
30:44人類才是最好的評量者
30:47但是人類的時間又有限
30:49現在人工智慧已經這麼強了
30:51那我們在講這個語言模型的評量的時候說
30:54也許我們可以讓GPT-4來代替人類
30:57用比較強的語言模型來代替人類進行評量
31:01其他模型的工作
31:03事實上在影像裡面也有類似的趨勢
31:07今天怎麼知道一個圖片生成的模型
31:10生出來的圖對不對呢
31:12當然你可以人去看
31:14人去看說這個像不像一隻奔跑的狗
31:16不過人可能沒有力氣看太多的圖片
31:19所以今天一個常見的做法是引入一個叫做
31:23clip CLIP 的模型
31:25我們先來介紹一下 clip 這個模型
31:28clip 這個模型他訓練的時候他學的事情就是
31:32先從網路上有人收集了非常大量的圖片
31:36跟這些圖片對應的文字
31:39那你就跟 clip 說
31:41如果今天給你一張圖片跟他對應的文字
31:45給你一張圖片跟他對應的文字
31:47你就要輸出高分
31:48你就要輸出一個比較大的數值
31:51你要輸出一個比較高的分數
31:53反過來
31:54如果我今天把我資料集裡面的圖片跟文字
31:58任意配對
31:59我把陽光下的貓去配這張狗的圖
32:02我把沙灘上的狗去配這個貓的圖
32:05再丟給clip的模型的時候
32:07clip的模型要學到說這個配對
32:09是一個不正確的配對
32:11所以要給這樣不正確的配對低分
32:14所以clip這個模型
32:15可以從大量的資料裡面學到說
32:17給正確的配對就是高分
32:19給不正確的配對就是低分
32:22那這種模型是已經被訓練好
32:24已經開源的
32:25所以今天你會發現很多的圖片生成模型
32:29其實就是直接拿clip來衡量
32:31他們把這個指標呢
32:33叫做clip score
32:35也就是說今天圖片生成模型
32:37生成一張圖片以後
32:39就把輸入的文字敘述
32:41加上這張圖片
32:43一起丟給Clip,看Clip給多少的分數
32:46給的Clip的分數越高,Clip Score越高
32:49就代表這個圖片生成的模型做得越好
32:52雖然這個方法聽起來蠻簡單的
32:54而且要依賴Clip這個模型的能力
32:57但是這是今天蠻主流的衡量圖片生成模型好壞的一個做法
33:03所以發現說今天我們的時代已經來到了
33:06不只是人來評量這些生成式AI的好壞
33:09今天通常是用另外一個模型
33:11用另外一個人工智慧來評量這些生成式AI生成的好壞
33:16但是生成圖片有一個特殊的難點
33:21就是圖片是一張圖是勝過千言萬語的
33:26很多東西你根本難以用文字來描述
33:30它到底長什麼樣子
33:33比如說這是我家客廳的一個鐘
33:35我想要讓這個GPT-4
33:38其實就是DALLI啦
33:40我想讓DALLI呢
33:42畫一個一模一樣的圖
33:44可不可以畫出一個類似的鐘
33:46我就試著跟他描述
33:48這個鐘長什麼樣子
33:50我跟他說這是一個有
33:52現代簡約設計風格的鐘
33:54鐘面是一個
33:56大約圓形的框架
33:58然後是黑色金屬材質
34:00沒有刻度
34:02鐘的中央是一個木板
34:04上下摟空
34:06patya的字樣沒有其他花紋
34:08那指針呢是黑色的設計簡約
34:11只有時針分針沒有秒針
34:13讓他根據這些文字來想像
34:17這個鐘應該長什麼樣子
34:20好那我就試著碰了很久了
34:22不斷改我的文字敘述
34:23希望產生出來的鐘呢
34:25跟我家客廳的鐘呢越像越好
34:27在我把那天的額度都用完之前
34:30我能夠畫出來最像的鐘呢
34:32也只能夠長這個樣子而已
34:34跟真正的我想要他畫的鐘
34:36還是有一點點的差距
34:38是已經很像了啦
34:39但是不管我怎麼努力的描述
34:41感覺都還是有一些差距
34:44因為有很多圖像是文字難以描述的
34:49所以怎麼辦呢
34:50也許我們可以做個人化的圖像生成
34:54那這個其實就是我們在作業時會做的事情
34:59那怎麼做個人化的圖像生成呢
35:02假設你的桌上有一個很特別的雕塑
35:05你也很難描述它是什麼雕塑
35:08那你就直接幫它取一個特別的名字
35:12我們把它叫做S star
35:14要把它叫什麼都可以
35:15你就是要拿一個你平常沒有在用的符號
35:19來稱呼這一個你想要客製化的特別的物件
35:25那你就不要拿你平常會用的符號
35:27比如說如果你把它叫做狗
35:28那就不好了
35:29以後你就再也畫不出狗來了
35:30有時候我畫出來的狗都長這個樣子
35:32而且他有可能會被那個詞彙的意思所汙染
35:35因為你跟他說這是一個狗
35:37只有他可能會把一個狗的頭呢
35:38加到這個雕像上面
35:39因為他覺得這其實應該要長得像一隻狗
35:42總之你要選一個沒有什麼特殊的意思
35:46然後你平常不會再用的符號
35:48來代表這個你要客製化的對象
35:51然後接下來呢
35:52你就教你的文字生圖模型說
35:55以後我跟你講
35:57S-Star的照片
35:59你就要畫這樣的圖出來哦
36:00跟你講S-Star的照片
36:02你要畫這樣的圖出來哦
36:04然後微調你的文字生圖模型
36:06他就可以認得這一個客製化的對象
36:10那之後呢
36:11你就可以把這個客製化的對象
36:13放在各式各樣的場景中
36:16比如說
36:17這邊的例子是來自於右下角這邊論文
36:19他們只用三到五張圖片而已
36:22這種客製化的技術呢
36:23不需要太多的圖片
36:25他們只教這個文字生圖的模型說
36:28這幾張圖片都是S-STAR這個東西
36:32接下來他就可以下各式各樣
36:35跟S-STAR有關的指令
36:37比如說跟他說
36:38An oil painting of X-STAR
36:41這個X-STAR的油畫
36:42就畫一個油畫版的X-STAR
36:44或產生一些X-STAR的APP ICON
36:48放一些X-STAR的APP ICON
36:51跟他說產生一個ELMO
36:53ELMO就是這個紅色怪物
36:55這個 ELMO 要做得像一個 S-Dot
36:58這個模型居然聽懂了
36:59畫了一個 ELMO
37:00就是用個盤做的方式
37:02就跟 S-Dot 一樣
37:03產生一個這個針織版的 S-Dot
37:06他也知道什麼叫做針織版的 S-Dot
37:09所以你可以透過少量的物件
37:12來客製化你的圖片、生圖的模型
37:17這個其實就是我們最後一個作業
37:19會做的事情了
37:22好那剛才講的是文字生圖
37:25那接下來我們來擴展到文字生影片
37:30那文字生圖跟文字生影片有什麼樣不同呢
37:33其實沒有什麼樣本質上的不同
37:37因為本來文字生圖就是產生一堆 patch
37:41文字生影片只是產生了更多的 patch 而已
37:46那如果是文字生圖產生出來的 patch
37:48只對應到一張圖片
37:49如果是文字生影片的話
37:51你就要產生一大排的patch
37:53然後這些patch集合起來
37:55就對應到一段影片
37:58就
37:59結束了
38:00就這樣其實他的原理就這樣
38:03你可能想說文字生影片
38:04感覺這個道理也還蠻簡單的
38:07就是生出一大堆的patch
38:09那到底為什麼大家覺得文字生影片
38:12是一個很大的挑戰呢
38:15那仔細想一想文字生影片的
38:18複雜的程度
38:20假設我們現在每秒鐘有24個Frame
38:25你一般看影片的時候每秒鐘都是24個Frame
38:28那我們現在假設每一個Frame用64x64個Patch來描述它
38:34通常依照今天Encoder的能力
38:3764x64個Patch通常還原回去
38:39可能是1024x1024的圖
38:42就是一個普通的解析度的
38:45普通清晰程度的影像而已
38:48假設每一個Frame有64x64個Patch
38:53那一段一分鐘的影片應該要有多少的Patch呢
38:58我算了一下
38:59一分鐘的影片總共有1440個Frame
39:02因為每秒鐘24個Frame
39:04乘以60 1440個Frame
39:06每個Frame有64x64個Patch
39:08算出來是600萬個Patch
39:11600萬個Patch聽起來數量還不是非常的驚人
39:14因為今天你動不動就聽到一個類神經網路
39:17它的參數量是上億等級的
39:20所以我相信百萬對你來說已經不是一個非常大的數字了
39:24但不要忘了Transformer裡面是要做Attention的
39:29Attention是每一個位置跟每一個位置兩兩間都要做Attention
39:35所以假設所有的Patch兩兩間都要做Attention
39:39六百萬的Patch要做的Attention的次數是六百萬的平方
39:43六百萬的平方是三十六兆啊
39:46所以今天如果你要生一段一分鐘的影片
39:50他不是一個特別高清的影片
39:52但你每一次每一層在做Attention的時候
39:55居然要做36兆次的Attention
39:58這個運算量聽起來就非常的驚人
40:01所以文字生影片最大的挑戰就是
40:04這個運算量實在是太大了
40:07所以怎麼辦呢
40:08你會發現近年來一系列的研究
40:11都是在想盡辦法減少需要的運算量
40:15那怎麼減少需要的運算量呢?
40:19首先第一個想法就是改造Attention
40:23真的有必要所有的Patch間通通算Attention嗎?
40:27算Attention的目的就是要讓不同的Patch間有關聯嗎?
40:30這樣產生出來的影像每一個畫面才會是一致的
40:34但是一個一分鐘的影像
40:36最開頭的影片最開頭的Frame左上角的Patch
40:39真的會跟最後一個Frame右下角的Patch有關聯嗎?
40:43也許我們根本不需要計算那麼多的Attention
40:47所以第一個改造的方向是減少Attention的運算
40:52就這邊是三個Frame
40:54每個Frame裡面有4x4個Patch
40:56然後這一個Patch要計算Attention的話
40:59他不只要跟同一個Frame裡面所有的Patch做Attention
41:02他還要跟同一段影片裡面其他的Frame也做Attention
41:06這種既考慮同一張圖片裡面的資訊
41:10也考慮時間的資訊的Attention
41:13叫做Spatial Temporal的Attention
41:16那今天可能已經很少有人
41:18硬做Spatial Temporal的Attention了
41:20因為他運算量太大了
41:22沒辦法幫你升高清的以下
41:25所以怎麼辦呢
41:26也許一個簡化的方向就是
41:29我們不要管Frame跟Frame之間的關係
41:32每一個Patch
41:33只跟同一個Frame裡面的Patch
41:36來考慮Attention
41:37這樣至少可以確定
41:39至少可以確定同一個Frame裡面
41:42他們的畫面是不會太違和的
41:45同一個Frame裡面他的畫面是一致的
41:48那這種Attention呢
41:49只考慮了一張圖片裡面的長跟寬
41:52只考慮兩個方向
41:54他是一個2D的Attention
41:55叫做Spatial的Attention
41:57那只是考慮Spatial的Attention顯然是不夠的
42:00因為如果只有Spatial的Attention的話
42:02你的畫面換畫面之間就不連續了
42:05就不連貫了
42:07那怎麼辦呢
42:08所以也需要考慮時間的Attention
42:11這種考慮時間的Attention叫做Temporal的Attention
42:15它是1D的Attention
42:16在考慮這個Patch的時候
42:18考慮另外一個Friend同樣位置的Patch
42:22考慮另外一個Friend同樣位置的Patch
42:25但這種Attention顯然是有問題的
42:28因為它只考慮時間這個維度的諮詢
42:31它沒有考慮空間這個維度的諮詢
42:34所以看起來2D的Attention跟1D的Attention
42:37Special attention跟Temporal attention
42:39都是有一些侷限的
42:41那這兩個東西都有侷限
42:43你要用哪一個呢
42:44就是我全都要
42:46不要想那麼多
42:47就把這兩種Attention疊在一起
42:49就可以創造一個偽3D的Attention
42:53今天在做這種影片生成的時候
42:55你常常看到這樣的架構
42:56就是把Special attention
42:58跟Temporal attention
43:002D的Attention跟1D的Attention
43:02交替使用
43:03把他們兩種Attention疊在一起
43:05就可以製造出偽3D的Attention
43:09那我們來計算一下這個偽3D的Attention裡面
43:13需要計算Attention的次數
43:16我們剛才已經知道
43:17如果是完整的3D的Attention
43:19Special Tempo的Attention的話
43:21它算出來的Attention的次數
43:24真的是一個天文數字
43:26那我們來看一下Special的Attention
43:29如果今天我們只考慮同一個Frame裡面的Patch
43:32兩兩之間要做Attention的話
43:34那要做多少次的Attention呢?
43:37那一個Frame裡面有64x64個圖
43:42兩兩要做Attention
43:4364x64的平方
43:45總共有1440個Frame
43:47我們要生一分鐘的影片
43:49總共有1440個Frame
43:50所以把64x64的平方再乘以1440
43:53是240億次的Attention
43:56那如果是Temporal的Attention呢?
43:59Temporal的Attention
44:00是不同Frame裡面同樣位置的Patch
44:03Patch才做Attention
44:05那我們的時間的那個維度
44:08總共有1440個位置
44:10他們兩兩要做Attention
44:12所以是1440的平方
44:14那我們總共有
44:15一個Frame裡面有64x64個Patch
44:18所以假設是Temporal Attention的話
44:20那要做Attention的次數
44:21是1440的平方x64x64
44:24是85億次
44:26雖然這邊也是上億等級的次數
44:29但是你會發現
44:31240億次加85億次兩個合起來做一個偽3D的Attention
44:36跟原來全3D的Attention
44:40它的差別是有達到千倍那麼多
44:44所以透過把temporal加Special的Attention兩種Attention疊起來
44:48你可以製造偽3D的Attention
44:51它需要的運算量是原來真正全3D的Attention的運算量的千分之一而已
44:57這個是今天影片生成模型非常常用的一個技術
45:02那還有什麼方法減少需要的運算量呢
45:07那我們上週有講我們上上週講生成式策略的時候
45:11有講過我們在生成的時候不一定要一步到位
45:15可以把生成分成很多個步驟依序執行
45:20那文字生影片今天也常常使用類似的技術
45:25我們之前有講過說,你可以給你的生成式AI一個條件,先讓它生成第一版的物件,然後再有另外一個生成式AI的模型,把第一版變成第二版,然後最後有一個模型把第N-1版變成第N版,人們以為是輸入這個條件,直接就產生第N版,其實中間已經做過了非常多生成式AI的模型,但每個模型只要專注在某一個任務上面,製造一個流水線,每個流水線的任務都沒有很複雜,
45:55但是全部接起來就可以做複雜的事情
45:59影片生成今天也通常會做非常類似的設計
46:04比如說第K-1版跟第K版的差別可以是
46:07第K-1版裡面每一個frame的解析度是比較低的
46:12第K版它的解析度是比較高的
46:15這個時候生成式AI只需要專注於
46:17把每一張圖片的解析度調高
46:20把根據已經產生出來的低解析度的圖片
46:24產生高解析度的圖片就好
46:27那有時候第 K-1 版到第 K 版
46:29可能是調高了幀數
46:32調高了每秒裡面那個幀
46:34每秒裡面的 frame 的速度
46:36比如說 K-1 版可能每秒只有兩張圖片
46:40第 K-1 版就把兩張圖片擴展到每秒有四張圖片
46:45這個時候對 K-1 到第 K 版的這個深層式 AI 來說
46:50他只需要專注於去預測兩張圖片中間
46:53如果你要做Interleaving
46:55你要做內插的話
46:56應該生出什麼樣的內容
46:58才會是看起來比較連貫的
47:02雖然我們不知道Sora是怎麼做的
47:03不過我們可以看另外一個Google的模型
47:06叫做Imagen
47:07Imagen裡面呢
47:08就用了非常類似的技術
47:10那上面這個圖呢
47:12是來自於Imagen的論文
47:14他就告訴你說
47:15他最先產生出來的圖片
47:17這裡面每一個框框代表一個模組
47:19代表一個模型
47:21他先用一個最簡單的模型
47:23這個模型吃文字的輸入
47:25他只產生一個這個
47:29他的這個這個這邊有三個數字
47:31第一個數字是有多少個frame
47:34然後第二個跟第三個數字是生出來的每一個frame
47:37他的長跟寬是多少
47:39所以第一個模型只會生16個frame
47:42長跟寬分別是40x24
47:46然後他說他的這個 frame per second 每秒的幀數是3
47:50那他生16張圖的話
47:53那他生出來的影像長度大概就是5秒左右
47:57而Base Model生出來這個影片呢
47:59人呢一定是覺得根本不知道在做什麼的
48:02但沒關係
48:03有另外一個模組
48:05有另外一個模型
48:06他把三個fps 每秒三個frame
48:10調高到每秒六個frame
48:13再有下一個模組
48:15把每一個frame的解析度變高
48:18從原來40x24的圖變成80x48的圖
48:23然後再有另外一個模型
48:26把解析度再變更高一點
48:2880x48變320x192
48:32然後再有一個模型
48:34提高一下每秒的幀數
48:36把每秒6幀變成每秒12幀
48:39再一個模型再把幀數再調高一點
48:42每秒12幀調到每秒24幀
48:44這個就是你一般在看動畫的時候的這個幀數了
48:48然後再來呢
48:49但是每個frame如果它的大小是320x192
48:55這個解析度還是太低了
48:57那把它擴展到1280x768
49:00跟你的螢幕一樣大
49:02那這樣就可以產生清晰的影片了
49:05那這個也是今天文字生影片常用的技巧之一
49:10如果你想要學更多有關影像生成的生成式AI的話
49:16你可以看以下兩篇paper
49:18這篇paper講的是語言模型怎麼把影像當作輸入
49:23那這篇paper講的是Diffusion Model怎麼產生影片
関連動画をさらに表示
5.0 / 5 (0 votes)
