GPT-4o 背後可能的語音技術猜測
Summary
TLDR视频脚本深入探讨了GPT-4o背后可能的语音技术，面向有生成式人工智能背景的观众。讨论了GPT-4o的语音互动功能，如语音风格多样性和理解非语音信息的能力。同时，澄清了对GPT-4o语音模式的误解，并推测了其技术实现，包括语音信号的压缩、编码器和解码器的使用，以及如何结合文字信息进行训练。最后，讨论了语音模型训练中的挑战，如确定何时开始和结束对话，以及如何实现模型的多模态输入。
Takeaways
- 🤖 GPT-4o的语音模式（Voice Mode）具有丰富的语音风格，用户可以通过文字指令让其以不同语调进行语音互动。
- 🔍 GPT-4o能够理解语音内容以外的信息，例如通过听一个人的喘气声判断其状态，展现出察言观色的能力。
- 😂 GPT-4o在Demo中表现出自然而即时的互动能力，例如在对话中能够迅速反应并发出感叹声。
- 👥 GPT-4o可能采用了Speaker Dialerization技术，能够区分不同说话者的声音，并知道谁在说话。
- 📈 GPT-4o的语音模式尚未正式发布，目前大家使用的可能是ChatGPT手机版的语音界面，而非GPT-4o的语音模式。
- 🎵 语音合成系统如Zuno AI的Bark能够识别文本中的特定指令并产生相应的声音效果，如笑声。
- 🔗 构建GPT-4o语音界面可能结合了多种现有技术，例如语音事件侦测、情绪辨识、语音合成等。
- 📚 训练语音版的语义模型可能需要大量的声音资料，如YouTube视频，以及利用文字信息进行初始化或混合训练。
- 🔧 语音版的语义模型在训练时可能采用混合编码器和解码器，结合语音辨识和语音合成技术。
- 📉 语音模型需要处理的挑战包括如何判断何时开始和结束说话，以及如何在语音互动中实现自然的对话流程。
- 👀 GPT-4o的语音模式可能是一个end-to-end模型，能够处理声音信号并生成对应输出，而不需要复杂的系统架构。
Q & A
GPT-4o是什么，它背后的语音技术有哪些特点？
-GPT-4o是一个先进的人工智能模型，其背后的语音技术特点包括丰富的语音风格、能够理解语音内容以外的信息如情绪，以及自然而即时的互动能力。
Google的Project ASTRA是什么，它与GPT-4o有什么关系？
-Google的Project ASTRA是一个语音互动技术项目，它展示了大厂对语音互动技术的重视，这与GPT-4o的语音互动功能有直接的关联。
GPT-4o的语音模式Voice Mode有哪些特别之处？
-GPT-4o的Voice Mode特别之处在于它可以通过文字指令改变语音的语调，如快慢、音量大小，甚至可以唱歌，以及能够理解非语言性的声音，如笑声。
为什么GPT-4o的语音模式还没有正式发布？
-根据脚本，GPT-4o的语音模式Voice Mode在5月19号晚上录制视频时还未正式发布，OpenAI表示它将在未来几周内逐步推出。
目前手机上的ChatGPT语音互动和GPT-4o的语音模式有何不同？
-目前手机上的ChatGPT语音互动是ChatGPT手机版本原有的功能，并不包含GPT-4o语音模式演示中的各种高级功能，如不同语调的语音输出和打断对话等。
GPT-4o的语音模式是如何实现对情绪的识别和反应的？
-GPT-4o的语音模式可能通过集成额外的模块，如语音事件侦测或情绪识别模块，来实现对情绪的识别和反应。这些模块可以将情绪信息添加到语音识别的结果中，再传递给语言模型。
什么是Speech Unit，它在语音版的语音模型中扮演什么角色？
-Speech Unit是声音的单位，用于表示声音信号的一种压缩形式。在语音版的语音模型中，声音信号通过编码器转换成Speech Unit序列，然后由解码器将这些单位转换回声音信号。
为什么说只用语音数据训练语音版的语音模型是不够的？
-只用语音数据训练可能导致模型在知识方面非常不足，因为语音数据所包含的文字信息量远小于文字模型训练所需的数据量。因此，需要结合文字信息来丰富模型的知识库。
在训练语音版的语音模型时，为什么要使用大量的语音数据？
-使用大量的语音数据可以帮助模型更好地学习语音的多样性和复杂性，从而提高模型对不同语音模式的识别和生成能力。
如何让语音版的语音模型能够同时听和说？
-可以通过将听和说分成两个不同的通道来实现，这样模型可以同时监听外界的声音和记录自己发出的声音，然后根据这些信息做出适当的响应。
为什么GPT-4o的语音模式可能需要结合视觉信息？
-根据GPT-4o的Demo，模型在描述环境时能够注意到并响应视觉信息，如人物的动作。这表明GPT-4o的语音模式可能需要结合视觉信息来实现更自然的交互。
Outlines
🤖 GPT-4o语音技术探讨
本段讨论了GPT-4o的语音互动功能及其背后的语音技术。目标听众为语音技术背景的专业人士。提到了Google的Project ASTRA项目，强调了语音互动技术的重要性。GPT-4o的语音模式Voice Mode具有丰富的语音风格，能够根据文本指令改变语调，甚至通过唱歌来表达内容。此外，GPT-4o能够理解语音内容以外的信息，如通过喘气声判断情绪状态，并发出非语言性的声音如笑声。还讨论了GPT-4o的自然即时互动能力，以及对GPT-4o语音模式的常见误解。
🔍 GPT-4o技术细节与猜测
这一段深入探讨了GPT-4o的技术细节，包括语音识别、情绪识别模块的加入，以及语音合成系统的高级功能。讨论了如何通过现有技术实现GPT-4o的语音界面，例如Zuno AI的Bark和Meta的AudioBox。还提到了GPT-4o的语音模式是一个end-to-end模型，能够处理从语音信号输入到输出的全部过程，并强调了多模态模型的能力。最后，作者声明了对GPT-4o技术的理解和猜测仅基于OpenAI的展示，并没有实际的技术报告支持。
📚 语音版语言模型训练方法
本段介绍了语音版语言模型可能的运作原理，包括声音信号的压缩、编码器和解码器的作用，以及如何将声音信号转换为speech unit序列。讨论了语音版语言模型的训练过程，包括使用大量声音资料进行训练，以及如何利用编码器和解码器来处理声音信号。还提到了Speaker Dialerization技术在区分不同说话人中的作用。
🎵 GPT-4o的声音多样性
这一段讨论了GPT-4o如何产生多样化和戏剧性的声音效果。提到了Amazon使用超过10万个小时的语音信号训练语音合成模型的研究，以及如何通过大量训练数据使语音合成模型理解内容并产生相应的变化。还提到了GPT-4o在Demo中展示的声音效果，以及如何通过混合编码器和解码器来利用文字信息。
🔗 语音资料与模型训练
本段探讨了如何使用网络上的大量语音资料来训练语音版的語言模型，包括OpenAI使用超过一百萬小時的YouTube影片作为训练资料的情况。讨论了语音资料的复杂性，以及如何避免模型学习到不必要的音效和背景音乐。还提到了模型在训练过程中可能产生的自帶音效或背景音乐作为特性的情况。
📈 语音与文字资料的结合
这段内容讨论了在训练语音版语言模型时，单纯使用语音资料的局限性，以及如何结合文字资料来丰富模型的知识。提到了使用预训练的语言模型作为初始化，并教授它理解语音的方法。还探讨了将语音符号和文字结合在一起进行训练的可能性，以及如何利用混合模式的优势。
🔄 微调与语音转换技术
本段深入讨论了微调（Finetune）的过程，以及如何使用少量目标声音的样本来训练模型模仿特定人的声音。提到了语音转换技术，它可以将不同人的语音转换成特定的声音，从而为模型提供更多的训练材料。还提到了语音与文字在交互上的不同，特别是在开始和结束对话时的明确性问题。
🎛️ 语音模型的听说分离技术
这段内容探讨了如何让语音版的语言模型同时进行听和说的活动，包括将听和说分成两个不同的通道，以及如何通过attention机制来处理多通道的信息。讨论了Dialogue GSLM模型，以及如何在模型中实现听和说的分离，以及如何让模型在适当的时候开始或停止说话。
🌐 多模态交互与模型能力展示
最后一段讨论了语音版语言模型在多模态交互中的能力，包括同时处理听觉、视觉和说话通道的信息。通过GPT-4ALL和Google Project Astra的Demo示例，展示了模型如何在不同情境下理解和响应环境中的事件。还提供了相关论文的链接，供有兴趣深入了解的观众参考。
Mindmap
Keywords
💡生成式人工智能
💡语音互动
💡Project ASTRA
💡语音模式
💡语音合成
💡情绪识别
💡Speaker Dialerization
💡端到端模型
💡编码器和解码器
💡混合编码器
💡语音识别
💡预训练和微调
💡多模态模型
💡自然语言处理
Highlights
GPT-4o的语音互动功能特别引人注目，代表了语音互动技术是大厂重视的领域。
GPT-4o的语音模式Voice Mode具有丰富的语音风格，可以通过文字指令改变语调。
GPT-4o能够理解语音内容以外的信息，例如通过喘气声判断情绪状态。
GPT-4o在Demo中展示了自然而即时的互动能力，能够快速响应用户指令。
存在对GPT-4o语音模式的误解，实际上Voice Mode尚未正式发布。
旧版语音界面与GPT-4o的语音模式在功能上有明显差异。
GPT-4o可能采用了语音事件侦测或情绪辨识模块来增强语音理解。
语音合成系统如Zuno AI的Bark能够根据文本指令产生相应的声音效果。
Meta开发的AudioBox展示了语音合成系统可以理解文字指令。
GPT-4o的语音模式可能是一个end-to-end模型，处理所有事情只用单一模型。
语音版的語言模型可能采用Speech Unit作为声音的压缩表示形式。
OpenAI可能使用了超过一百萬小時的YouTube影片来训练语音版的語言模型。
语音合成模型通过大量训练数据可以理解内容并产生适当的声音变化。
语音版的語言模型训练可能结合了文字信息以丰富模型的知识。
语音模型可能需要同时处理听、说和看多个通道的信息。
语音模型需要能够判断何时开始说话和何时停止说话。
提供了关于语音版语言模型的论文链接供进一步参考。
Transcripts
00:00有很多同學問我對於GPT-4o有什麼看法
00:04所以我今天來講一下
00:06GPT-4o背後可能的語音技術
00:10這個影片的目標聽眾是
00:13語音技術背景的聽眾
00:15如果你已經是語音領域的專家的話
00:18這部影片講的內容對你來說
00:20可能就太科普了
00:24先說明一下我假設聽這個影片的同學
00:29是有修過生成式人工智慧導論的
00:32如果你還沒有看過這堂課的影片的話
00:35你可以在這個連結找到這堂課的影片
00:39那如果你看過這堂課的影片的話
00:42可以讓你更瞭解
00:43我現在這部影片裡面
00:45所要講的內容
00:47那GPT-4o其中一項
00:50特別令人
00:51矚目的技術
00:53就是語音互動的功能
00:5600:57也釋出了Project ASTRA的結果
01:00那在Project ASTRA裡面
01:02也打造了語音互動的技術
01:06那這個代表說現在語音互動的技術
01:10是各個大廠都非常重視的一塊
01:15那GPT-4O的語音模式Voice Mode
01:18有什麼樣特別的地方呢
01:21第一個是它有很豐富的語音風格
01:24講到這個語音合成
01:27大家往往想到的就是Google小姐
01:30那Google小姐就是一種語調
01:33但是GPT-4o你可以用文字的指令
01:36要求他用不同的語調來說話
01:40比如說叫他講快一點
01:42叫他輕聲細語
01:44或甚至叫他用唱的
01:47把他想要講的事情表達出來
01:49另外GPT-4o好像可以理解
01:53語音內容以外的資訊
01:55用比較白話的講法就是
01:58他能夠察言觀色
02:01舉例來說,他可能可以聽得到一個人的喘氣聲,知道一個人氣喘如牛
02:07那他可以發出非語音性的聲音,例如笑聲
02:12那如果你有看GPT-4o的Demo的話
02:15你會發現這是一個非常愛笑的模型
02:19他動不動就會笑
02:21另外GPT-4o有自然而即時的互動
02:26在其中的Demo裡面有一個人說
02:29我們來做一個有趣的嘗試
02:31話還沒有說完
02:33GPT-4o居然說了一聲哇
02:35然後那個人再說我要你去做某一件事情
02:38如果還沒有看過OpenAI的Demo
02:41你可以先看一下OpenAI的Demo
02:43再來繼續這部影片
02:45那首先我想要澄清一個
02:49很多人對GPT-4o語音模式的誤解
02:53那我這部影片呢
02:54是在5月19號的晚上錄製的
02:58其實到5月19號的晚上為止
03:01多數人應該都是沒有GPT-4o的語音模式的
03:06很多人會想說
03:08我有啊
03:09我可以用語音跟我的ChatGPT互動
03:12那個語音互動
03:14是ChetGPT手機版本來就有的語音介面
03:18ChetGPT他的手機版本來就可以用語音互動
03:22他的互動方式是說
03:24這個是你的ChetGPT的頁面
03:26那GPT 4.0已經釋出了
03:29你可以在右下角點這個語音的這個鈕
03:33然後你就會看到一個這樣子的畫面
03:37那你確實可以透過這個介面
03:39跟ChetGPT用語音溝通
03:42但是如果你有實際嘗試的話
03:44你會發現這一個語音的介面
03:48並沒有你在GPT-4O語音模式的演示裡面
03:53看到的種種神奇功能
03:55比如說用不同的語氣講話
03:57比如說你可以打斷他說話等等
04:01那事實上呢
04:04事實上大家可能都有收到一則OpenAI給的訊息
04:08就是其實VoiceMode還沒有真的釋出
04:12它只是coming soon
04:14它就會在接下來的數週慢慢的被釋出來
04:19所以大家所使用的手機版的語音介面
04:24其實可能還不是GPT-4O的語音模式
04:31那舊版的語音介面是怎麼做的呢
04:36舊版的語音介面是先把語音訊號透過語音辨識變成文字
04:41再把文字丟給語言模型
04:44比如說 ChatGPT
04:46然後語言模型會給一個回應
04:48這個回應透過語音合成產生語音訊號
04:53那其實如果語音辨識跟語音合成跑得夠快的話
04:57其實這個介面也可以達到蠻自然即時的互動功能的
05:02但是跟這個OpenAI GPT-4語音模式的demo比起來
05:07還是有一段差距
05:09比如說呢
05:10這個如果是透過語音辨識把聲音訊號轉成文字
05:14那語言模型可能會不知道語者的情緒
05:19語音合成如果只是把語言模型的輸出轉成聲音訊號
05:23那語音合成就只有某一種說話的風格而已
05:28那我在看這個GPT-4-O的語音介面的Demo的時候
05:35我其實在想它會不會只是把原來的系統
05:40加上了一些額外的模組
05:43比如說在語音辨識之外
05:45我們可以加一些語音事件偵測或情緒辨認的模組
05:49所以我們也有機會透過情緒辨認的模組
05:53也有機會把聲音訊號的情緒把它偵測出來
05:57那你可以把偵測出的情緒放在語音辨識的結果後面
06:02再去丟給語言模型
06:04那這樣語言模型也有機會知道這句話的情緒
06:08那我這邊引用一些論文
06:11這些論文是說你可以加一些額外的模組
06:16來幫助語言模型瞭解現在輸入語音的情緒
06:22那另外你也可以讓語言模型除了文字之外
06:25多輸出一些符號
06:26比如說語言模型在他的輸出的文具後面加一個括號笑
06:31再丟給語音合成系統
06:33搞不好語音合成系統就可以產生笑聲
06:36你可能會問說這個語音合成系統可以看到這個括號笑就產生笑聲嗎?
06:40有一些語音合成系統是真的可以的
06:43比如說Zuno AI所開發的Bark
06:46你在你的文具裡面打一個笑
06:48這個語音合成模型
06:50這個語音合成的結果是真的可以產生笑聲的
06:53另外一方面,ChatGPT可能也可以產生一段指令
06:59告訴語音合成系統說
07:01現在應該要用什麼樣的語氣來進行合成
07:06語音合成系統可以看得懂這些文字的指令嗎?
07:10其實很多語音合成系統是可以看得懂文字指令的
07:14舉例來說,一個具代表性的例子
07:17就是Meta開發的AudioBox
07:20所以用很多現有的技術串接起來
07:23其實也不是沒有可能打造GPT-4O的語音介面
07:29只是說把很多系統串接起來
07:31那可能即時性不是非常的好
07:34需要透過大量工程的手段
07:36來加快模型運作的速度
07:39來達到真正即時的回應
07:42不過GPT-4O的Blog已經告訴我們
07:45它的語音模式是一個end-to-end的模型
07:50也就是他只有用一個模型來處理所有的事情
07:55也就是說他用的不是像上一個投影片一樣
07:58一個非常複雜的架構
08:00而是只有一個單一的模型
08:02這個單一的模型聽語音訊號作為輸入
08:06然後產生對應的輸出
08:08那這個模型其實是一個多模態的模型
08:12也就是他是可以看圖片看影像的
08:17但以下的討論,我們只集中在聲音的部分
08:22這邊先說一個免責聲明
08:24本影片主要的目的是討論技術
08:27那沒有要對任何群體或個人造成傷害的意圖
08:31那我目前還沒有GPT 4.0的Voice Mode
08:34所以我對GPT 4.0的理解
08:36是完全來自OpenAI的展示
08:39那至於實際上真的Voice Mode釋出以後
08:42有沒有展示那麼厲害
08:44我們就拭目以待
08:46那OpenAI到目前為止都沒有發表跟GPT-4O相關的論文或者是技術報告
08:52以下的內容完全是根據我知道的技術進行臆測
08:56所以以下我對於GPT-4O背後技術的猜想是完全沒有根據的
09:03只是並沒有任何的論文可以佐證我的猜測
09:07那我只是想要跟大家討論一下根據今天語音技術的發展
09:11有什麼樣可能的技術可以達GPT-4O這樣的效果
09:15如果日後發現實際的技術跟我的臆測有差異
09:18還請大家見諒
09:21好,那在開始講這個
09:24End-to-End的語音模型之前
09:27我們先來複習一下
09:29這個文字的語言模型
09:31是怎麼被訓練出來的
09:33那我們知道文字的語言模型
09:35它的訓練呢
09:36有三個步驟
09:37第一個步驟是Pretrain
09:40用大量沒有標註的資料進行訓練
09:43然後接下來做Finetune
09:45用少量有標註的資料微調
09:47然後做RLHF
09:49用使用者回饋的資料進行微調
09:52那Finetune跟RLHF合起來又叫做Alignment
09:58那如果你對於這三個步驟還不熟悉的話
10:01你可以看一下過去我上課的錄影
10:04你也可以看一下我最近釋出的影片
10:08講這個生成式人工智慧的生成策略
10:11瞭解生成式人工智慧的基本原理
10:15再進行以下的課程
10:18好那語音版的語言模型
10:21它可能的運作原理是什麼樣子的呢
10:25我們知道語言模型就是做文字接龍
10:29給他一個未完成的句子
10:31他猜接下來應該輸出哪一個文字的token
10:36語音版的語言模型可以聽一句話給你一個回應
10:39他背後運作的邏輯可能也非常的類似
10:45他做的事情可能就是聽一段聲音
10:48然後去猜接下來應該產生什麼樣的聲音
10:53也就是他做的事情是聲音接龍
10:58雖然從表面上看起來語言模型跟語音版的語言模型
11:03他們的運作可能非常的類似
11:06但是語音版的語言模型有它獨特的挑戰
11:11第一個挑戰就是這個語音相較於文字
11:17它更為複雜
11:19那對一段聲音訊號而言如果它的Sampling Rate是16kHz的話
11:25意思就是一秒鐘的聲音訊號裡面
11:28由16000個取樣點所構成
11:33也就是一秒鐘的聲音訊號
11:35是由一萬六千個數值所構成的
11:39那所以聲音訊號非常的複雜
11:42如果我們今天在做這個聲音接龍的時候
11:47是讓聲音訊號一個一個取樣點跑出來
11:51那你要產生一秒鐘的聲音訊號
11:54那你就要跑一萬六千次的聲音訊號接龍
11:59這顯然會非常的花時間
12:02所以現在在做這種語音的接龍呢
12:06通常不是直接在語音的訊號上面做接龍
12:10比較常見的做法是
12:12先把聲音的訊號呢進行壓縮
12:17你會有一個編碼器
12:19它的英文呢是encoder
12:21那這個編碼器裡面呢
12:23可能會有一個codebook
12:25這個codebook裡面是一大堆的code
12:28所謂的code每一個code代表某種類型的聲音
12:32可能某一個code代表人類發的/b/這個聲音
12:36那有個code代表人類的笑聲
12:39有的code甚至代表不是人類的聲音
12:43比如說狗叫聲等等
12:45所以一段聲音訊號輸入給編碼器
12:48編碼器會用它裡面的codebook
12:51來表示這一段聲音訊號
12:54所以一段聲音訊號會被表示成一個code sequence
12:59會表示成一個code的序列
13:02那這些code又被叫做speech unit
13:06他們是可以看作是聲音的單位
13:10那你還會訓練一個decoder
13:13訓練一個解碼器
13:14這個解碼器可以讀這些speech的unit
13:18把這些speech的unit轉回聲音訊號
13:21一般這些編碼器跟解碼器也是類神經網路
13:27也是需要透過訓練資料來進行訓練的
13:33如果你想要知道更多有關這種
13:36把聲音訊號變成 Speech Unit
13:39再把 Speech Unit 解回來相關的技術的話
13:42可以閱讀一下這兩篇文章
13:48那語音版的語言模型呢
13:51是運作在這一些Speech Unit上面的
13:55也就是說當一段聲音訊號進來的時候
13:59語音版的語言模型並不是直接對這段聲音訊號去做語音接龍
14:04這些聲音訊號會先通過Encoder
14:07變成一串Unit
14:10然後呢這些Unit會變成語音版語言模型的輸入
14:14語音版語言模型要做的事情
14:16是預測下一個Unit會是什麼
14:19然後下一個Unit會再通過Decoder產生聲音訊號
14:24所以語音版語言模型沒有必要產生複雜的聲音訊號
14:27它只需要產生Unit
14:29然後由Decoder把Unit轉回複雜的聲音訊號
14:33所以語音版的語言模型是運作在Speech Unit
14:38這種壓縮過的東西上面
14:41針對語音訊號壓縮過的這些東西上面
14:45那有很多具代表性的語音版的語言模型
14:49比如說Meta的GSLM還有Google的Audio LN
14:54那這其實不是非常新的技術
14:56GSLM是在21年的年初的時候就已經有的
15:01其實我們也可以把解碼器呢
15:05看作是一種非常特殊的語音辨識
15:09只是它的輸出不是文字而是speech的unit
15:13我們可以把解碼器看成是一種特殊的語音合成
15:17只是它的輸入不是文字而是speech的unit
15:22它不是把文字變成語音
15:24而是把speech的unit變成語音
15:27那你可能會想說
15:29那為什麼我們不直接套用語音辨識跟語音合成
15:32當作編碼器跟解碼器呢
15:35其實我們確實可以把語音辨識
15:37想成是一種非常特別的壓縮方式
15:41當我們把聲音訊號變成文字的時候
15:44其實也是在做某種壓縮
15:47文字本來就可以看作是語音的濃縮版
15:52但是這邊的問題是
15:54文字只代表了語音裡面某個面向的資訊
15:58文字只代表了語音裡面內容的資訊
16:02假設今天輸的聲音訊號是有一個人說好好笑
16:05接下來哈哈哈哈了幾聲
16:07語音辨識系統可能只能夠把
16:10代表文字的好好笑辨識出來
16:12那笑聲就不見了
16:14接下來你用語音合成把好好笑還原回聲音的時候
16:17其實笑聲的資訊就丟掉了
16:20那用Speech Unit的好處是
16:22它可能可以保留文字
16:25所無法表達的資訊
16:29但是另外一方面
16:30用這種Speech Unit也有一個壞處
16:33就是Speech Unit裡面
16:35可能很多Unit它本來就是對應到
16:38某個文字的token
16:40那你等於是要這個編碼器呢
16:43去重造輪子
16:44本來就已經有文字
16:47可以表示語音裡面的某些訊號
16:50編碼器需要再用另外新的符號
16:53來表示這些
16:54我們本來就有文字符號
16:56可以描述的語音資訊
16:58那這樣感覺是重造了輪子
17:01所以另外一個可能的做法是把編碼器
17:04跟語音辨識結合
17:06那我這邊把它叫做混合編碼器
17:09把解碼器跟語音合成結合
17:11這邊叫做混合的解碼器
17:14也就是對一段聲音訊號而言
17:16能夠做語音辨識的部分
17:19能夠辨識成文字的部分
17:21把它用文字來表示
17:23那無法用文字來表示的部分
17:26就用 Speech Unit 來表示
17:28所以一段聲音訊號好好笑
17:30後面接哈哈哈哈
17:31那好好笑的部分
17:32可能可以用文字來表示
17:34那笑聲的部分就拿一個特殊的符號來表示
17:38那混合解碼器可以看文字跟特殊的符號
17:43把它轉回聲音訊號
17:45我不知道GPT-4O會不會採取這樣混合的策略啦
17:50也許GPT-4O也是使用編碼器而已
17:54並沒有用語音辨識
17:56那我只是覺得用混合的編碼器有它額外的好處
18:00那這個部分我們等一下會再提到
18:03那另外呢,我們這邊還需要一個
18:07語者自動分段標記的技術
18:11那這樣的技術呢,叫做Speaker Dialerization
18:16如果你看GPT-4-O的Demo的話
18:18當有兩個以上的人跟他說話的時候
18:20其實他是知道的,他可以知道誰是誰
18:24所以他應該需要用到Speaker Dialerization的技術
18:29Speaker Dialerization的系統
18:30語者自動分段標記的系統就給他一段聲音訊號
18:33他可以知道哪些段落是某一個同一個語者講的
18:38他可以知道說這一段跟這一段都是語者A講的
18:42這一段是語者B講的
18:45所以我猜測一段聲音訊號
18:48對於一個語音版的語言模型來說
18:52他的表達方式應該是這個樣子的
18:55就可能同時使用了混合的編碼器
18:57跟語者自動分段的標記
19:00那有一段聲音訊號進來會標出說哪一個段落是語者A說的
19:05他可能會用A冒號一個特殊的符號來代表這是A說的話
19:10然後可以用文字表示的地方可能用文字表示
19:14那不能用文字表示的地方可能就拿特殊的符號用SpeechUnit來表示
19:21這個是對於語音版的語言模型看到一段聲音訊號的時候
19:27它實際上輸入的猜想
19:29那接下來怎麼訓練這種語音版的語言模型呢?
19:35我們已經知道
19:36這個語言模型
19:38是用大量文字資料所訓練出來的
19:42語音版的語言模型用同樣的道理
19:45也可以用大量聲音的資料
19:48來進行訓練
19:49我們完全可以用大量的聲音資料
19:52來訓練一個語音版的
19:54語言模型
19:55來做speech unit的接龍
19:57那哪裡去找大量的聲音資料呢?
20:02那這個想起來非常的直覺
20:04網路上有這麼多的影音平臺
20:07從這些影音平臺上就可以收集到大量的聲音資料
20:12那OpenAI顯然有在做這件事情
20:14因為在四月的時候紐約時報才說了
20:17OpenAI用了超過一百萬小時的YouTube影片
20:21來訓練他們的語言模型
20:24那時候我剛看這個報導的時候就很困惑
20:26為什麼要用YouTube的影片來訓練語言模型呢
20:30難道現在文字的資料已經全部都用完了
20:33真的沒有文字的資料可以用了嗎
20:35但是如果OpenAI是在訓練語音版的語言模型
20:39那用YouTube影片完全就說得通了
20:45那你可能會想說
20:46可是網路上的影片五花八門
20:49又不是全部都是乾淨的語音
20:52那些語音很多背後有是有音效有背景音樂的
20:56那我們拿這些聲音訊號來訓練我們的語音版語言模型
21:02這個語音版語言模型會不會把音效背景音樂通通都學進去了呢
21:08非常有可能
21:10我們來仔細聽一下
21:12在GPT 4.0 Demo裡面
21:14GPT 4.0的聲音
21:17大家仔細聽一下GPT 4.0的聲音喔
21:26有沒有發現,GPT-4-O他講話的時候,背景是有一個鋼琴聲的
21:40當然我們不能排除現場正好有人在彈鋼琴的可能啦
21:43但是如果你告訴我GPT-4-O講話的時候
21:47就是有可能會產生一些音效或者是背景音樂
21:51這我完全也不意外
21:53那不過我覺得可以如果今天一個語音模型啊
21:58他在講話的時候就是會自帶音效或自帶BGM
22:02其實也是一個很酷的事情
22:04他以後講話都自帶BGM
22:06所以我們可以說這不是一個bug
22:08這是一個feature
22:10好那在demo裡面我們也可以看到說啊
22:15GPT-4O他可以產生非常多樣化
22:19非常戲劇性的聲音
22:21這是怎麼辦到的呢?
22:23有一些論文已經指出
22:26這邊是引用了一個
22:29Amazon在今年2月所釋出的論文
22:33他們用了超過10萬個小時的語音訊號
22:38來訓練他們的語音合成模型
22:41這邊用的是一個參數有B.10億等級的模型
22:46當然這樣大小的模型
22:48在文字領域並不是很大
22:50很大,但對於語音合成模型來說已經非常大了
22:55他們發現是說過去語音合成系統
22:59因為他用的資料不夠多
23:01所以往往合出來的聲音非常的平淡
23:04這個如果你有看動漫的話
23:06你知道這就叫做棒讀
23:08就是講話不帶情緒非常的平淡
23:12但是現在如果有大量訓練資料的時候
23:16這些語音合成的模型就可以理解要讀的內容
23:19而且根據要讀的內容給予適當的變化
23:24舉例來說
23:25我們來看這個句子
23:27注意一下這個句子裡面
23:28有提到
23:29Whisper
23:30輕聲細語
23:31輕聲這個詞彙
23:33我們來看看語言模型
23:35是怎麼合這個句子的
23:40來聽一下這個聲音
23:49根據這篇論文的講法,他們並沒有對輸入的文字做任何特殊的處理
24:00模型就是直接讀輸入的文字
24:02但他在讀到 whisper 輕聲這個字的時候
24:06他自動知道他要用比較輕的聲音來唸這個句子
24:11這是他自動根據資料學到的
24:14當然這邊可能合出來的聲音沒有非常的戲劇化
24:19我們今天看這個GPT-4的Demo
24:21它的聲音的合成是可以更戲劇化的
24:24你要叫它講輕聲的時候
24:26它是可以講得更輕聲的
24:27但也許把資料從十萬小時擴展到一百萬小時的時候
24:32就是會有這種效果
24:34當然因為我從來沒有訓練過這麼多
24:36從來沒有用過這麼多資料訓練語音合成的系統
24:38所以這只是個猜測
24:42另外一方面呢
24:43單單使用語音的資料來訓練
24:47非常顯然是會不夠的
24:49必須要利用文字的資訊
24:52為什麼用語音資料訓練是不夠的呢
24:55我們來想想看
24:57一百萬小時的語音背後
25:00可能有多少的文字
25:02我們來算算有多少分鐘
25:05一百萬小時是六千萬分鐘
25:08一般人一分鐘可以大概講
25:11一百多個文字的TOKEN
25:14那六千萬分鐘
25:16就可以講60億個文字的TOKEN
25:20你可能想說60億
25:22聽起來是一個蠻大的數字了
25:25從60億個TOKEN
25:26應該可以學會很多知識吧
25:28但是不要忘了
25:29LLaMA3
25:31可是用了15兆個文字的TOKEN來訓練喔
25:35所以一百萬小時的語音
25:37只有LLaMA3
25:38預訓練資料的250分之一而已 (勘誤：應該是 2500 分之一)
25:43所以假設一個模型
25:45他只聽了100萬小時的語音進行學習
25:49也許他可以學到一些語音的資訊
25:51但是他的知識可能會非常的不足
25:55所以模型不能單單只用語音聲音的資料訓練
26:00還得利用文字的資訊
26:03那怎麼利用文字的資訊呢
26:07一個可能是語音版的語言模型是以原來的語言模型作為初始化的
26:16那OpenAI早就打造了很多很厲害的語言模型
26:20他們可能不會浪費這些語言模型已經學到的知識
26:23所以他們可以用原來已有的語言模型作為初始化
26:27去打造語音版的語言模型
26:31或者是用通俗的講法就是
26:33我們可以去教原有的語言模型
26:38讓他聽懂語音
26:40那麼剛才有說
26:42語音其實會被表示成一堆Unit
26:46而這些Unit對於語言模型來說
26:49就是一個全新的語言
26:51他有一套自己獨特的符號系統
26:55所以當我們要教一個原來的語言模型
26:57聽懂語音的時候
26:59其實對語言模型來說
27:01他就是在學一個全新的語言
27:05當然另外有一個可能是把語音的符號
27:10跟文字全部倒在一起訓練
27:13總之單憑語音資訊來訓練一定是不行的
27:16一定要想些辦法利用文字的資訊
27:19那我覺得這個地方可能就可以展現混合模式的好處
27:24因為假設我們今天表示一段聲音不是隻用unit
27:27而是有用到文字的話
27:30那對於語言模型來說,它學習起來可能會更為容易
27:34因為這些文字符號的意思,它早就知道了
27:37它只需要花力氣去了解這些新的符號是什麼意思就好
27:42當然這只是一個猜測
27:44如何利用語音資訊其實並不是隻有固定一種方法而已
27:48還有很多其他讓語音版語言模型利用文字資訊的方法
27:52到這邊就列舉幾篇論文給大家參考
27:57好,那剛才講的是Pretrain
27:59那我們都知道說光是有pre-trained是不夠的
28:02文字的語言模型如果只有做pre-trained
28:06只有做預訓練的話
28:07他根本沒辦法好好的回答問題
28:10所以需要做alignment
28:12需要根據有標註的資料進行微調
28:17那在文字模型上
28:19你需要收集一些這樣對話的資料
28:21人說你是誰
28:24模型就要回答我是人工智慧
28:26人說教我駭入鄰居家的Wi-Fi
28:29模型就要回答我不能教你等等
28:31你需要蒐集這樣的資料
28:32來微調你的模型
28:34讓它能夠好好跟人說話
28:38那對於語音的模型
28:40我們可能就需要蒐集語音的對話來訓練它
28:44所以就要蒐集語音的對話
28:47然後在這個對話裡面
28:48你讓某一個人去當作使用者
28:52某一個人就說他是扮演AI的角色
28:55然後你就可以微調語音版的語言模型
28:59讓他聽這個人說話
29:01然後要產生這個人的回應
29:04但光是這樣可能還不夠
29:10大家如果聽那個DEMO
29:12那個DEMO是固定某一個語者的聲音
29:16所以假設要讓我們的語言模型講出話來
29:20都是某一個人的聲音
29:22比如說現在ChatGPT的語音頁面裡面
29:25你也是可以選語者的
29:27那比如說你選Sky這個人
29:30所以他就只能用Sky這個人的聲音來講話
29:34那所以說可能在做alignment的時候
29:37假設你想讓模型學會多用Sky的聲音來講話
29:42那你可能需要收集大量Sky跟其他人的對話
29:46那可能有某一個聲優
29:48他就代表了Sky
29:49收集很多這個聲優跟其他人的對話
29:52你需要這樣子的語音對話來訓練模型
29:55那有人可能會想說
29:57那是不是需要錄很多Sky跟其他的對話呢
30:02也許不一定需要
30:05因為記不記得我們在講文字模型的時候
30:07我們有說其實Finetune往往不需要太多資料
30:12模型在Pretrain的時候
30:14已經擁有非常豐富的知識
30:16Finetune只是畫龍點睛
30:19那今天會不會做完語音的pre-train以後
30:24模型已經很會模仿各種不同的人說話
30:27他只要聽過幾句sky的話
30:30就可以很好的學會sky說話的方式了
30:35所以也許一個有大量資料pre-train的模型
30:38它是它在fine-tune的時候
30:41在做alignment的時候
30:43只需要少量的資料
30:45那另外一個可能就是
30:46就算沒有很多sky對話的錄音
30:49也許可以用語音轉換的技術
30:52語音轉換的技術就是把某一個人的聲音轉成另外一個人的聲音
30:55也許可以用語音轉換的技術
30:57把對話中各種不同人的聲音都轉成sky的聲音
31:02那你就有大量sky跟其他人對話的錄音檔
31:05可以拿來訓練你的模型
31:07但講到目前為止
31:10看起來這個語音的語言模型
31:13跟原來文字的語言模型非常的類似
31:17但是其實語音跟文字
31:20還是有很多
31:21本質上的區別
31:23舉例來說
31:24我們今天用文字來跟
31:27AI互動的時候
31:29你有很明確的開始跟結束
31:31今天
31:32你跟ChatGPT互動的時候你打一句話你打完以後
31:37你會按Enter
31:39ChatGPT就知道該輪到他講話了
31:41他不用猜什麼時候
31:43他該開始講話
31:44結束也是一樣
31:46你今天不想讓ChatGPT講話了
31:48右下角有一個停止的鈕你按下去
31:52他就很明確的知道他不會再生成更多的文字
31:56但是語音介面不一樣
31:58當有一個人對AI說我們來做一件有趣的事
32:02稍微停頓一下
32:03這個時候AI必須要猜
32:05他到底應該接話說什麼事
32:08還是這個人還沒有講完
32:10我們應該要等他繼續講完
32:12再進行答覆
32:14所以跟文字不一樣
32:15在文字的介面上
32:17AI很清楚什麼時候輪到他講話
32:19但是如果是一個語音的介面
32:23那AI就必須要猜
32:25他什麼時候可以開始講話
32:29另外一方面
32:30也許今天有人叫語言模型講一個故事
32:32他開始講一個無聊的故事
32:34山上有座廟
32:35廟裡有個老和尚
32:37這個故事會不斷的循環下去
32:38是一個無限循環的故事
32:40那人聽了就很厭煩
32:42跟他說停停停
32:43這不是我要聽的
32:45那語音版的語言模型
32:47他知不知道要停下來呢
32:50那也許你說這是什麼問題
32:51反正只要人說話
32:53我們就停下來
32:54這個不是最好的解決問題的方法
32:58因為也許這個人講話
32:59並不是要語言模型停下來啊
33:02也許現在人正好在跟這個AI合唱
33:05所以並不是只要聽到人的聲音
33:07就必須停下來
33:10所以假設今天要讓一個語音版的語言模型
33:15跟人有自然的互動
33:17要讓模型可以同時聽跟說
33:21但原來的文字接龍的方式
33:23聽跟說是切開的
33:26模型在說的時候
33:28它就很難繼續進行聽這件事情
33:31那一個可能的解決方法
33:34是把聽跟說這兩件事情分開來
33:39那這個技術呢過去也是有過的
33:41有一個模型叫做Dialogue GSLM
33:44這個是22年就已經有的模型
33:48所以等一下講的東西
33:49如果你聽不太懂的話
33:50你可以參考這一篇論文
33:52怎麼讓模型同時聽跟說呢
33:55就是要把聽跟說分成兩個不同的頻道
34:01所以今天有一個聽的頻道
34:04那這個是模型的麥克風
34:06他會在聽人在說什麼
34:08外界發生了什麼聲音
34:10那另外模型會記錄
34:12自己發出過什麼樣的聲音
34:15但這兩個頻道應該要是分開的
34:18而不是直接被混在一起的
34:20我們來看一下模型在這個狀況
34:22要怎麼運作
34:24語音版的語言模型就是同時
34:26聽這兩個頻道的內容
34:28包括現在人在說什麼
34:30他之前講過什麼
34:32現在人說了個我
34:34那感覺這句話還沒有說完
34:36所以語音版語言模型就輸出 silence
34:39輸出安靜
34:40安靜可能也是有某一些特殊的speech unit
34:43代表安靜
34:44就不說話
34:45然後接下來呢
34:47人就會繼續說
34:48也許人說到某一個段落
34:50那語音版的語言模型
34:52根據人現在說的話
34:54覺得那他說完了
34:55輪到我說了
34:57人說我們來做個有趣的嘗試
34:59那語言模型也許就輸出一個 wow
35:01代表說他很興奮
35:03可以做這個嘗試
35:05那接下來呢
35:06假設人仍然是沒有聲音的
35:09人是安靜的
35:10語言模型就知道說
35:11那他可以繼續說
35:13也許他就會說我好期待
35:15但如果人仍然有發出聲音
35:17就我要你做某件事情
35:18那語音版語言模型知道說
35:20人還沒有說完
35:21也許他就會輸出
35:22代表安靜的符號
35:24繼續保持安靜
35:26當然這並不是唯一讓語言模型
35:28可以同時聽跟說的方法了
35:30但可能還有其他的解法
35:32我這邊只是講了某一個可能的解法而已
35:37另外一方面也許語言不只要同時聽跟說
35:41還要同時聽加說加看
35:44因為你看這個GPT-4ALL的DEMO
35:47模型是可以一邊看著東西一邊說話的
35:52所以可能有不只有聽跟說兩個頻道
35:55還有一個視覺的頻道
35:59專門讀取外界的影像輸入
36:02舉例來說,在這個OpenAI的Demo裡面
36:05有一個Demo就是
36:07這個語言模型正在描述房間中的燈光
36:10講得非常的奇跡
36:12這時候有一個人跳出來
36:14比了一個Yeah的動作
36:16語言模型無視這個影像
36:18繼續談他的燈光
36:20不知道他有沒有看到這個比Yeah的人
36:23這時候人就打斷語言模型說
36:25等一下,你有沒有看到什麼奇怪的東西
36:28語言模型顯然是有看到比Yeah的這個人的
36:32只是在講燈光的時候他講得太爽了
36:35所以就沒有覺得需要對這個人發表
36:38比Yeah的人發表任何的評論
36:40但是當有人問他說
36:41你有看到什麼怪怪的東西的時候
36:44這個時候語言模型會做的事情是
36:46他會對每一個Channel
36:48不只是他現在生成的Channel
36:50還有他聽的Channel
36:52還有他看的Channel
36:53通通去做Attention
36:55所以他會收集所有的資訊
36:57然後得到一個答案
36:58那可能就會知道說有人比了一個頁
37:02那其實在Google Project Astra裡面的Demo
37:06也有一個非常類似的例子
37:08看起來大家都覺得需要有這種例子來展現模型的能力
37:12他們的例子是
37:13有一個人拿著手機隨便走隨便拍
37:17然後中間拍攝的過程中有看到了一個眼鏡
37:22但是那個時候語言模型並沒有對眼鏡做出任何評論
37:26人也沒有提到跟眼鏡有關的事情
37:29然後人就跟語言模型聊了一下
37:31我們現在在哪裡
37:32語言模型說在王十字車站附近
37:35然後接下來人問說有沒有看到我的眼鏡
37:38這個時候眼鏡已經不在畫面裡面了
37:41但是語言模型會對過去的資訊去做Attention
37:45從過去看到的影像
37:47從過去聽到的聲音收集一下資訊
37:49他知道他有看到眼鏡
37:51眼鏡是在桌上
37:54這是一個蠻自然的互動的模式
37:58其實技術的部分就講到這邊
38:01如果大家想知道更多有關語音版語言模型的論文
38:05我這邊附了一個連結
38:06裡面收集了很多語音版語言模型相關的論文
38:10給大家參考
38:11謝謝大家謝謝
Weitere ähnliche Videos ansehen
How to build an IVR with Custom AI Voices (in Dialogflow)
Natural Language Processing: Crash Course Computer Science #36
Networking for GenAI Training and Inference Clusters | Jongsoo Park & Petr Lapukhov
Trying to make LLMs less stubborn in RAG (DSPy optimizer tested with knowledge graphs)
Stream of Search (SoS): Learning to Search in Language
【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊
5.0 / 5 (0 votes)
