【生成式AI導論 2024】第6講：大型語言模型修練史 — 第一階段: 自我學習，累積實力 (熟悉機器學習的同學從 15:00 開始看起即可)
Summary
TLDR本课程至今为止没有训练任何模型，所有内容基于已训练好的大型语言模型。从这堂课开始，将讲解大型语言模型的训练史，分为三个阶段。在进入语言模型训练前，需了解背景知识，包括文字接龙和Token的概念。机器学习的训练分为训练和推论两个步骤，训练找到模型参数，推论使用这些参数。训练过程中可能遇到超参调试和过拟合问题，需要增加训练数据的多样性和控制初始参数。第一阶段自我学习，从网络爬取大量文字资料进行训练。
Takeaways
- 📚 大型语言模型的训练分为三个阶段，每个阶段都专注于学习如何更好地进行文字接龙。
- 🔍 语言模型的训练基于大量数据，通过机器学习和深度学习技术来预测文本序列中的下一个Token。
- 🤖 模型的参数是通过训练数据自动找出的，而超参数需要人工设定，这些超参数对训练结果有重要影响。
- 🔄 训练过程中可能遇到的问题包括训练失败或过拟合，需要通过调整超参数或增加数据多样性来解决。
- 🌐 网络是获取训练数据的主要来源，但需要对数据进行清理，包括去除有害内容、HTML符号、低品质数据和重复内容。
- 📈 GPT系列模型的发展显示了模型大小与回答正确率的关系，但即使是大型模型，正确率提升也有限。
- 🔑 Prompt的设计对于语言模型的输出至关重要，尤其是在早期的GPT-3模型中，需要精确的提示来获得有用的回答。
- 🚀 即使模型参数量巨大，如果没有适当的指导，模型可能无法有效地使用其学到的知识，需要人类进一步的引导。
- 🛠️ 训练语言模型不仅是技术问题，还涉及到数据的法律和伦理问题，如数据授权和版权问题。
- 📝 语言模型的训练和应用是一个不断发展的领域，需要不断地技术迭代和创新来提升模型的性能和实用性。
Q & A
什么是大型语言模型的'修煉史'？
-大型语言模型的'修煉史'指的是这些模型从最初的设计到逐渐增强能力的过程。这个过程包括了三个阶段的训练，每个阶段使用不同的训练数据，但核心目标都是学习如何更好地进行'文字接龙'。
为什么大型语言模型的训练可以看作是'文字接龙'？
-大型语言模型的训练可以看作是'文字接龙'，因为模型的任务就是基于给定的文本序列预测下一个可能出现的词或字符，即生成文本中的下一个'Token'。
在大型语言模型中，'Token'是什么？
-在大型语言模型中，'Token'是构成文本的基本单位，可以是一个字、一个词或字符等。在本课程中，为了简化说明，假设一个中文字就是一个Token。
为什么需要训练数据来训练语言模型？
-训练数据用于告诉模型在给定一个未完成的句子时，哪个Token是正确的接续。通过大量的训练数据，机器学习算法能够自动找出模型中的数十亿个参数，以完成文字接龙任务。
什么是'超参数'(Hyperparameter)，在训练语言模型中扮演什么角色？
-超参数是机器学习中用于设定学习过程的参数，如学习率、批次大小等。在训练语言模型时，超参数决定了优化算法的行为，影响模型训练的结果。选择合适的超参数对于模型性能至关重要。
为什么训练语言模型有时会失败？
-训练语言模型有时会失败，可能是因为选择的超参数不合适，或者训练数据不够多样化，导致模型无法准确学习到数据中的模式。此外，训练过程本身具有随机性，有时可能需要多次尝试不同的超参数组合才能获得满意的结果。
什么是'过拟合'(overfitting)，在语言模型训练中如何表现？
-过拟合是指模型在训练数据上表现很好，但在未见过的数据上表现差的现象。在语言模型训练中，过拟合可能表现为模型能够完美地生成训练数据中的句子，但对于新的、不同的文本则生成不合理的续句。
为什么需要从网络爬取大量文本数据来训练语言模型？
-网络提供了几乎无限的文本资源，这些文本数据可以用于生成大量的训练样本，帮助语言模型学习广泛的语言模式和知识。自监督学习(Self-supervised learning)就是利用这些数据，让模型通过自我训练来提高能力。
为什么训练语言模型时需要考虑数据的多样性和质量？
-数据的多样性和质量直接影响模型学习的广度和深度。多样化的数据可以帮助模型学习到更广泛的语言用法和知识，而高质量的数据可以确保模型学习到正确的信息，避免学习到错误或无关的内容。
GPT模型的发展经历了哪些阶段，每个阶段的特点是什么？
-GPT模型从GPT-1开始，经历了GPT-2和GPT-3等阶段。GPT-1参数较少，使用的文本数据量有限，没有引起太大关注。GPT-2参数量大幅增加，但性能提升有限。GPT-3参数量达到1750亿，使用的数据量极大，但仍然存在可控性和准确性的问题。
为什么GPT-3模型即使拥有巨大的参数量，也无法总是准确回答问题？
-GPT-3模型虽然参数量巨大，但它的学习完全基于网络数据，没有针对性地学习如何回答问题。它可能知道很多信息，但缺乏将这些信息有效组织成答案的能力，需要通过精心设计的提示(Prompt)来引导它生成准确的回答。
Outlines
📚 大型语言模型的训练基础
本段介绍了大型语言模型的训练尚未开始，之前的内容都是基于已训练好的模型进行能力强化。接下来将探讨这些模型如何被训练成今天这样强大，分为三个阶段。首先，需要了解背景知识，包括语言模型的基本任务——文字接龙，以及模型如何通过机器学习和深度学习生成答案。模型是一个含有数十亿未知参数的复杂函数，需要通过训练数据找出这些参数。训练过程中的两个主要步骤是找出参数（训练/学习）和使用参数进行文字接龙（测试/推论）。
🔧 模型训练中的优化挑战
这一段讨论了在模型训练中寻找参数的过程，即优化问题。优化被比喻为机器，需要设置超参数来决定其工作方式。训练过程具有随机性，可能失败，此时需要更换超参数并重复训练。训练成功但测试失败的情况被称为过拟合，意味着模型只学习了训练数据的表面特征，而没有理解其深层含义。解决过拟合的方法之一是增加训练数据的多样性。此外，初始参数的设定也对训练结果有重要影响，有时可以从其他模型那里继承更好的初始参数。
🌐 网络数据在语言模型训练中的应用
本段讲述了如何利用网络数据来训练语言模型。网络提供了大量的文本数据，可以用来生成训练数据。通过自监督学习，模型可以自我训练而不需要人工介入。然而，网络数据需要经过清理，包括过滤有害内容、去除HTML符号、控制数据品质、去除重复数据等步骤。尽管自监督学习减少了人工参与，但一些基本的数据清洗工作仍然是必要的。
📝 训练数据的清洗与版权问题
这一段进一步讨论了训练数据的清洗工作，强调了去除有害内容、HTML符号、低品质数据和重复数据的重要性。同时提到了使用网络数据进行训练可能涉及的版权问题，如《纽约时报》对OpenAI和Microsoft的诉讼案例。文章指出，尽管大多数开发团队在训练模型时会使用任何可获取的数据，但也有团队如国科会的臺德计划会要求每笔数据都有授权。
🚀 GPT模型的发展历程
本段概述了OpenAI开发的GPT系列模型的发展历程。从2018年的第一代GPT的1.17亿参数到GPT-2的15亿参数，再到GPT-3的1750亿参数，模型的规模和使用的资料量都有了显著增长。尽管GPT-2和GPT-3在回答问题的正确率上并未达到惊人的水平，但模型的增长展示了参数量和资料量对模型性能的影响。
🤖 GPT-3模型的实际体验与局限性
这一段通过实际体验GPT-3模型，展示了其在对话中的表现和局限性。GPT-3有时能够提供有用的回答，但有时又显得不够稳定和可控。文章指出，为了获得更好的回答，需要精心设计提示（Prompt），这对GPT-3的性能有显著影响。同时，尽管GPT-3使用了大量数据进行训练，但其回答的正确率并没有达到预期的高度，引发了对模型发展方向的讨论。
🛠️ 人类指导在语言模型训练中的必要性
最后一段指出，尽管GPT-3等模型拥有巨大的参数量和训练数据，但它们仍然需要人类的指导来发挥潜力。模型虽然从网络上学到了知识，但缺乏将这些知识应用起来的能力。因此，需要第二阶段的训练，即人类的介入和指导，以帮助模型更好地理解和回答问题。
Mindmap
Keywords
💡大型语言模型
💡训练
💡自监督学习
💡超参数
💡过拟合
💡测试
💡参数优化
💡文本数据
💡初始参数
💡优化算法
Highlights
课程开始讨论大型语言模型的训练过程，揭示了模型如何从无到有，达到今天的无所不能。
语言模型的训练分为三个阶段，每个阶段使用不同的训练数据，但核心任务都是学习文字接龙。
介绍了Token的概念，将中文字符视为模型生成的基本符号，简化了模型生成过程的说明。
解释了机器学习和深度学习在语言模型训练中的应用，强调了模型参数的重要性。
讨论了训练数据如何指导模型学习正确的Token序列，以及训练过程中的随机性和可能的失败。
提到了超参数（Hyperparameter）在训练过程中的作用，以及调整超参数对结果的影响。
分析了过拟合（overfitting）问题，即模型在训练数据上表现良好，但在新数据上失败的情况。
提出了增加训练数据多样性作为解决过拟合问题的一种方法。
讨论了初始参数的设定对模型训练结果的影响，以及如何选择合适的初始参数。
介绍了自监督学习（Self-supervised learning）的概念，即机器使用大量网络数据自我训练。
提到了从网络爬取数据进行训练时，需要进行数据清洗和质量控制。
讨论了去除训练数据中的重复内容的重要性，以及对实验严谨性的影响。
提到了使用网络数据训练可能带来的版权问题，以及对数据授权的关注。
回顾了OpenAI GPT模型的发展历程，从GPT-1到GPT-3的参数量和训练数据量的增长。
分析了GPT-3模型的性能，尽管模型庞大，但在回答问题的正确率上并没有显著提升。
讨论了Prompt模板在GPT-3模型中的重要性，以及如何通过精确的Prompt引导模型输出。
最后指出，尽管模型在不断增大，但如何有效控制模型输出仍是一个挑战。
Transcripts
00:00好 那到目前為止的課程呢
00:02我們都還沒有訓練過任何模型
00:06我們都還沒有討論過模型的訓練
00:09我們之前講的所有東西
00:10都是基於一個已經訓練好的大型語言模型
00:13想要更強化它已有的能力
00:16那從這一堂課開始
00:18我們要講大型語言模型的修煉史
00:21我們來回顧一下
00:23這些語言模型是怎麼修煉的
00:26怎麼練到像今天一樣 無所不能
00:30那語言模型的修煉呢 分成三個階段
00:34那在接下來的課程裡面
00:36我們就會一步一步的跟大家剖析
00:39在這三個階段
00:40語言模型都經過了什麼樣艱苦的修煉
00:45但是在講語言模型修煉的故事之前
00:47還是要交代一些背景知識
00:50那為了讓你等一下聽這個故事
00:53可以真的知道這個故事背後
00:55所要表達的是什麼
00:56所以我們要講一下大型語言模型的背景知識
01:02那有一些我們已經告訴過大家了
01:04比如說我們再三的強調
01:06大型語言模型做的事情其實就是文字接龍
01:11當它產生一個答案的時候
01:13大型語言模型實際上做的事情
01:15就是做文字接龍這件事
01:17把答案裡面的文字一個一個的產生出來
01:23在做文字接龍的時候
01:25每一次語言模型會產生出一個符號
01:29這個符號就叫做Token
01:31那在這門課裡面
01:33我們會把一個中文的字當作一個Token
01:36我們把中文的字當作每次大型語言模型做接龍的時候產生出來的符號
01:40但是實際上每一個語言模型
01:43它裡面的Token 它所產生的Token是不一樣的
01:47對於像雀GBT來說
01:50其實它是兩三個Token才能夠組成一個中文字
01:54但是為了簡化說明
01:56在以下的課程裡面我們都假設一個中文字
02:00就是一個Token
02:03那機器怎麼學會做文字接龍呢?
02:07機器學習、深度學習
02:09在開學第一堂課就已經跟大家簡要的介紹過了
02:13那機器學習的概念
02:15怎麼拿來做文字接龍呢?
02:18我們要怎麼用機器學習來學出一個語言模型呢?
02:21我們知道一個語言模型
02:23就是輸入一個未完成的句子
02:25輸出就是這個未完成的句子
02:27接下來可以接的Token
02:30而一個語言模型其實就是一個函式
02:32這邊寫做F
02:33它的輸入是未完成的句子
02:35輸出是這個句子後面可以接的Token
02:40那這個函式呢
02:41可以寫成一個有數十億個
02:45未知參數的函式
02:46因為要做文字接龍是一件非常困難的事情
02:49顯然這個函式非常的複雜
02:52他可能需要有數十億個參數
02:55才能完成文字接龍這個任務
02:58那這個有大量未知參數的函式
03:01就叫做模型
03:03那這些大量的未知參數
03:05要怎麼被找出來呢
03:07我們需要訓練資料
03:09訓練資料裡面告訴我們的
03:12就是當輸入一個未完成的句子的時候
03:14輸出應該是哪一個token才是對的
03:17比如說人工智 後面應該接會
03:20不要忘了今天來開 後面應該接會
03:23床前明月 後面應該接光 等等
03:27我們收集了大量這種訓練資料
03:29機器學習就可以自動的
03:32幫我們把數十億個參數找出來
03:35找數十億個參數的這個過程
03:37就叫做訓練training
03:39或叫做學習learning
03:42把這數十億個參數找出來以後
03:44就可以帶入這個函式裡面
03:46現在這些函式的 現在這個函式裡面的未知參數
03:50我們都知道數值是多少了
03:52接下來我們就可以使用這個函式來做文字接龍
03:57參數找出來以後 使用函式來做文字接龍這件事情
04:01叫做測試 Testing 或又叫做推論 Inference
04:06所以在機器學習裡面有兩個步驟
04:09找參數的部分叫做訓練 叫做學習
04:13那 找完參數以後 拿這組參數來使用 叫做測試 或者是叫做推論
04:21好 那等一下講的語言模型學習的三個階段
04:25都是在學文字接龍 只是訓練的資料不一樣而已
04:32很多人都可能都在某些地方聽過語言模型學習的過程了
04:36你可能會以為說 語言模型學習的不同的階段
04:39學的是不同的事情 其實不是
04:42所有的階段都在學文字接龍
04:45只是訓練的資料不一樣而已
04:50好 那在正式進入語言模型怎麼訓練之前
04:54我們要來講一下找參數的時候
04:57會遇到什麼樣的挑戰
04:59那我們剛才講說機器學習
05:02就是找到一堆訓練資料
05:04然後機器學習的過程
05:06機器學習就可以幫我們根據訓練資料
05:10找出符合這個訓練資料的參數
05:14那這個找參數的過程又叫做最佳化
05:18他的英文是 Optimization
05:21那實際上最佳化是怎麼進行的
05:23那我們在這一門課就不會詳談
05:26但是你可以把最佳化呢
05:28想成是一部機器
05:29那這部機器使用前呢
05:31需要設定一些參數
05:34那設定這個機器的參數呢
05:36叫做超參數
05:38他的英文呢是Hyperparameter
05:41那你設定這些超參數以後
05:43你就決定了最佳化的方法
05:46把最佳化的方法固定下來之後
05:48你把這一些訓練資料丟到這個機器裡面
05:51這個機器經過一番運作以後
05:53就產生參數就產生你要的結果
05:58那呃但是呢
06:00這個訓練的過程
06:02不是每一次都會成功
06:05訓練是有隨機性的
06:07有時候訓練可能會失敗
06:10也就是你按下了這個機器的啟動鈕之後
06:12把訓練資料丟進去
06:14經過一番運算得出來的參數
06:16結果不是你要的
06:18所謂不是你要的意思是說
06:20這些參數沒有符合訓練資料的內容
06:24你丟人工智進去
06:26他出來的不是會
06:27他沒有符合訓練資料的內容
06:30那如果遇到這種狀況
06:32如果遇到這個訓練失敗
06:34得到的這個參數
06:36沒有符合訓練資料的時候
06:38怎麼辦呢?
06:40通常常見的做法就是
06:42換一組超參數再上一次
06:44當然這些超參數對於訓練結果的影響
06:46還是有一些理路可循
06:48但是中間的過程
06:50非常的複雜
06:52你很難搞清楚說
06:54為什麼這組超參數就會給你這個結果
06:56所以通常你的結果
06:58跟你預期的不一樣
06:59那怎麼辦
07:00換一組超參數
07:02再試一次
07:03這就是為什麼大家常常說這個訓練模型呢
07:06就需要算力
07:07這個算力就是用在最佳化的過程
07:10尤其是用在
07:12假設你的訓練是有可能失敗的
07:14你需要換多組超參數不斷的嘗試
07:17最後才可以找到一個你要的結果
07:19那你就需要
07:20這個時候你就需要大量的算力
07:23那一個人常常聽到有人說做這個機器學習
07:26或做深度學習
07:27就是調參數
07:29這個調參數指的並不是這裡我們要找的參數
07:34這邊調參數指的是調超參數
07:37這邊根據訓練資料找出來的參數是自動找到的
07:43這些參數可能有上億個
07:45所以你也不可能用人的力量找出來
07:48但是超參數還是需要人設定的
07:51所以在做這個最佳化的過程的時候
07:53你要去先調整這個超參數
07:55調整成你要的樣子
07:57再把這個最佳化的過程跑下去
07:59啊期待你可以
08:00然後就開始祈禱說
08:01你最後跑出來的結果是你要的
08:04那這個超參數往往你很難
08:05這一次就得到你要的結果是需要調的
08:08所以你才會常常聽到有人說
08:10做深度學習做機器學習
08:12就是調參數
08:13他指的調參數指的是調超參數
08:17那我們等於之後的作業
08:18作業五作業六都是要訓練模型的
08:20但超參數的部分呢
08:21你就不需要特別擔心
08:23因為助教當然都是已經幫你調好了
08:26這個最佳化的這個機器都是幫你設定好了
08:28你只要按下Enter
08:30應該就會跑出不錯的結果
08:32但是假設助教沒有給你超參數
08:34要你自己找
08:35你就會知道說這個訓練的過程
08:38真的是非常的痛苦
08:39就一攤米都吸了
08:40這樣你就知道說這個訓練的過程
08:43真的是非常的痛苦
08:45但是這不是找參數唯一的挑戰
08:49你還可能遇到另外一個狀況
08:51這個狀況是訓練成功
08:54但是測試失敗
08:56什麼叫做訓練成功測試失敗呢?
08:59假設我們現在是要做一個貓狗的分類器
09:03你就是要找一個函式輸入一張圖片
09:05輸出就是貓跟狗
09:06這個函式裡面有很多未知的參數
09:09你收集了一些訓練資料
09:11這些訓練資料告訴我們
09:13這兩隻動物叫做貓
09:15這兩隻動物叫做狗
09:16接下來你設定一組超參數
09:19開啟最佳化的演算法
09:20找出一組參數
09:22你實際測試了一下發現
09:24然後你發現這組參數有符合訓練資料
09:29代表訓練成功
09:31也就使用這組參數
09:32把這個動物丟到函式裡面輸出就是貓
09:37把這個動物丟到函式裡面輸出也是貓
09:39把這兩個動物丟到函式裡面輸出就是狗
09:41你找到一組參數
09:42它是符合訓練資料的代表訓練成功
09:46但是你不用高興的太早
09:48訓練成功的參數
09:50有可能帶入函式以後
09:52給一張訓練的時候沒看過的圖片
09:55結果是錯的
09:57那在這個例子裡面
09:58為什麼結果有可能是錯的呢
10:01為什麼看到這個在打電腦的黃色的貓
10:04今天這個函式的輸出有可能會是狗呢
10:07你檢查一下訓練資料
10:08你會發現說在訓練資料裡面
10:11這兩隻貓都是黑的
10:13這兩隻狗都是黃的
10:15對於這個最佳化的過程來說
10:17他可能會找到一組參數
10:20這一組參數是認定只要黑色的東西就叫做貓
10:24只要是黃色的東西就叫做狗
10:27那這一種訓練成功但測試失敗的狀況
10:30就叫做overfitting
10:33常常聽到有人說
10:34我在訓練過後遇到overfitting
10:36指的就是訓練成功了
10:39但是測試失敗了
10:41講到這邊有人可能會想說
10:44怎麼會發生這種事情呢
10:46難道機器沒有辦法判斷說
10:49顏色不重要 重要的是他的外型嗎
10:52機器沒辦法判斷這件事
10:54不要用你自己人類的想法
10:57來揣度機器學習的過程
10:59今天最佳化的過程只認一件事
11:02今天機器學習的時候只問一件事情
11:04就是學出來的參數
11:06有沒有符合訓練資料所給予的限制
11:09他完全不管找出來的參數
11:12是不是有道理的找出來的參數
11:14是不是能夠用在其他資料上的
11:18所以大家要注意一下
11:19不要用你自己的人類的想法
11:21來揣摩訓練的過程
11:24因為機器只認訓練資料
11:27它完全不會思考其他的事情
11:31如果你想要聽一個荒謬的
11:33訓練成功測試失敗的故事的話
11:36我留一個YouTube的連結給你
11:38在這個連結裡面
11:40我會講一個
11:41機器成功分辨寶可夢跟數碼寶貝的故事
11:45一定要看
11:46你就可以知道說機器的想法是有多麼的荒謬
11:51那怎麼讓機器找到比較合理的參數呢
11:55那這個其實就是機器學習的核心問題
11:59有很多不同的想法
12:00而一個可能的想法是
12:02增加訓練資料的多樣性
12:05剛才只根據這四個例子
12:07機器會覺得黑色的都是貓
12:09黃色的都是狗
12:10那怎麼辦 增加你的訓練資料
12:13加一隻黃色的貓 加一隻黑色的狗
12:16強迫機器讓他知道說
12:19如果你找出來的參數是
12:21黑色的就是貓 黃色的就是狗
12:23那你沒有辦法符合訓練資料
12:25要符合訓練資料
12:27你得想點別的辦法
12:29不能只憑著顏色來分辨貓跟狗這兩種動物
12:33所以增加訓練資料的多樣性
12:35可能是一個幫助訓練的過程
12:38找最終找到合理參數的方法
12:41但這只是其中一個做法
12:43還有其他的做法
12:45在最佳化的過程中
12:47除了設定超參數以外
12:49其實還有另外一個你需要設定的東西
12:52這個東西叫做初始參數
12:55你在使用這個最佳化的這個機器的時候
12:58你一定要設置初始參數
13:00那你設置完初始參數以後
13:02最終找出來的參數
13:04就比較有可能跟初始參數比較接近
13:06因為這個最佳化的演算法呢
13:08會從初始參數開始找尋符合訓練資料的參數
13:12所以當你設置完初始參數以後
13:15你最終找出來的參數會跟初始參數比較接近
13:18但怎麼知道什麼樣的初始參數才是我們要的呢
13:23怎麼設定這個初始參數呢
13:25通常你不知道怎麼設定初始參數
13:29所以常見的可能性是
13:31你只好隨機產生初始參數
13:34初始參數裡面每一個初始參數每一個數值都是隨機生成的
13:39都是躑骰子生成的
13:41假設你在訓練的時候你的初始參數是躑骰子生成的
13:46那這一種訓練的方法這種最佳化的方法叫做Train from scratch
13:52但是有沒有一種可能
13:54就是我們找一組比較好的初始參數
13:58所謂的比較好的意思可能是
14:01這組初始參數離我們所要的合理的參數是比較接近的
14:08如果我們從這組好的參數開始去做最佳化
14:12最終我們找出來的參數比較有可能是我們要的
14:18那這組好的參數你可以想成就是我們給模型的先驗知識
14:24你可以把這組好的參數想成是機器學習的先驗知識
14:30在學習之前有一些知識有一些能力
14:34是他與生就已經有的
14:37那期待透過設定這個先驗知識
14:39讓我們最終學習的結果更接近我們想要的
14:44但他真正面對的難題就是
14:46那上哪找這個好的參數呢
14:49上哪找這個鮮豔知識呢
14:52那我們的故事就從這裡展開
14:56那我們就從語言模型訓練的第一階段
14:59開始講起
15:01我們都知道說語言模型的訓練
15:03就是學習做文字接龍
15:05但是需要多少文字
15:07語言模型才能夠學會
15:09做文字接龍呢
15:11要正確的
15:13接觸一個token需要
15:15兩個面向的知識
15:17第一個面向的知識是語言的知識
15:19今天語言模型
15:21必須對人類語言的文法
15:23有正確的瞭解
15:25比如說給你一個未完成的句子
15:27這個人突然救
15:29後面可以接哪一個詞彙呢
15:31也許可以接跑,突然就跑起來
15:33也許可以接飛,是個魔法使
15:35然後就飛起來了
15:37但是你可能不會接的
15:39因為這顯然是一個不符合文法的奇怪句子
15:41那需要多少文字
15:43才能夠讓語言模型
15:45學會語言知識呢
15:47根據過去的文獻
15:49也許不用太多
15:51多或少是相對的啦
15:53要讓機器學習語言知識
15:55語言知識也許有一個詞彙就夠了
15:59你收集的資料裡面也許有一個詞彙
16:02就足以讓語言模型學會語言的知識
16:06但是要正確做接龍
16:08光是知道一個語言的文法
16:11有語言知識是不夠的
16:13這個模型還需要世界知識
16:16它需要對這個世界有所理解
16:19可能是對物理的世界有所理解
16:21可能是對人類的社會有所理解
16:24它才能夠正確的做揭露
16:27舉例來說
16:28水的沸點是攝氏
16:30後面接一百度是符合文法的
16:32接五十度可能是符合文法的
16:35但你知道一百度才是正確的接法
16:38五十度不是一個正確的接法
16:40因為這不符合我們對這個物理世界的認識
16:45那到底需要多少的文字量
16:47才能夠讓語言模型學會世界知識呢
16:51在這一篇比較古老的論文裡面
16:54這個是2020年的論文
16:56所以比較早的論文裡面發現說
16:58就算是你收集的資料量有300億個文字
17:03看起來還是不夠讓模型學會世界知識
17:08為什麼學習世界知識這麼難呢
17:10因為世界知識是有很多層次的
17:13看這個例子裡面
17:15也許設施後面接100度是合理的
17:18但是這個只對小學生來說是合理的
17:20水的沸點是會隨氣壓而改變的
17:24今天如果在低壓下
17:26沸點攝氏100度就不是一個正確的答案
17:29反而攝氏50度是沸點
17:31有可能是一個正確的答案
17:33所以世界知識是複雜而且有很多層次的
17:37需要真正非常大量的資料
17:39才能讓語言模型學會世界知識
17:44但是上哪裡去找大量的資料呢
17:48收集大量的資料並沒有那麼困難
17:51其因為任何文字資料
17:53都可以拿來教語言模型做文字揭露
17:58哪裡可以找到大量的文字資料呢?
18:01今天最常使用的來源就是網路
18:04網路上可以說是有無窮無盡的網頁
18:07裡面有無窮無盡的文字
18:10把這些文字拿出來
18:12就可以教語言模型做文字揭露
18:15那實際上的做法是這樣
18:17從網路上爬大量的文字資料
18:19那從文字資料裡面你把一個一個的句子拿出來
18:23然後把它整理成可以訓練文字接龍的模式
18:27比如說一個句子是
18:29人工智慧真神奇
18:30那整理成訓練資料以後就是
18:32人後面接工
18:34人工後面可以接智
18:35人工智後面可以接慧
18:37人工智慧後面可以接真
18:39所以你從網路上可以找到大量的句子
18:41大量的句子可以產生大量的訓練資料
18:44有這些大量的訓練資料
18:46你就可以找出一組參數
18:48這一組參數可以成功的做文字揭露
18:52而在產生這個訓練資料的過程中
18:55人工的介入是非常少的
18:58這種從網路上收集到的訓練資料
19:00你可以說真的是要多少就有多少
19:04那這種只需要非常少人工介入
19:07就可以取得訓練資料的學習方式
19:10它有一個名字叫做自督導式的學習
19:14它的英文是Self-supervised learning
19:16也就是機器自己教自己
19:19不需要人工介入
19:20只要不斷地去網爬
19:22就可以爬出大量的訓練資料
19:24語言模型就可以透過網爬的資料
19:27來學習做文字接龍這件事情
19:31那剛才雖然說用網爬的資料呢
19:34不太需要人工介入
19:35但是稍微一點人工介入往往還是必須的
19:38那這邊呢是引用這個DeepMind的一篇論文
19:42在這篇論文裡面
19:43他們講解了他們訓練他們的大型模型
19:46叫做Gopher的這個過程
19:48那他們說他們也做了一些資料的清理
19:51雖然網爬的資料
19:52隨便爬俯拾皆是
19:54但是爬下來的資料
19:56還是需要做過一些處理的
19:58什麼樣的處理呢
19:59比如說第一個是過濾到有害的內容
20:02比如說色情暴力的內容
20:04如果你讓機器一直看一些色情網站的話
20:06他就可能會講出一些色情網站裡面有的句子
20:09那為了避免他講出這些話
20:11不如在一開始的時候就不要讓他
20:13接觸有色情或暴力內容的網站
20:16所以應該要過濾掉有害的內容
20:19那再來這些爬下來的網頁裡面呢
20:21可能有很多HTML的符號
20:24那這些符號對語言模型的訓練是沒有必要的
20:27所以通常會把這些符號去掉
20:29你只會保留一些你覺得在文字接龍的時候
20:33語言模型接出來會有用的符號
20:36比如說今天語言模型蠻能夠產生表情符號的
20:39那就是在最後這個網爬資料在清理的時候
20:42並沒有把表情符號清掉
20:44所以他還是可以學會接出表情符號
20:48那再來也需要對這個資料的品質
20:51做一些控制
20:52尤其是去除一些低品質的資料
20:55但是什麼樣的資料叫高品質的資料
20:57什麼樣的資料叫低品質的資料
20:59這就是一個見仁見智的問題
21:02那像在這個GPT-3
21:04The Pile 還有PaLM
21:06他們都是一些知名的語言模型
21:08在他們的訓練過程中呢
21:10都有使用到一個資料品質分類器
21:13就開發這些模型的團隊
21:15他們另外訓練了一個分類器
21:18這個分類器會去決定說一筆資料
21:20它是高品質的資料還是低品質的資料
21:24如果是高品質的資料在訓練的時候
21:26就會讓語言模型看比較多次
21:29那它對最後訓練的結果
21:31就會有比較大的影響力
21:33那這些論文裡面通常是把這種
21:35維基百科比較像維基百科
21:38或比較像教科書裡面的句子的資料
21:41當作是高品質的資料
21:44那再來另外一件要做的事情呢
21:46是去除重複的資料
21:49那最後一步呢
21:50Testing Set Filtering
21:52這個是為了實驗的嚴謹性
21:53那這邊就不解釋
21:55那為什麼去除重複資料
21:56也是一個重要的步驟呢
21:58有一篇論文就告訴你說
22:00網路上爬下來的資料
22:02真的是有很多重複的資料
22:04這篇文章發現說
22:05以上這一個很長的段落
22:07居然在網爬的資料裡面重複了六萬多次
22:11這個資料到底是什麼呢?
22:13這個資料是一個婚禮公司的業配
22:16他告訴你說
22:17你要把這些方案通通都用在你的婚禮上
22:21旁邊的人就會覺得你真是太棒了
22:24這句話在網路上足足出現了六萬次
22:27所以如果你拿這樣子的資料來訓練你的語言模型
22:30他之後就會動不動幫這個婚禮公司業配
22:33動不動就講這個段落出來
22:35所以我們需要去除重複的資料
22:39那所有的文字資料都能拿來讓語言模型學做文字接龍嗎?
22:45這就是一個見仁見智的問題了
22:49最近有一個新聞,是去年年底有一個新聞
22:52就是New York Times告了OpenAI跟Microsoft
22:55因為他們認為OpenAI拿了他們的新聞
23:00而且可能是付費會員才讀得到的新聞
23:03來訓練語言模型
23:06至於誰是誰非 我又不是法律的專家
23:08在這邊就不做評論
23:10只想要告訴你說
23:11如果是任何資料都拿來訓練
23:14教機器做文字接龍
23:16也有可能會讓你惹上一些麻煩
23:19不過今天其實多數的那個開發團隊啊
23:23在訓練語言模型的時候
23:24嗯 就是隨便爬資料隨便訓練啦
23:29只要我看得到的資料
23:30我爬得到的資料
23:31通通都是我可以拿來用的
23:33我聽到會很小心
23:35要求每一筆資料都有授權的
23:37只有那個科技
23:39只有國科會的那個臺德計畫有這樣做耶
23:42好 那這個ChatGPT啊
23:44其實在ChatGPT之前
23:46OpenAI就已經開發了一系列的GPT模型
23:51這些GPT模型就是用
23:53大量的網路上找到的文字訓練出來的
23:57很多人以為OpenAI是這幾年才開始開發大型的模型
24:02其實不是
24:03OpenAI早在2018年的時候
24:06就釋出了第一代的GPT
24:09只是第一代的GPT模型非常的小
24:11它只有117個million的參數
24:16也就是這個一億個參數
24:19那一億這個參數你可能覺得一億這個數量很大
24:22但其實就模型而言
24:23這不是一個特別大的模型
24:26就算放在2018年
24:28也不是一個特別大的模型
24:31那他用的訓練資料也不多
24:34大概就是這個700本書左右的內容而已
24:38那上面這個數字啊
24:40代表的是那個模型裡面的參數量
24:43那如果你沒有辦法想像參數量是什麼意思的話
24:46你就想成是模型的複雜程度
24:49如果要做個比喻的話
24:51這個參數量代表的就是人工智慧的天資
24:55這個參數量越大就代表這個模型天生越聰明
25:00但是光是有天資是不夠的
25:03還需要後天的努力
25:04那下面這個數字代表的是資料量
25:07也就是用了多少的資料來教人工智慧做文字接龍
25:13所以下面這個數字代表了後天的努力
25:16所以要有天資也要有努力
25:19兩者缺一不可才能夠訓練出一個聰明的語言模型
25:24在2018年的時候GPT-1
25:26它不是個聰明的模型
25:27也不是個努力的模型
25:29它沒有什麼特別的攻擊
25:31所以就沒有掀起任何的波瀾
25:35過了一年之後
25:36OpenAI釋出了GPT-2
25:39GPT-2是GPT-1的10倍大
25:42它有15億個參數
25:4515億在當年看來
25:48是一個毀天滅地的巨大模型
25:50但如同我在第一堂課就跟大家講的
25:52今天GPT-2只是一個小模型
25:55你在作業5要用的模型
25:57比GPT-2還要大5倍左右
26:01GPT-2也用了很多的資料
26:03用了40GB的資料來進行訓練
26:07這個數字指的是
26:08它所使用的文字量的檔案大小
26:11GPT-2有什麼神奇的結果嗎?
26:15沒什麼神奇的結果
26:17這是當年GPT-2文章裡面的一個數據
26:19他說我們試OpenAI試了不同大小的模型
26:23從GPT-1一直到GPT-2
26:26縱軸是回答問題的正確率
26:30當然越大的模型回答問題的正確率就越高
26:34這個正確率大概是55%左右
26:37但這個正確率就算放在2019年
26:40也不是一個特別厲害的成果
26:43這個綠色的虛線是其他模型的成果
26:46有某一個模型可以得到遠比GPT-2還要更高的正確率
26:52GPT-2沒有好的表現
26:54怎麼辦呢?
26:56OpenAI並沒有就此放棄
26:58他們想說也許是因為模型不夠大
27:02那我們就弄一個更大的模型
27:04足足有GPT-2的100倍
27:07GPT-3 2020年的時候發表的
27:10他足足有GPT-2的再100倍大
27:14他的訓練資料量也非常的驚人
27:18有580GB的文字量
27:21如果你對580GB的檔案大小沒有什麼概念
27:24我告訴你580GB的文字量裡面
27:27大概有3000億個token那麼多
27:31如果你對3000億個token也沒有什麼概念的話
27:34我會告訴你
27:35這差不多相當於哈利波特全集閱讀了30萬遍
27:40所以這個巨大的模型
27:42他用哈利波特全集30萬遍的資料量
27:46來學習做文字接龍
27:49他的背後的知識儲備應該是非常的驚人
27:54但這個巨大的模型
27:56用了巨大的資料訓練的結果怎麼樣呢
27:59還是不怎麼樣
28:01這個是GPT-3的論文
28:03這個橫軸是模型的大小
28:06從最小的模型一直到最大的GPT-3
28:09隨著模型越大
28:11做正確率呢 回答問題的正確率呢 當然是越來越高
28:15但是最高也不過高到50幾%而已
28:20所以當年很多人覺得這個OpenAI就是走錯方向了
28:24做文字接龍不斷地接 怎麼可能接出人工智慧來
28:28到底這個GPT-3用起來 它是什麼樣的感覺呢
28:33其實現在在OpenAI的Playground上面
28:36你還是可以玩到GPT-3的某一個版本的
28:39那我這邊就操作一下,讓你感受一下當年我們看到GPT-3的時候
28:44它的感覺,它用起來是什麼樣子的
28:50好,那我們來真的用一下GPT-3
28:53讓你感受一下當年的GPT-3
28:56用起來跟它對話是什麼樣的感覺
29:00現在在OpenAI的Playground上面
29:03你還可以找到當年殘留下來的GPT-3的幾個版本
29:08那這邊用的是DAVINCI 002 GPT-3的某一個版本
29:13那當你要用DAVINCI 002的時候他跟你說這個是個歷史的遺跡現在有
29:19更好的模型了
29:21那我們就來試用一下讓你
29:23這個可以體驗一下當年我看到GPT-3的感受
29:28還可以跟他說比如說問他
29:32What is
29:33Machine learning
29:36看看他能不能夠回答你的問題喔
29:41可以他告訴你
29:42Machine learning是什麼什麼什麼
29:45但他不是每次都可以回答你的問題
29:48我們再試一次
29:54他說What is machine learning
29:56I want to do seriously machine learning
30:01What course I should take
30:02就我問他什麼是Machine Learning
30:04那他反問我說
30:06那我應該上什麼課
30:08我才能夠學到Machine Learning呢
30:10所以你知道這個模型
30:12有時候好像在跟你講話
30:14有時候又好像不知道你要什麼
30:16好那這個模型
30:18其實也知道蠻多
30:20那如果你要讓這個模型
30:22真的一定能夠回答你的問題的話
30:24那你需要有一些小技巧啦
30:26告訴他說這是一個問題
30:28好接下來呢
30:30強制他一定要產生一個答案
30:34那這樣你就比較容易呢讓這個模型呢一定會回答你的問題
30:39這邊呢先打ANS冒號那模型就會知道說後面呢
30:44是要產生這個問題的答案不要產生奇奇怪怪的東西再試一次
30:50他會
30:51試著這個回答你的問題說machine learning是什麼回答完以後呢
30:56又再自問自答產生新的問題跟新的答案
31:00使用GPT-3的時候這個Prompt的template真的就非常重要
31:07你怎麼下Prompt真的會大幅影響GPT-3的能力
31:12那今天其實當你在用這些比較新的語言模型Cloud GPT-4的時候
31:19老實說我覺得Prompt的template、Prompt的格式
31:24對於語言模型的能力真的是影響不大
31:27那我猜很多人會感覺這個Prompt的template、PUMP的格式非常重要
31:33可能是當年使用GPT3的時候遺留下來的心理陰影
31:38它真的是一個非常不受控的模型
31:41大家知道蠻多事情的
31:43比如說我問他說什麼是LOL
31:50他會知道說LOL就是這個Left Out Loud
31:55那LOL有很多不同的含義啊
31:58怎麼讓他把多種不同的含義都講出來呢?
32:02也許你可以這邊寫個1
32:04暗示他說一定要產生多個答案
32:09好他就會說LOL有很多不同的縮寫
32:12可能是laughing out loud
32:13可能是lots of love
32:15可能是lots of laughter
32:17可能是love of life等等
32:19有各種不同的縮寫
32:21總之你要非常認真的下Prompt
32:23GPT-3才會給你答案
32:25這個GPT-3用起來的感覺啊
32:28真的是一言難盡
32:31有時候好像覺得他很厲害
32:33有時候又覺得
32:35哎呀這個東西怎麼這麼不受控
32:40你可能會想說
32:42那是不是因為模型還不夠大呢
32:45也許什麼750個175個Billion參數
32:491750億個參數還是太小了
32:53那Google告訴你說 它訓練了一個更大的模型
32:56叫做PaLM
32:58足足是GPT-3的再三倍大
33:01但是 剛才看到的那個控制不住自己說話的鏡頭還是存在
33:06他們問模型一個問題 一個數學問題
33:09你以為模型會回答你嗎?
33:10不 它反問更多數學問題給你
33:15你根本就控制不住這些模型的輸出
33:18但是 為什麼我們控制不住語言模型的輸出呢?
33:22為什麼他不能好好回答問題呢
33:26如果你仔細一想你會發現
33:28你其實也沒有教他回答問題啊
33:31他的一切知識都是從網路上取得的
33:36你拿臺灣最高的山是哪座山去網路搜尋
33:39你可能得到這個網頁
33:41告訴你臺灣最高山是哪座山
33:43後面應該接三個選項
33:45我臺灣最高的山是哪座山
33:47知道答案的朋友請留言
33:49對機器來說
33:50他根本不知道要怎麼回答問題啊
33:54所以第一階段機器自我學習之後
33:58他好像從網路上學了點的東西
34:01但是他不知道使用的方法
34:04他就好像是這個石破天在摩天矮上
34:08練了上乘的內功
34:09但他根本不知道自己練了內功
34:12他沒有辦法把他所學的內功使用出來
34:16所以接下來就需要第二階段
34:19由人類來指導這些語言模型
34:22讓它發揮真正的潛力
Browse More Related Video
A little guide to building Large Language Models in 2024
Stream of Search (SoS): Learning to Search in Language
【人工智能】万字通俗讲解大语言模型内部运行原理 | LLM | 词向量 | Transformer | 注意力机制 | 前馈网络 | 反向传播 | 心智理论
Networking for GenAI Training and Inference Clusters | Jongsoo Park & Petr Lapukhov
大语言模型微调之道1——介绍
大语言模型微调之道5——准备数据
5.0 / 5 (0 votes)
