【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊
Summary
TLDR本课程探讨了如何通过特定方法提升个人在使用人工智能时的能力。强调了无需训练模型即可增强其能力，介绍了如'Chain of Thought'等神奇咒语，并通过实验数据展示了其对提高模型解题正确率的影响。讨论了如何通过提供额外信息、例子或明确指令来改善模型的响应。同时，指出了这些方法并非总是有效，并提出了使用增强学习等技术来发现更有效的咒语。最后，通过实验展示了提供大量上下文信息可以显著提升模型的特定任务表现，但这种学习是短暂的，一旦缺少上下文，模型将无法回忆之前学到的内容。
Takeaways
- 😀 在本节课中，没有任何模型被训练，主要讲述如何在使用人工智能时，通过自身训练提高使用效果。
- 😀 课程强调写特定任务的Prompt不需要特别学习，因为语言模型的能力已经很强，只要清楚表达意图即可。
- 😀 语言模型像一个在线新人助理，具有基本知识和理解能力，但对用户的个性化信息一无所知。
- 😀 提供模型更多的信息和上下文，可以提高其回答的准确性。例如，明确身份信息可以让模型更好地理解问题。
- 😀 神奇咒语如Chain of Thought（COT）可以显著提高模型的能力，例如解决数学问题时，指令“Let's think step by step”可以显著提高正确率。
- 😀 让模型解释自己的答案可以提高其准确性，这在文章批改任务中尤为有效。
- 😀 情绪勒索咒语也有效，当告诉模型任务对自己很重要时，模型的表现会更好。
- 😀 对模型有礼貌并没有用，直接明确定义任务要求效果更好，例如希望文章写长一点，直接要求即可。
- 😀 增强式学习可以用于训练另一个模型来寻找神奇咒语，进一步提高目标语言模型的能力。
- 😀 提供示例（in-context learning）可以帮助模型更好地理解任务，但示例内容的准确性对模型的输出有直接影响。
- 😀 最新的研究表明，强大的语言模型确实能读懂并应用示例，这在更大参数量的模型如PALM中表现明显。
- 😀 在零样本条件下，模型对陌生语言的翻译能力有限，但提供足够多的相关资料后，模型能显著提高翻译准确性。
- 😀 In-context learning并不是实际的模型训练，而是通过改变输入内容来影响输出结果。
Q & A
1. 课程的主要目标是什么？
-课程的主要目标是教大家如何在不训练模型的情况下，通过特定的方法增强语言模型的能力，以便更好地使用人工智能。
2. 为什么不需要特别学习如何为特定任务编写prompt？
-因为现今的语言模型已经非常强大，只要把你想做的事情讲清楚，模型往往都能理解并执行，不需要特定格式。
3. 什么是“Chain of Thought”神奇咒语？
-“Chain of Thought”指的是在模型解答问题时，提示它逐步思考，例如“Let's think step by step”，这样可以显著提高模型解答问题的准确性。
4. 为什么说模型像是一个在线的新手助理？
-因为这些大型语言模型具有人类的基本知识和理解能力，但对用户的个人信息和特定情况一无所知，需要用户提供详细信息以便更好地理解和回应。
5. 让模型解释自己的答案有何帮助？
-让模型解释自己的答案可以提高其回答的准确性，因为通过解释，它可以更清楚地整理思路并验证自己的解答。
6. 如何利用情绪勒索来增强模型的能力？
-在给模型下指令时，通过表达事情的重要性或情感，例如“这对我的生涯很重要”，可以提高模型处理任务的准确性和表现。
7. 提供模型更多的背景信息或前提有何作用？
-提供更多的背景信息或前提可以帮助模型更准确地理解问题并提供更准确的答案，因为它可以根据这些额外的信息调整自己的理解和响应。
8. 什么是in-context learning？
-in-context learning指的是通过提供具体的范例，让模型理解任务的上下文，从而在不改变模型参数的情况下提高其执行任务的能力。
9. 增强式学习如何帮助发现神奇咒语？
-通过增强式学习，训练一个专门下咒语的语言模型，不断尝试不同的咒语并评估效果，最终找出最有效的咒语来增强目标模型的能力。
10. 模型是否会记住一次训练中的教科书内容？
-不会，因为in-context learning并不会改变模型的参数，所以当下次使用模型时，如果没有再次提供教科书内容，模型将无法执行相关任务。
Outlines
🧠 人工智能使用技巧
本段讲述了如何更高效地使用人工智能，即使在无法训练AI的情况下。强调了在本节课中不会训练任何模型，而是教授如何通过特定的指令提升AI的能力。提到了Chain of Thought（COT）这一神奇咒语，即让模型逐步思考，从而提高解决问题的能力。举例说明了在解决数学问题时，使用COT指令可以显著提升模型的正确率。同时指出，这些技巧可能不适用于所有模型和任务，并且提到了其他一些可能提升模型能力的神奇咒语。
📚 利用AI进行文章批改
介绍了如何使用大型语言模型进行文章批改的研究，包括模型如何给出分数以及如何使模型的评分更接近人类教师。研究发现，要求模型解释其评分理由可以提高评分的准确性。此外，探讨了情绪勒索等神奇咒语对模型能力的影响，以及如何通过不同的指令和反馈来提升模型的表现。
🔮 探索AI的神奇咒语
讨论了如何发现和验证能够提升AI能力的神奇咒语，包括情绪勒索和礼貌用语等。提到了一篇论文，该论文验证了多种指令对模型效果的影响，发现直接明确的要求比间接的指令更有效。同时，提出了使用增强学习来训练一个专门下咒语的模型，以自动化地找出有效的咒语，并通过实验展示了这种方法的有效性。
🤖 AI的自我提升
提出了直接询问AI模型以获取更强的咒语的方法，举例说明了如何通过AI自身提供的建议来提升其解决问题的能力。此外，介绍了一个活动，旨在寻找能够激发语言模型潜力的神奇Prompt。强调了即使是最新的模型，也可能因为信息不足而无法给出正确答案，但通过提供额外信息或例子，可以显著提高模型的准确性。
📈 AI的局限性与信息提供
讨论了AI模型在没有足够信息时可能无法给出正确答案的情况，并提出了通过提供额外信息或例子来解决这一问题的方法。举例说明了如何通过提供特定前提或背景信息来引导模型给出更准确的答案。同时，指出了即使是大型语言模型，也可能因为缺乏相关知识而无法正确回答问题。
📝 AI的In Context Learning
介绍了In Context Learning技术，即通过提供例子来帮助模型理解任务并给出更准确的答案。讨论了这种技术的历史和发展，以及如何通过故意提供错误的例子来测试模型是否真的理解了这些例子。指出了即使是最新的模型，也可能没有真正理解这些例子，但提供例子仍然有助于模型更清晰地了解任务要求。
🌟 AI的In Context Learning能力提升
展示了最新的研究结果，表明大型语言模型在In Context Learning方面的能力有所提升。通过实验，发现最强的模型能够根据错误的例子给出正确的“错误”答案，这表明它们确实理解了这些例子。此外，通过一个实验来测试GPT-4是否能够根据非典型的类别描述进行新闻分类，并发现适当的提示可以提升模型的表现。
🌐 AI的跨语言翻译能力
讨论了Gemini 1.5模型在In Context Learning方面的表现，特别是它如何通过阅读大量的教科书来学习翻译一种罕见语言。展示了模型在阅读教科书前后翻译能力的变化，并提出了一个关于模型记忆和In Context Learning的重要概念，即模型的参数并未因阅读教科书而改变，它的翻译能力仅限于当前的In Context环境。
Mindmap
Keywords
💡人工智慧
💡模型训练
💡prompt
💡新人助理
💡神奇咒语
💡Chain of Thought
💡情绪勒索
💡增强式学习
💡In-context Learning
💡提供前提
Highlights
本节课不训练任何模型，而是教你如何利用现有的语言模型来提高工作效率。
大型语言模型的能力已经很强，只需清晰表达需求即可，无需特定格式。
将语言模型看作新人助理，强调其具备基本知识但对个人信息一无所知。
使用“Chain of Thought”咒语可以显著提高模型解数学问题的准确率。
让模型解释自己的答案也能提高其准确率，尤其在批改文章时效果明显。
情绪勒索对模型有用，告知任务重要性可以提高模型表现。
对模型讲礼貌无用，明确直接的要求更有效。
提供奖励或惩罚的提示也能影响模型的表现。
增强化学习可用于找到有效咒语，如让模型生成更长的回答。
提供额外信息或前提，能让模型给出更准确的答案。
提供范例可以帮助模型进行情感分析，这称为In Context Learning。
虽然In Context Learning有效，但模型不一定真正理解范例。
最新研究表明更强的语言模型在提供错误范例时会跟着答错，表明它们确实理解了范例。
Gemini 1.5模型通过阅读教科书，可以翻译极少见的卡拉蒙语言。
In Context Learning的本质是利用额外输入来影响输出，但模型参数不变，故不具持久记忆能力。
Transcripts
00:00今天這一堂課要講的是
00:04假設我訓練不了人工智慧
00:07那我如何訓練我自己
00:10讓我在使用人工智慧的時候
00:12他可以發揮更強大的力量
00:15為了避免大家誤解這一堂課的內容
00:18所以這邊要先強調一下
00:20在本節課中沒有任何的模型被訓練
00:24本節課的授課方向
00:28並不是教你怎麼對特定的任務寫prompt
00:33因為常常有同學問我說
00:35我想做某件事
00:36那老師可不可以教我怎麼寫這件事的prompt
00:39那我必須要告訴你
00:41其實針對特定任務寫prompt這件事
00:44是不太需要學的
00:46為什麼不太需要學呢
00:48因為今天這些語言模型的能力都很強
00:51你今天在下prompt在給他指令的時候
00:54其實是不需要什麼特定格式的
00:57各式各樣不同的問法
00:59往往他都看得懂
01:01而且按照今天這些語言模型的能力
01:04通常你只要把你想要做的事情講清楚
01:08你講到另外一個人看得懂
01:11往往語言模型也就有機會可以看得懂
01:15所以你今天其實可以把這些大型語言模型
01:18就想像成是一個在線的新人助理
01:22那為什麼要特別強調他是一個新人助理呢
01:26首先這邊有人這個字
01:28因為他跟一般人其實已經非常類似了
01:32今天這些線上的大起源模型
01:34往往有一般人的基本知識和一般人的理解能力
01:40但是這邊要特別強調新這個字
01:42因為他是一個新人
01:44他第一天認識你
01:46他對你的一切一無所知
01:48所以假設有一些事情是隻有你自己才知道的
01:52你的出生年月日
01:53你的身份證字號
01:55這些東西他是不知道的
01:57他對於你的事情一無所知
01:59他今天第一次認識你
02:01所以有一些要求
02:02你要求他他做不到
02:04也許只是因為他對你的瞭解太少了
02:08所以他的反應才會不是你所預期的
02:12等一下我會告訴你說遇到這種狀況
02:15有什麼樣可能的解決方式
02:19那這一堂課呢
02:21我打算從五個不同的面向來跟大家講
02:24有哪些不訓練模型就強化語言模型的方法
02:30第一個要跟大家分享的是
02:33在這個世界上有一些神奇的咒語
02:38這些神奇的咒語有可能可以強化模型的能力
02:43但這邊要加一個免責聲明
02:45這些神奇的咒語並不一定對所有模型
02:49所有任務通通都適用
02:52那有什麼樣的神奇咒語呢
02:54最經典的一個咒語叫做Chain of Thought
02:58它的縮寫是COT
03:00那Chain of Soul是什麼意思呢
03:02一句話就可以說完
03:04就是叫模型思考
03:06當你叫模型解一個比如說數學問題的時候
03:09你多加一個指令叫他Let's think step by step
03:14他突然能力就不一樣了
03:16怎麼個不一樣法呢
03:17這邊這個表格呢
03:19是來自一篇2022年11月的論文
03:22他說,在模型解數學問題的時候
03:25如果你直接把問題丟給他
03:28沒有給他額外的指令
03:30他的正確率是17.7%
03:33但一旦你跟他說Let's think
03:36叫他想一想
03:38突然正確率飆到57%
03:41接下來你跟他講說Let's think step by step
03:44一步一步的想
03:46哇,正確率突然飆到78%
03:49叫模型思考
03:50居然可以強化它達數學的正確率
03:55但是如同我剛才一開始就講的
03:56其實這些神奇咒語
03:59雖然那個農場文最喜歡講這種神奇咒語了
04:02但神奇咒語的使用往往還是看模型的
04:06所以這邊要強調一下
04:07這邊的結果是用在一個比較舊的模型上
04:11這個模型是IntructGPT Text DaVinci 002
04:15這是一個在ChatGPT時代之前
04:19在GPT-3.5之前就有了一個上一世代的模型
04:23那叫他思考對他來說差別是蠻大的
04:29那據說叫模型思考也對GPT-4看圖有幫助
04:33那如果你看GPT-4的DEMO的話
04:36他們有特別加think about it step by step
04:39看起來這句話可能也對GPT-4看圖的能力是有影響的
04:44但實際上有多大的影響
04:46我手上並沒有數據可以作證
04:48到底有多大的影響
04:51另外呢
04:52叫模型解釋一下自己的答案
04:55往往也對他的能力是有幫助的
04:59那這邊引用的這兩篇論文
05:01其實是我們助教的論文
05:03在這兩篇論文裡面
05:04助教要做的事情是什麼呢
05:06我們要做的事情就是
05:07用大型語言模型來批改文章
05:11就跟大家在作業2裡面做的事情
05:13是一模一樣的
05:15就給模型一個文章
05:17然後呢
05:17看看他能不能夠正確的給一個分數
05:20跟人類老師給的能不能夠非常的接近
05:24所以你知道這個
05:24助教在用大型語言模型
05:26批改文章上是非常專業的
05:28他其實有兩篇這個Top Conference的paper
05:31都是在講怎麼用大型語言模型來批改文章
05:36那在我們的論文裡面有一個這樣的發現
05:39我們發現說
05:40如果叫模型解釋一下
05:42為什麼他這樣批改
05:44他批改的正確率會更高
05:47所以剛才看到
05:48助教在作業2的demo裡面
05:50那些模型都是先長篇大論
05:53解釋一下這篇文章好在哪裡不好在哪裡
05:56最後才給一個批改的分數
05:59那怎麼讓模型解釋自己的答案呢
06:02其實也非常簡單
06:03就是跟他講要解釋就結束了
06:06跟他講說要解釋一下你的答案
06:08他就會解釋答案
06:10然後再把最終的答案輸出出來
06:13那這件事情有什麼樣的幫助呢?
06:16這邊是做在那個GPT 3.5上面的結果啦
06:19那這個表格有點複雜
06:21總之不同的欄位表示的是評估文章的不同的面向
06:26那上面這個數字呢
06:28代表的是模型評估的結果跟人之間的相似程度
06:33那個數值呢是越大越好
06:36那這一排結果是叫語言模型直接給答案
06:40不解釋的時候
06:41他跟人類老師評估出來的相似度
06:44這邊的結果是叫模型先解釋一下
06:48為什麼這樣評分
06:49再給分數的時候
06:51跟人類老師的相近程度
06:53那你會發現說
06:54如果模型有先解釋
06:56為什麼他會這樣評分
06:58他得到的評分結果
06:59跟人類老師得到的評分結果
07:03是更接近的
07:06那還有什麼神奇的咒語呢
07:08有一個是去年暑假有人發現的這個咒語
07:11叫做情緒勒索
07:13當你今天對模型說
07:15這件事情真的對我的生涯很重要的時候
07:18他的能力居然就不一樣了
07:20那這篇論文做的實驗其實是蠻完整的
07:23他不是隻做在一兩個模型上
07:25你看他這一頁投影片裡面
07:27他做了六個不同的模型
07:30然後如果沒有對他情緒勒索的時候
07:32在一些任務上他的正確率是這個樣子
07:35那如果對他情緒勒索
07:37告訴他說這件事真的對我很重要
07:39他的正確率突然就提升了一個層次
07:42所以看起來情緒勒索也對大型語言模型是有用的
07:48好那還有更多更多這種神奇咒語啦
07:51大家可以讀一篇paper叫做
07:53Principle Instruction Are All You Need
07:56這篇paper其實不太像是principle啦
07:58這篇paper比較像是
08:00他驗證了各式各樣的都市傳說
08:04告訴你說 因為你知道網路上流傳的各式各樣
08:07有關神奇咒語的都市傳說
08:10那這篇論文
08:11他們驗證了各式各樣的都市傳說
08:14告訴你說哪一些傳說是真的
08:17那這是一個非常新的論文
08:18是去年12月才公開的論文
08:22那細節就給大家自己讀
08:24我就擷取幾個比較有趣的發現
08:27第一個是對模型有禮貌是沒有用的
08:30大家都會想說我對模型講話
08:32也許應該有禮貌跟他說請幫我做什麼
08:35然後跟他說謝謝
08:37看看他的答案會不會更正確
08:39這篇文章告訴你說
08:41對他有禮貌是沒有用的
08:43直接有什麼要求直說無妨
08:46好那模型呢
08:48你要跟他講要做什麼
08:50不要跟他講不要做什麼
08:54舉例來說你要希望他文章寫長一點
08:56你就直接跟他說
08:57要把文章寫長一點
08:59但是不要反過來說
09:00你如果說不要文章寫太短
09:03他可能就沒有那麼厲害
09:05所以直接明確的要求他對模型是比較有用的
09:10然後再來跟他說如果你做得好的話
09:13我就給你一些小費
09:14這句居然是有用的
09:19然後跟他說如果你做不好的話
09:22你就會得到處罰
09:23這句話也是有用的
09:27或者是說
09:28如果你跟他說你要保證你的答案是沒有偏見的
09:32而且要避免使用任何的刻板印象
09:35這句話對模型也是有影響的
09:38那還有很多很多
09:39總之大家可以自己讀這篇論文
09:41看看有哪一些神奇咒語的都市傳說
09:45是被驗證為確實有用的
09:50那但是這些神奇咒語要怎麼被找出來呢
09:53那通常這些神奇咒語怎麼發現
09:55這個情緒勒索對打醒原模型有用呢
09:58就是有人靈光乍現覺得說我們來情緒勒索一下大型語言模型
10:02看看會不會有影響
10:03試下去發現真的有影響
10:05但有沒有更有效更系統化的方法來找這些神奇咒語呢
10:11一個可能的思路是我們直接用增強式學習
10:15這是某種機器學習的方法
10:17那我們未來還會提到這邊就只先講的大概念
10:20也許我們可以用增強式學習的方法來訓練另外一個語言模型
10:26這個語言模型它做的事情就是專門下咒語
10:29然後看看能不能夠訓練出一個擅長下咒語的語言模型
10:36那一個語言模型要怎麼學會下咒語呢
10:39那一開始這個語言模型可能根本不知道要怎麼下咒語
10:43所以它下的咒語可能是亂七八糟的
10:46可能對我們的目標語言模型沒有什麼影響
10:49但是沒有關係
10:51它就嘗試不同的咒語
10:52得到不同的結果
10:54得出來的結果呢
10:55就想辦法用一個自動化的方法來評估好壞
11:00然後呢
11:00這個評估好壞的這個回饋
11:02就可以給這個下咒語的語言模型進行學習
11:06他可以從回饋中學習
11:07期待他就可以學出更有效
11:10更能控制目標語言模型的咒語
11:14這邊有一個實際的例子
11:16這個實際的例子呢
11:17是希望找一個咒語
11:19讓語言模型變成一個畫牢
11:22讓他的回應越長越好
11:24那這邊要強調一下這個實驗是做在GPT-3上面啦
11:28就是雀GPT-3.5的上一個世代的模型
11:32所以這個咒語對GPT-3有用
11:35但我們試過了對GPT-3.5是沒有用的
11:39那這邊的目標呢是希望
11:41語言模型變成一個畫牢
11:43他的回答越長越好
11:45如果你今天是直接問他問題
11:48沒有多做什麼樣神奇的Prompt
11:50這個語言模型回應的長度
11:52平均長度是18.6個字
11:56如果你今天要求語言模型
11:58他的答案要越長越好
12:00他可以從18個字
12:02扁到23.76個字
12:05但是透過用AI來找神奇咒語
12:09透過這個增強式學習的方法
12:11來訓練另外一個語言模型來找神奇咒語
12:15我們可以讓GPT-3回答的平均長度
12:18扁到34個字
12:20比你直接叫他回答長一點
12:22還更加有效
12:24那你可能會想說這是什麼樣的神奇咒語呢
12:27這個咒語長這樣子
12:28就叫他喂喂喂喂喂
12:30然後不知道為什麼GPT-3的回答就變長了
12:33那像這種神奇咒語啊
12:35尤其這種人類看不懂的神奇咒語
12:37通常對GPT-3比較有效
12:40對前一個世代的ChatGPT比較有效
12:42那今天ChatGPT都蠻厲害的
12:44他們跟人類非常的接近
12:46所以你給他亂七八糟的神奇咒語
12:48他往往是跟你講我不知道你在說什麼
12:50所以神奇咒語 尤其是人看不懂的那一種
12:53對今天的GPT-3.5以上的模型
12:56可能是沒有那麼大的用處
12:58但是這邊是想要表示說
13:00你確實可以有機會用增強式學習的方法
13:03自動找出一些神奇的咒語
13:05來讓模型做到你想要它做的事
13:08來讓模型強化特定方向的能力
13:13那今天這些語言模型都很厲害了
13:16所以找咒語有了一個新的方法
13:18什麼樣新的方法呢
13:19你想問什麼樣的咒語
13:21最能夠操控語言模型做某些事
13:24比如說數學問題
13:25你直接問他就好
13:27你就直接問語言模型說
13:29如果我今天要你解一個數學問題
13:32你有什麼樣的咒語可以強化你的能力呢
13:35語言模型就會提供一些candidate給你
13:38提供一些可能給你
13:39你就一個一個試
13:40看看你能不能夠試出更強的咒語
13:43很多人都採取了類似的方式
13:45找出了更強的咒語
13:46我們剛才看到
13:47Let's think step by step 是一個很強的咒語
13:50有人去直接問了大型語言模型說
13:52你能不能給我一個更強的咒語
13:54他給了一個更強的
13:56Let's work this out in a step by step way
13:58to be sure we have the right answer
14:00正確率高達82%
14:02所以大型語言模型可以自己想出更強的咒語
14:08後來還有人發現說
14:09Let's work this out 在新的這個資料集上也沒有很強
14:13所以他叫大型語言模型再想一些更厲害的咒語
14:16他找到一個咒語是take a deep breath
14:19然後work on this problem step by step
14:21叫大學模型先深呼吸一下
14:23他的能力又會變得再更強一點
14:27那你知道一般在比這個排行榜
14:29leader board的時候呢
14:31都是對模型做排名
14:34但是其實我們也可以對
14:37礦來做排名
14:39那這邊呢是一個有趣的活動
14:42是我們實驗室跟陳尚哲老師實驗室
14:45和Intel Lab一起舉辦的一個活動
14:47我們建立了一個平臺
14:49在這個平臺上
14:50我們想知道說對特定的任務而言
14:55有沒有什麼礦
14:56是可以特別強化
14:58Lamma2這個Meta所試出來的
15:00開源模型的能力的
15:02就過去大家比的都是
15:04同樣任務
15:05不同模型間的能力
15:06我們現在要比的是同樣任務
15:09同樣模型
15:11但是不同礦間的差異
15:13看看有沒有人是這個大型語言模型催眠大師
15:17可以想出神奇的Prompt
15:19激發語言模型不可思議的能力
15:22那其實我們在作業室也會做一模一樣的事情
15:25在作業室就是我們會先把任務設定好
15:29然後呢要大家想出Prompt
15:31想出神奇的Prompt
15:33看看這個班上有近千人修課
15:35有沒有人可以想出神奇的Prompt
15:37來讓大型語言模型發揮它不可思議的能力
15:40那這邊要再強調一下
15:43剛才講的神奇咒語雖然很有趣
15:45我把這個部分放在最前面講
15:47因為這個通常是大家會覺得最有趣的部分
15:50但是神奇咒語並不一定對所有模型都有用
15:54甚至對同一個模型
15:56不同時間點的同一個系列的模型
16:00可能也都不一定有用
16:02這邊舉一個實際的例子
16:04剛才你看到think about it step by step
16:07叫模型思考
16:08好像是一個非常強悍的咒語
16:11但是他對GPT-3.5現在的版本
16:15沒有太大的幫助
16:17我們實際上試了一下
16:19叫GPT-3.5解數學的應用問題
16:22如果你用的是去年六月的舊版本的話
16:26沒有神奇咒語的時候
16:28模型的正確率是72%
16:30跟他講Let's think step by step
16:32叫他想一想正確率變88%
16:35看起來神奇咒語非常有用
16:37但是今天你用現在最新版本的GPT-3
16:41沒有神奇咒語它正確率已經高達85%
16:44加神奇咒語也只能進步到89%
16:48看起來神奇咒語的影響力變得小很多
16:52位子一想想這也是比較合理的
16:54怎麼可以叫你思考的時候才思考呢
16:57當然隨時問你問題你都要使出全力啊
17:00沒有叫你思考的時候也應該要思考啊
17:03所以GPT-3.5看起來變得是更厲害的
17:05沒有叫他思考,沒有暗示他要think step by step
17:09他也可以得到正確的答案
17:12那至於為什麼叫模型思考會有用
17:15等一下我們會看到,等一下會解釋給你聽
17:20那像我剛才講說
17:22要求模型做解釋可以強化他的能力
17:26那這招也不是對所有模型都適用
17:29比如說這邊引用一篇這個2022年5月的文章
17:33他們也嘗試叫模型做解釋
17:35但是發現說GPT-3
17:37或者是更早的模型
17:39如果你要求他做解釋的時候
17:41他不一定可以得到更準確的結果
17:45這個是第一部分
17:47那接下來呢
17:49第二部分是想要跟大家分享說
17:52有時候如果模型沒有得到正確的答案
17:55那是因為你給他的資訊不夠
17:59如果你提供給他更多的資訊
18:01他就可能可以給你更正確的答案
18:05舉例來說
18:06有時候模型沒辦法得到正確的答案
18:08只是因為他不清楚你的前提是什麼
18:12有的同學會這樣問ChatGPT
18:14說NTU是什麼的縮寫
18:16那你知道NTU其實既是臺灣大學的縮寫
18:20也是南洋理工大學的縮寫
18:22那更多的時候
18:23你問隨便一個世界上的人
18:25NTU是什麼
18:26往往他會覺得是南洋理工大學的縮寫
18:29我在前年去JHU兩個月
18:32去短期訪問兩個月
18:34到我快離開的時候
18:35大家還是覺得這個人是新加坡來的
18:39那對於大型語言模型來說
18:41你直接問他
18:42我這邊是直接問GPT-4
18:44NTU是什麼的縮寫
18:45他也覺得就是南陽理工大學的縮寫
18:50那怎麼讓他知道
18:51NTU是臺灣大學的縮寫呢
18:53你直接跟他講
18:54你是臺灣人
18:55跟他講說你是一個臺灣人
18:57用臺灣人的角度來思考
18:59NTU是什麼的縮寫
19:01他就知道是國立臺灣大學的縮寫
19:04那如果再跟他說你是新加坡人
19:06用新加坡人的角度來思考
19:08他就覺得NTU是南洋理工大學的縮寫
19:12所以有時候把前提講清楚
19:14模型可以給你更精確的答案
19:19那深層式AI它本身的知識還是有限的
19:23未來我們會再講到說
19:24講到說這些深層式AI它的知識是從哪裡學到的
19:28但它並不是無所不知
19:31所以很多時候它給你的答案不是正確的
19:33是因為它根本沒有相關的知識
19:36比如說我叫這個GPT-4整理一個表格
19:41這個表格裡面要列出前幾代的GPT
19:44GPT一代二代三代模型的參數量跟訓練資料
19:49那其實現在這個大型語言模型都是會畫表格的
19:52所以它畫出來一個表格
19:54然後他整理出了GPT一代二代三代他的參數量
19:58那這個數字呢算是蠻精確的
20:01但是如果說訓練的資料用的是什麼
20:04他就有點答不上來了
20:07GPT-3他大概知道說用了多少的訓練資料
20:12但是GPT跟GPT-2他就沒有答出來
20:16他直接寫了一個Not Available
20:19那怎麼辦呢
20:20怎麼讓這個GPT-4可以正確的把前幾代模型的參數量跟訓練資料量都打出來呢
20:28也許你可以先上網去做一下搜尋
20:32搜尋一些相關的資料
20:33把這些相關的資料直接拿給語言模型案
20:37他有相關的資料自然可以正確的把表格畫出來
20:41但是你可能會想說
20:42我都上網搜尋到相關的資料了
20:44我還需要他幫我畫表格嗎
20:46我自己畫不是一樣快嗎
20:48我告訴你,你可以更偷懶一點
20:50直接把GPT一代二代三代的Paper輸入給他
20:54直接叫他幫你讀Paper
20:56你自己就不用讀了
20:57他輸出來的結果是這個樣子的
20:59他就開始說
21:00我讀一下GPT1.pdf
21:02然後再來讀一下GPT2的文章
21:05接下來讀GPT3的文章
21:07然後就畫出了一個表格
21:09基本上這邊的每一個模型的參數量
21:12還有訓練的資料量
21:14都是蠻精確的
21:15你可能想說這個GPT1
21:17他沒講訓練的資料量啊
21:19他只說用了哪一個訓練資料集
21:21沒錯
21:22因為我仔細讀過論文裡面確實沒有提到訓練的資料量
21:26只說用哪一個Compass而已
21:29所以模型的回答算是蠻精準的
21:34那剛才講到你可以給前提
21:36你可以給額外資訊
21:37你還可以提供範例
21:40假設你現在想叫語言模型做情感分析
21:44你跟他說請幫我做情感分析
21:47給他一個句子
21:48希望他可以分析這個句子是正面還是負面的
21:51那如果今天這個語言模型
21:54他根本不知道情感分析是什麼意思的話
21:56怎麼辦呢
21:57也許我們可以提供給他一些範例
22:00告訴他說今天天氣真好
22:02你就要說是正面的
22:04今天運氣真差
22:05你就要說是負面的
22:06這朵花真美
22:07你就要說是正面的
22:08我累了
22:09就要說是負面的等等
22:11給他一些例子
22:12期待他讀過這些例子以後
22:14他知道情感分析是怎麼回事
22:16給他一個新的句子
22:17他可以給出正確的答案
22:21那這種提供範例
22:23可以讓模型根據範例得到更準確的答案
22:27這件事情叫做In Context Learning
22:30那In Context Learning這個技術
22:32老早在有GPT-3的時代
22:35就已經被發現了
22:37這邊引用的是GPT-3原始的論文
22:40那你從這個網址裡面
22:42可以看到說這篇論文他發表的時間
22:44是2020年的5月
22:47三四年前就生成式AI的領域來說
22:50就是上古時代
22:52上古時代就已經知道
22:53in-context learning這個技術了
22:56那這邊還是要強調一下
22:58in-context learning這個字裡面
23:00雖然有learning這個詞彙
23:02但是這裡沒有任何模型真的被訓練
23:07這個語言模型的參數是完全沒有改變的
23:11唯一改變的是輸入改變了
23:13所以in-context learning的意思是提供額外的範例
23:17而並不是語言模型真的有被訓練
23:22但是在2020年的時候
23:24那時候人們都非常的懷疑
23:26這些語言模型就是做文字接龍
23:29它真的可以讀懂這些例子
23:32然後影響它的輸出嗎
23:35於是在2022年的時候
23:37有一篇文章叫Rethinking the Role of Demonstration
23:41決定要驗證一下這些模型
23:43到底有沒有看懂這些例子
23:46那怎麼驗證模型有沒有看懂這些例子呢
23:49你故意給他錯的例子
23:51你故意把本來應該回答是正面的這些句子改成負面
23:57把本來應該回答負面的句子改成正面
24:01當你把這些例子改的時候
24:03改掉以後
24:04就這些實際上是正面的句子
24:06他的答案是負面的
24:07實際上是負面的句子
24:09答案是正面的
24:10當你把這個範例的資料做修改以後
24:14照理說語言模型
24:16他的答案應該要跟著改變
24:19如果他的答案仍然是正面
24:20給他我感到非常高興這個例子
24:23他的答案仍然是正面的話
24:25代表他沒看懂範例
24:27如果他答案改成負面
24:29代表他真的有看懂範例
24:32結果如何呢
24:33結果這篇文章發現說
24:35這些模型沒有真的看懂範例
24:38故意給他錯的範例
24:40對他的答案是沒有什麼影響的
24:44所以在2022年那個時候呢
24:46這篇文章的結論是
24:48看來語言模型沒有真的讀懂範例
24:52那為什麼提供給他範例往往還是有用呢
24:55也許是因為當你給他提供這些範例的時候
24:58你告訴他答案可能是負面或者是正面的
25:02他讓他更清楚現在要做什麼樣的事情
25:05他可以得到更精確的答案
25:07但他並沒有真的仔細的讀懂了這些範例
25:13但是這是2022年的結論
25:16這邊有個很好的例子告訴你說
25:18這個時代的變化很快
25:20我們對於這些生成式AI能力的認知
25:23也是不斷在改變的
25:25過了一年之後
25:26有另外一篇文章
25:27這篇文章的標題叫做
25:29Larger Language Model
25:31Due in Context Learning Differently
25:33這是2023年3月的文章
25:36在這篇文章裡面
25:37作者做了一些新的實驗
25:39他們拿更強的語言模型
25:41來測試他們讀範例的能力
25:44這邊他測試了
25:46PALM從8個Billion參數
25:49到540個Billion參數的模型
25:53他也測試了一系列
25:54當時OpenAI用的這個
25:57這個GPT-3
25:59介於GPT-3到GPT-3.5之間的
26:02一系列的模型
26:04他發現什麼他發現這個橫軸啊
26:07橫軸是錯誤的範例比例
26:10從0%的錯誤一直到100%的錯誤
26:14那發現說對一些最強的模型
26:17這邊不同的顏色代表不同的模型
26:20顏色越深代表這個模型的能力越強
26:25對於這些最強的模型
26:26比如說PALM
26:27這是一個Google所開發的大型元模型
26:31它有540個Billion的參數量
26:34一個非常巨大的模型
26:36這個巨大的模型在你給他錯誤的範例的時候
26:39他真的會答錯
26:41在這邊這個答錯呢
26:43有用引號誇起來
26:44這個答錯其實是答對
26:47希望大家可以聽得懂這個意思
26:48因為今天給模型錯誤的範例
26:51所以他應該要跟著答錯
26:52所以答錯反而是好的
26:54答對反而是不對的
26:56最理想的狀況
26:57今天所有的範例都是錯的
26:58100%的範例都是錯的
27:00正確率應該要是0%才是最好的
27:04當然這些模型能力看起來還是有一些極限啦
27:06所以他們並沒有真的做到0%的錯誤率
27:09但至少他的錯誤率是比隨機
27:12這個這條曲線是隨機的
27:14代表50%的錯誤率
27:15至少他們的錯誤率是比50%還要低的
27:19所以這篇論文的結論是
27:21看起來最強的模型是真的讀懂了這些範例
27:27那這邊我就想要做一個類似的小實驗
27:30我們來看看GPT-4
27:32如果我們給他的指令跟正常一般的認知不一樣的時候
27:37他到底是會按照我們的指令來執行
27:40還是他腦中的偏見太強了
27:42他根本就不去讀那些指令呢
27:45那記得我們在上週一開始的時候
27:48就嘗試用ChatGPT來做新聞的分類
27:52那個時候我們只提供了類別的名稱
27:56然後給語言模型
27:57一個新聞
27:58他可以給我們
27:59正確的分類
28:01好 那我們現在給每一個類別一個描述來看看
28:07它是不是真的可以按照我們的描述來進行分類
28:12那這邊給他的描述呢 有一點怪怪的
28:15我跟他說所謂政治類的新聞
28:18是報導有關產業經濟的消息
28:21例如企業投資金融不虧失
28:24那如果是財經方面的新聞
28:26是報導國內的政治消息
28:28例如政府部門政黨選舉跟政策
28:31GPT-4能不能夠看懂我提供給他的怪怪的類別指示呢
28:37這邊給他一篇文章
28:38這個是跟AI有關的新聞
28:41照理說這應該是屬於
28:43就如果你不看前面的這些說明的話
28:45這顯然是財經類
28:47但如果你有仔細讀一下這些說明
28:50他應該是屬於政治類
28:51因為這邊特別說了
28:53跟產業經濟有關的消息算是政治類
28:57結果如何呢
28:58嗯 他說是財經類
29:00我試了很多次 他的回答都是財經類
29:03看來他沒有好好的讀這些類別
29:06當這些類別跟我們一般預想的不一樣的時候
29:09GPT-4並沒有辦法真的答對
29:12但他的能力就僅限於此嗎
29:15你知道有時候語言模型的能力
29:16取決於你跟他說什麼
29:18這邊暗示一下
29:20這些類別的定義可能與一般的定義不同
29:23他突然就懂了 他可以回答是政治類
29:27所以提示一下好好讀這些說明
29:30他其實能力又會不一樣
29:34那講到這個讀範例的in-context learning
29:37我就來提一下Gemini 1.5
29:39大家知道說Gemini 1.5跟Solr是同一天發表
29:44所以沒什麼人注意到這個Gemini 1.5
29:47那在今天OpenAI發表任何東西的時候
29:49都是故意跟Google選同一天
29:51所以當我發現Sora發表的時候
29:53我就想說Google一定有發表一個什麼東西
29:55所以我就去找了一下 原來是發表了Gemini 1.5
29:59那Gemini 1.5有非常強的in-context能力
30:04在Gemini 1.5的技術報告裡面
30:06他們提到了這樣一件事
30:08他們想叫語言模型去翻譯一個叫做卡拉蒙的語言
30:16這個語言是一個非常少人用的語言
30:19根據Gemini的技術報告裡面說
30:21這個語言的使用者大概只有200人而已
30:25在網路上找不到這個語言的任何資料
30:29所以這個語言模型顯然不懂卡拉蒙語
30:33所以他根本沒有辦法把這個句子翻譯成卡拉蒙語
30:37那接下來Google做了什麼事情呢
30:40他們給大型語言模型非常大量的教科書
30:46我們找了這個語言的文法書跟他的字典
30:50合起來有25萬字左右
30:53把這些大量的資料加上你的指令
30:56一起丟給語言模型
30:58這個時候它突然能夠翻譯卡拉蒙語了
31:02那實際上的數值結果怎麼樣呢?
31:04這個是來自於Gemini 1.5的技術報告
31:08中間這個Column代表從卡拉蒙語翻成英文
31:14右邊代表從英文翻成卡拉蒙語
31:18那在完全沒有提供任何教科書
31:21Zero Shark代表沒有提供任何額外的資訊
31:24這些模型就是裸考
31:26給他去卡拉蒙語教翻英文
31:28給他英文教翻成卡拉蒙語
31:30讓他直接翻譯
31:31那如果不管是GPT-4
31:33還是Claude 2
31:34還是Gemini 1.5
31:36通通沒有辦法做準確的翻譯
31:38這邊的數值代表人類評估的結果
31:41那人類評估的那個分數滿分是6分啦
31:44所以0點多分是非常低的分數
31:46那後面這個括號裡面的分數是拿模型去自動評比的結果
31:51那我們這邊就先不看括號裡面的分數
31:54那這個投影片上現在的分數是在沒有任何額外資訊的情況下
32:00模型得到的答案
32:02今天如果給他半本卡拉蒙語的教科書
32:07或給他完整的一本教科書
32:10他讀完以後再拿去做翻譯
32:14這個時候 他的正確率 人類評估的分數變成4.36跟5.52
32:20當然實際上跟人類的學習者還是有一段差距啦
32:23你叫人類真的去讀那些教科書
32:25讀完以後真的來做翻譯
32:28人類是可以做得比機器更好的
32:30但是這邊的實驗結果顯示說
32:33機器他讀完了整本教科書以後
32:36他真的有一點不一樣了
32:38他可以翻譯一個他之前不會的語言
32:42但是講到這邊有一個非常重要的觀念要考考大家
32:48什麼樣重要的觀念呢
32:50我們現在來講一個情境
32:52剛才我們說如果讓語言模型直接去翻譯卡拉蒙語
32:57他沒有辦法正確的翻譯
33:00給他一本教科書叫他去翻譯卡拉蒙語
33:03他先讀完教科書
33:05接下來讀到這個要翻譯的指示
33:08接下來做文字接龍可以接出正確的翻譯
33:11給他看教科書
33:13他突然會翻譯的
33:15接下來
33:16在下一次使用他的時候
33:18再叫他翻譯卡拉蒙語的時候
33:20他可以翻譯的出來嗎
33:23給大家五秒鐘的時間想一下
33:25如果你可以答對的話
33:26那你就真的知道
33:28這堂課在講些什麼
33:32覺得答案是1的同學舉手一下
33:35好,多數同學都覺得是1,覺得答案是2的同學舉手一下
33:40好,幾乎沒有,好,看起來大家都聽懂了,非常棒
33:44這個確實模型,你再一次叫他翻譯卡拉盟語的時候
33:48他是沒有辦法被翻譯的,為什麼?
33:51因為今天沒有任何的模型被訓練
33:56模型的參數都是固定的
33:58所以今天就算是他讀了這本教科書能夠翻譯
34:01能夠翻譯那是在有這本教科書
34:04作為文字接龍前面的句子的前提下
34:08他可以做翻譯
34:09下一次你在用他的時候沒有這本教科書
34:11他就翻譯不了了
34:13那大家都答對了
34:14代表你真的瞭解了
34:16in-context learning 的精神
34:21好那我們剩下
34:2415分鐘的時間
34:26那剩下這個部分呢
34:27我想是講不完了
34:28也許我們先來回答一下
34:30同學們的問題好了
Ver Más Videos Relacionados
一招让你的ChatGPT变聪明｜context window原理讲解
【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具
Trying to make LLMs less stubborn in RAG (DSPy optimizer tested with knowledge graphs)
使用ChatGPT API构建系统1——大语言模型、API格式和Token
Ilya Sutskever | AI neurons work just like human neurons | AGI will be conscious like humans
第2集-指南-ChatGPT提示工程师｜AI大神吴恩达教你写提示词
5.0 / 5 (0 votes)
