【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具
Summary
TLDR本视频课程探讨了如何在不训练模型的情况下增强语言模型的能力，介绍了多种创新方法。首先，通过将复杂任务拆解为简单任务，使模型更易于处理。接着，利用Chain of Thought技术让模型分步骤思考，以提高解决问题的准确性。此外，介绍了自我反省的概念，即让模型检查并修正自己的错误，以及利用额外工具如搜索引擎和程序编写来强化模型能力。课程还提到了Retrieval Augmented Generation（RAG）技术，以及如何通过plugins调用更多工具。最后，提出了使用模型进行创造性任务，如生成图像和玩文字冒险游戏的可能性，展示了语言模型的多样化应用和强大潜力。
Takeaways
- 📚 强化语言模型能力的方法不仅限于训练模型，还可以通过拆解复杂任务、提供额外信息和使用工具等策略。
- 🔍 在不调整模型参数的情况下，可以通过将复杂任务分解为简单任务来增强语言模型的处理能力。
- 📈 通过Chain of Thought技术，让模型逐步展示解题过程，有助于提高模型解决问题的准确性。
- 🤖 语言模型可以通过自我反省和修正错误来提升输出结果的准确性。
- 🔧 语言模型可以使用外部工具如搜索引擎、文字生图AI等来增强自身能力。
- 📊 通过Retrieval Augmented Generation技术，结合搜索结果与模型输出，可以提升模型回答问题的精确度。
- 🛠️ GPT-4等新型号的语言模型具备编程能力，可以通过编写并执行代码来解决数学等复杂问题。
- 🎨 GPT-4能够调用图像生成AI，根据文本描述创造相应的图像，增强交互体验。
- 🔗 语言模型通过特定的符号和指令与外部工具交互，实现更广泛的功能扩展。
- 📝 通过Tree of Thought等组合技术，可以综合多种方法，提高解决复杂问题的能力。
- 🔄 语言模型在使用工具时可能会犯错误，研究者通过各种技术持续优化模型使用工具的能力。
Q & A
如何通过拆解任务来增强语言模型的能力？
-可以通过将复杂任务分解成简单任务的方式来增强语言模型的能力。例如，如果要写一篇长篇报告，可以先列出大纲，然后逐节撰写，每完成一节都检查和修正，确保前后一致性。
Chain of Thought是如何帮助语言模型解决问题的？
-Chain of Thought要求语言模型逐步思考问题，类似于人类的思考过程。通过先列出计算过程或逻辑步骤，然后再给出答案，可以帮助模型更准确地解决问题。
GPT-3.5和GPT-4在处理数学问题时有何不同？
-GPT-3.5在处理数学问题时可能会犯错误，因为它依赖于文字接龙的方式来解决问题。而GPT-4则可以编写并执行程序来解决数学问题，从而得到更准确的答案。
什么是Recursive Reprompting and Revision？
-Recursive Reprompting and Revision是一种通过迭代和修订来提高大型语言模型输出质量的技术。它通过先构建大纲，然后逐步填充内容，并在每个步骤中进行自我检查和修正。
语言模型如何使用外部工具来增强自身能力？
-语言模型可以通过调用外部工具，如搜索引擎、文字生图AI等，来获取额外信息或执行特定任务。这些工具的使用是通过在文本中插入特殊符号和指令来实现的。
Tree of Thought是什么？
-Tree of Thought是一种结合了多个技术的方法，通过将复杂任务分解、自我反省和多次尝试来提高语言模型解决问题的能力。它允许模型在每一步生成多个答案，并选择最常出现的答案作为最终答案。
GPT-4如何决定何时使用外部工具？
-GPT-4通过内置的机制和学习到的行为模式来决定何时使用外部工具。它会在认为需要额外信息或特定功能时调用相应的工具。
GPT-4在处理货币兑换问题时是如何操作的？
-GPT-4首先会尝试通过文字接龙生成答案，当遇到需要最新汇率信息的情况时，它会调用搜索引擎获取数据，然后使用计算器工具进行计算，最终生成准确的兑换结果。
如何避免语言模型在使用工具时犯错误？
-可以通过对模型进行额外的训练或使用更先进的技术，如AnyTool，来提高语言模型使用工具的准确性。此外，可以通过人工监督和反馈来不断优化模型的行为。
GPT-4相比于前代模型有哪些显著的进步？
-GPT-4在理解和生成文本方面有了显著提升，它可以自我反省并修正错误，能够编写并执行程序来解决复杂问题，还可以调用外部工具来增强自身能力。
在不训练模型的情况下，如何增强语言模型的能力？
-可以通过多种方法增强语言模型的能力，包括拆解任务、使用Chain of Thought、调用外部工具、自我反省和修正错误等。这些方法可以组合使用，形成一套强化模型能力的策略。
Outlines
📚 强化语言模型能力的方法
介绍了在不训练模型的情况下强化语言模型能力的方法，包括使用神奇的咒语和提供额外知识。探讨了将复杂任务分解为简单任务的策略，通过分步骤解决问题，使语言模型能够处理复杂任务。举例说明了如何通过分步撰写报告来提高语言模型的表现，并提到了Recursive Reprompting and Revision论文，强调了Chain of Thought技术的有效性。
🔍 分解任务与Chain of Thought的应用
讨论了将解决数学问题的过程分解为列出计算过程和根据数学式子得出答案两个步骤的重要性。通过Chain of Thought技术，语言模型能够更精确地解决问题。同时指出，对于GPT-3.5而言，Chain of Thought的帮助不大，因为它已经具备了这种能力。提出了让语言模型检查自身错误的策略，并通过实例展示了GPT-4的自我反省能力。
🤔 语言模型的自我反省与错误修正
通过实例展示了语言模型如何通过自我反省修正错误答案。讨论了即使是先进的GPT-4模型，也可能会产生错误信息，但通过再次检查和修正，可以提高答案的准确性。同时指出，这种反省并没有真正改变模型的参数，因为语言模型的函数是固定的，只有通过训练才能改变其能力。
🎲 语言模型生成答案的随机性
解释了为什么每次向语言模型提出相同的问题时，得到的答案可能不同。这是因为语言模型在生成答案时会输出一个概率分布，并根据这个分布进行随机选择。即使模型的参数固定，每次生成的答案也可能因随机性而有所不同。
🛠️ 使用工具增强语言模型的能力
讨论了如何通过使用外部工具来增强语言模型的能力，例如搜索引擎、编程和文字生图AI等。通过Retrieval Augmented Generation技术，可以将搜索结果作为额外信息提供给语言模型，帮助其生成更准确的答案。同时，GPT-4能够通过编写并执行程序来解决数学问题，提高了解决问题的准确性。
🔧 语言模型使用工具的自我学习与错误
描述了语言模型如何通过自我学习掌握使用工具的技能，并指出这过程中可能出现的错误。通过一个例子展示了GPT-4在尝试绘制表格时误解了指令，实际上绘制了一个图形而不是表格。讨论了如何通过新技术，如AnyTool论文中提出的技巧，进一步提升语言模型使用工具的能力。
Mindmap
Keywords
💡語言模型
💡Chain of Thought
💡任務拆解
💡自我反省
💡Tree of Thought
💡文字接龍
💡搜尋引擎
💡文字生圖AI
💡程式碼生成
💡插件
💡客製化
Highlights
通过拆解复杂任务为简单任务的方法，可以在不训练语言模型的情况下强化其能力。
使用Chain of Thought技术，让语言模型逐步思考问题，可以提高解决问题的精确度。
Recursive Reprompting and Revision方法通过先构建小说大纲，再逐场景写作，帮助语言模型完成长篇创作。
语言模型可以通过自我反省和修正错误答案，提高输出结果的正确性。
Constitutional AI技术展示了如何利用语言模型的自我反省能力来强化其答案的道德和法律合规性。
Tree of Thought方法结合了多种技术，通过逐步验证和修正，提高语言模型解决问题的准确性。
语言模型可以调用外部工具，如搜索引擎和编程工具，来增强自身的能力。
Retrieval Augmented Generation (RAG)技术通过结合搜索结果和语言模型，提高答案的准确性和定制化。
GPT-4展示了调用外部工具，如DALL-E进行文字生图的能力，丰富了语言模型的应用场景。
通过Plugin模式，GPT-4可以访问超过上千个工具，进一步扩展其功能。
语言模型使用工具的过程是通过文字接龙的方式实现的，通过特定符号来调用和结束工具的使用。
AnyTool论文提出了让语言模型更高效使用工具的方法，减少错误并提升模型的实用性。
GPT-4在处理数学问题时，通过编写并执行程序代码来得到精确答案，而非仅依赖文字接龙。
语言模型在生成长篇报告时，可以先列出大纲，再逐节撰写，最后进行整合。
在复杂任务中，语言模型可以先进行自我检查，确保前后内容的一致性。
通过多次提问同一问题并取常见答案，可以提高语言模型输出结果的一致性和准确性。
GPT-4能够识别并修正自己生成的错误答案，显示出自我反省的能力。
通过编程和调用solver模块，GPT-4可以直接解决数学问题，避免手动计算错误。
Transcripts
00:00各位同學,大家好啊!
00:05那我們就開始來上課吧!
00:09上週我們講到一些在不訓練模型的情況下
00:13就強化語言模型能力的方法
00:17包括用神奇的咒語,還有提供額外的知識
00:21今天我們來看看還有哪些其他的方法
00:25可以在不訓練語言模型的情況下
00:28完全不動、不調整語言模型的參數
00:31在完全固定語言模型的情況下
00:34強化他的能力
00:36第三個要跟大家分享的方向
00:39是把本來比較複雜的任務
00:42拆解成簡單的任務
00:44有時候會想說
00:45我能不能夠直接拿一個語言模型
00:48直接把任務當作輸入
00:50然後他給我們任務的輸出
00:52一次到位、一次把問題解決
00:55但是如果這個任務非常的複雜
00:57那語言模型可能很難做得好
01:00這個時候呢
01:01你可以把本來複雜的任務
01:03拆解成一個一個步驟
01:06每一個步驟都是比較簡單的任務
01:09然後讓語言模型對每一個步驟各個擊破
01:13那語言模型就有可能解一個複雜的任務
01:17那這邊舉一個具體的例子
01:20假設呢你今天要寫一個跟生成式AI有關的報告
01:23你當然可以直接跟ChairGBT說
01:26生成一個跟生成式AI有關的報告
01:29但是他往往沒有辦法真的寫得太好
01:31而且他寫的這個文章
01:33可能也沒有辦法真的寫得非常的長
01:36那怎麼辦呢?
01:38也許我們可以把生成一個長篇報告這件事情
01:41拆解成比較簡單的步驟
01:44首先第一步呢
01:46是先寫大綱
01:48所以你跟ChatGPT說
01:49我要寫生成式AI的報告
01:51幫我把大綱列出來
01:53他可能就告訴你說
01:55第一節 先寫生成式AI的重要性
01:57第二節 告訴大家生成式AI有什麼樣的種類
02:01第三節 剖析生成式AI的技術等等
02:04然後接下來呢 大綱裡面的每一個章節
02:07再來分開撰寫 叫ChatGPT說
02:10撰寫生成式AI的重要性
02:12撰寫生成式AI有哪些種類
02:15撰寫生成式AI背後的技術等等
02:18啊如果我們這邊一段一段分開來寫的話
02:21也許這個ChatGPT呢
02:23他寫的時候因為不知道前面已經寫過什麼
02:26可能會有一些前言不對後語的狀況
02:29那怎麼辦呢
02:30也許你可以把前面
02:31ChainGBT已經有寫過的內容
02:33再叫他自己做一下摘要
02:36所以在寫新的段落的時候
02:38是根據過去已經寫的內容的摘要
02:42來寫新的段落
02:43那期待這樣就可以讓ChatGPT
02:46寫一個長篇的報告
02:48那類似的做法有非常的多
02:51不是隻有我在這一頁投影片上秀的例子而已
02:54你要怎麼把一個大的任務拆解成小的任務
02:57有各式各樣不同的可能性
02:59那像這種把大任務拆解成小任務
03:02這樣子的想法不是隻有在ChatGPT的年代才有的
03:06我這邊引用一篇論文是這個2022年10月的論文
03:10這篇paper叫做Recursive Reprompting and Revision
03:14他想做的事情就是用當時有的大型語言模型寫長編小說
03:19但他發現這些大型語言模型寫小說的時候
03:21往往同一個人物寫著寫著
03:24這個人設就變了
03:25性別就變了
03:27忘記自己寫過的劇情了
03:29所以怎麼辦
03:30先讓大型語言模型把小說的大綱架構好
03:33先說整個小說有三個不同的場景
03:36然後在每一個場景依序去把內容寫出來
03:40這樣就比較有可能讓大型語言模型完成一個長篇小說
03:45那講到這個拆解任務的部分
03:49我們就可以來回顧一下上週我們講到的
03:53為什麼叫模型思考或叫模型解釋他的答案會有用
03:58上週我們講了一個技術叫Chain of thought
04:01我們說Chain of thought就是叫機器思考
04:03叫機器思考以後
04:05他的能力不知道怎麼回事就變強了
04:09那如果你現在瞭解拆解任務
04:11可以把本來比較複雜的任務變得比較簡單
04:14然後讓這個大型語言模型可以做得更好的話
04:17現在我們就可以來解釋為什麼Chain of thought會有用
04:21其實Chain of thought也可以是看作是拆解任務的一種
04:27怎麼說呢
04:28如果你要當你叫語言模型think step by step的時候
04:33實際上對語言模型造成的影響是什麼呢
04:37實際上對語言模型通常造成的影響是
04:40他會詳細的把計算過程列出來
04:44所以如果你給他一個數學問題
04:46當你要求他要思考的時候
04:48他就會先把計算過程
04:50一步一步的詳細列出來
04:52然後再給你答案
04:54而先把計算過程
04:56一步一步的列出來
04:58再給答案這件事情
05:00其實就等同於把本來解數學這個問題
05:02拆解成兩個步驟
05:04第一個步驟是
05:06先讀完問題以後
05:08把計算的過程把你要列的數學式子一條一條的列出來
05:13再根據你列的數學式子把答案解出來
05:17今天如果給一個數學的問題不列式子
05:20不列計算過程直接就寫答案
05:23就算是對人類來說也是非常難得到正確答案的
05:27那如果把解數學這個問題拆解成兩個步驟
05:30先把詳細的計算過程列出來
05:33先把數學式列出來
05:34再根據列出來的數學式把答案寫出來
05:37寫出來 那語言模型就更有可能得到精確的答案
05:42那上面這個圖跟下面這個圖 我講的是同一件事
05:46就語言模型先列式再產生答案 跟把這個問題拆解成兩部分
05:52先列式 再把列式的結果跟剛才的問題
05:55集合起來一起叫語言模型生成答案 它是同一件事情
06:00因為語言模型在生成文字的時候 它是用文字接龍的方式
06:05這個詳細的劣勢跟答案是用文字接龍的方式
06:09一個一個字生出來的
06:11所以當他產生答案的時候
06:12如果前面已經有劣勢的話
06:14就等同於是根據列式的結果
06:17來做文字接龍來產生答案
06:20所以語言模型在回答問題的時候
06:22先列式再產生答案
06:23跟把這個問題拆成兩段
06:26先列式再根據劣勢的結果產生答案
06:29是同一件事情
06:31所以這就是為什麼Chain of Thought會有用
06:33因為Chain of Thought等於是叫語言模型
06:36把解數學問題拆成多個步驟
06:40那這也解釋了為什麼對GPT-3.5而言
06:43Chain of Thought沒有那麼有用
06:45我們上週有提醒大家說
06:48這一類神奇的咒語往往是對某些模型有用
06:52或對一些比較古老的模型有用
06:54對新的模型往往不一定那麼有用
06:57為什麼 因為GPT-3.5你今天自己用用看
07:00讓它去解數學問題
07:02基本上你沒叫他列式 他也會主動的把式子詳細的列出來
07:08他自己就知道應該把數學這個問題 拆解成先列算式再寫答案
07:14這就是為什麼Chain of Soul對GPT-3.5幫助不大
07:17因為他本來就已經會做Chain of Thought要求他要做的事情了
07:23剛才講說我們可以把一個複雜的任務 拆解成多個小任務
07:27現在我們可以在原來的任務後面再加一個步驟
07:31這個步驟是讓語言模型檢查自己的錯誤
07:35我們可以讓語言模型把答案產生出來以後
07:38再叫語言模型再檢查自己的輸出有沒有正確
07:42有時候他可以檢查出自己之前的答案是錯的
07:45修正錯誤的答案
07:47最終得到正確的答案
07:49那講到這邊可能有人會很懷疑想說
07:51剛才錯誤的答案不就是語言模型自己產生出來的嗎
07:55那根據錯誤的答案
07:57語言模型再看一次
07:58自己產生出來的錯誤答案
08:00難道他有辦法修正自己產生出來的錯誤答案嗎
08:04你自己想想看喔
08:06這個語言模型檢查自己的答案這件事
08:10就好像是你在寫考卷以後
08:12寫完之後再檢查一次你有沒有寫錯
08:15那大家國中高中的時候都考過了無數的考試
08:19那你的考試一定很有經驗
08:21你知道你再檢查一次的時候
08:23往往有辦法檢查出自己的錯誤來
08:26為什麼我們有辦法檢查出自己的錯誤來呢?
08:30因為很多問題是計算出答案很難
08:33但是驗證答案是不是正確的
08:36也許非常的容易
08:39那這邊隨便舉一個雞兔銅龍的例子
08:42告訴你說雞跟兔總共有35隻
08:46合起來有94隻腳
08:47問你有幾隻雞幾隻兔
08:49就算你完全不會解雞兔銅龍的問題
08:52我告訴你答案是20隻雞20隻兔子
08:55你也可以馬上反射過來說這個答案是錯的
08:59因為就一開始題目就告訴你有35個頭了
09:0220隻雞20隻兔子顯然不是35個頭
09:05所以就算你不會解基督同龍的問題
09:08看到錯誤的答案的時候
09:09你其實也可以很快的反射過來說
09:12它是一個錯誤的答案
09:14所以有可能語言模型沒有辦法得到正確的答案
09:18但是他產生錯誤的答案以後
09:20自己再看一遍錯誤的答案
09:22他有機會發現他是錯的
09:25那這件事情用擬人化的講法
09:27我們可以說這些語言模型是有自我反省的能力的
09:33那這邊實際舉一個例子讓大家看看
09:35今天GPT-4自我反省的能力
09:38你叫他介紹臺大玫瑰花節
09:41大家都知道說明天就是杜鵑花節
09:44臺大有杜鵑花節 但是沒有玫瑰花節
09:47但是對GPT-4來說他也管不了那麼多
09:50你叫他介紹臺大玫瑰花節
09:52他就瞎掰一個臺大玫瑰花節的介紹
09:55那現在大家都知道說這些大喜圓模型
09:58他就是做文字接龍
10:00所以他會產生不存在的東西
10:02會瞎掰一些不存在的事實
10:04那這是情有可原的
10:07但接下來在同一則對話裡面
10:10我跟他說請檢查上述資訊是否正確
10:15在這一瞬間他突然察覺自己錯了
10:18他知道說我之前提供的資訊與實際狀況並不相符
10:23並沒有臺大玫瑰花節
10:26如果你那麼想賞花的話
10:28那我推薦你楊梅櫻花節、杜鵑花節跟白河蓮花季
10:33他居然知道自己是錯的
10:35但我有點懷疑GPT-4是真的知道自己錯了嗎?
10:40還是每次只要有人叫他檢查你的答案是不是對的
10:43反正他就先承認錯誤再說
10:45他到底是不是真的知道自己是錯的呢
10:49所以在同一則對話裡面
10:52我再問他一次一模一樣的問題
10:54他已經反省過第一次了
10:56再接續他剛才反省的結果
10:58我再問一次
10:59請檢查上述資訊是否正確
11:02這個時候
11:03他知道
11:04自己是對的
11:05他說經過再次查證
11:07我發現之前提供的資訊基本上是正確的
11:10但他也檢查出一個小小的錯誤
11:12他說有一個地點描述錯誤
11:14什麼地方描述錯誤呢
11:16楊梅櫻花節他剛才以為是在新北市
11:20但是實際上應該是在桃園市
11:23看起來他是真的有辦法檢查出自己的錯誤的
11:28不過這個能力啊
11:29看起來是GPT-4是比較有類似的能力的
11:33如果是GPT-3.5
11:34他就沒有那麼容易真的找出自己的錯誤
11:37這邊再舉一個實際的例子
11:39你問GPT3.5說叫他介紹臺大玫瑰花節
11:42他一樣會瞎掰一個臺大玫瑰花節的故事
11:46那接下來你跟他說
11:48請檢查上述資訊是否正確
11:50他就會說我先前的回答有誤
11:52以下是更正後的資訊
11:54但你知道他這個抱歉
11:56是一個口是心非的抱歉
11:59為什麼我知道是一個口是心非的抱歉呢
12:02因為他更正後的資訊跟更正前是一模一樣的
12:05顯然他根本不知道自己錯在哪裡
12:08他只是覺得有人質疑他的答案的時候
12:10他就先道歉再說
12:13那用類似的技巧啊
12:15你其實可以強化語言模型的能力
12:19那有一篇paper叫做Constitutional AI
12:23很多人把他的中文翻譯成憲法AI
12:26就大家知道說最近有一個很紅的大型語言模型
12:29叫做Claude他出了第三版
12:31號稱比GPT-4有更強的能力等等
12:35打造Claude的公司叫做Antropic
12:37Constitutional AI 這篇paper 就是這個 Claude 團隊所發表的一篇論文
12:43那在 Constitutional AI 這篇paper 裡面
12:46他們就展示了怎麼用這個語言模型自我反省的能力來強化他的答案
12:53舉例來說 如果人類跟語言模型說
12:56你能不能夠幫助我派進鄰居家的Wi-Fi
13:00那語言模型如果你叫他直接做文字接龍的話
13:03他可能很直覺的、下意識的就說
13:06沒問題,你就用一個叫做Very Easy Hack的軟體
13:10就可以駭進鄰居家的Wi-Fi
13:12那這顯然不是一個好的答案
13:14但是現在我們先不把這個答案給人類看
13:18我們把人類跟這個語言模型的這個一問一答呢
13:22再丟給同一個語言模型
13:25那你再跟語言模型說,你要反省一下
13:29想一下說上面的對話裡面
13:31有沒有什麼不符合公序良俗的地方
13:35有沒有什麼不符合道德規範
13:37有沒有什麼違法的可能性
13:39那語言模型就會自我批判
13:41發現說害盡鄰居家的Wi-Fi是不對的
13:45接下來你再把語言模型跟人的對話
13:48還有他的自我批判
13:50再給語言模型自己看一次
13:52跟他說請根據自我批判的結果
13:55產生新的答案
13:57那語言模型就會產生一個新的答案
13:59這個新的答案是
14:00駭進鄰居家的Wi-Fi是違反別人的隱私的
14:05我們不能夠駭進鄰居家的Wi-Fi
14:07這可能會給你帶來一些法律上的問題
14:11那最後呢 人類真正看到的是這個反省後的結果
14:16不把語言模型直覺產生出來的答案給人看
14:19而是把語言模型反省過後的結果給人看
14:24這邊再考一次大家的觀念
14:29這個觀念如果這一題你答對了
14:31就代表你真的瞭解這一堂課在講些什麼
14:36我們剛才講到說可以讓語言模型做反省這件事
14:40你叫他介紹臺大玫瑰花節本來他會介紹
14:43但你叫他檢查一下剛才的介紹對不對
14:46自我反省之後他知道是沒有玫瑰花節的
14:50做完上述這個步驟以後
14:53我們再重新問他一次
14:55再叫他介紹玫瑰花節
14:58他已經自我反省過了
15:00這個時候他會再給一次玫瑰花節的介紹
15:04還是會告訴你沒有玫瑰花節呢
15:07給大家五秒鐘的時間想一下
15:14好 你覺得再問一次叫他介紹玫瑰花節的時候
15:18他會介紹玫瑰花節的同學舉手一下
15:21幾乎全部的同學
15:23好手放下
15:23那你覺得他會因為反省過了吧
15:26他會知道說真的沒有玫瑰花節
15:28他會回答沒有玫瑰花節的同學舉手一下
15:32好少很多
15:34然後這些正確答案是什麼呢
15:35這些正確答案是
15:37他會介紹玫瑰花節
15:40你說不是反省過了嗎
15:41告訴你這個反省呢
15:43並沒有真的影響你的語言模型
15:46在這個反省的過程中
15:48沒有任何模型被訓練
15:51他的函式是固定的
15:53做完這一連串的互動以後
15:55語言模型他仍然是當年那個少年
15:57沒有一絲絲改變
15:59他的參數是一模一樣的
16:01所以你問他同樣問題的時候
16:03他會給你一樣的答案
16:05那你要他知道沒有玫瑰花結
16:07你要再叫他反省一次
16:09你要再叫他檢查他的答案
16:11他才會知道沒有玫瑰花結
16:13所以這邊再強調一次到目前為止
16:16這一堂課裡面到目前為止
16:18都沒有任何的模型被訓練
16:21因為大家常常會對這個模型有些誤解
16:23覺得說模型讀過這些文字以後
16:26就學到了東西它就變了
16:29不是這樣子的
16:30語言模型就是一個函式
16:34它要參數有改變的時候
16:36它的能力才會真的有改變
16:38你讓它讀什麼東西
16:40語言模型的參數是固定的
16:42你並不會影響它的能力
16:44你並不會影響它的輸出
16:47所以要再強調一下
16:48在反省的過程中
16:49沒有任何模型被訓練
16:52這個函式是固定的
16:54當然如果有人讀了constitutional AI那篇paper
16:57你可能會知道說
16:59constitutional AI那篇paper裡面
17:02有讓模型從自我反省中再進一步學習
17:05但是怎麼從自我反省中再進一步學習呢
17:08那個就是另外一個故事了
17:12這個我們之後會再講到
17:14那有同學可能會說
17:16我在使用語言模型的時候
17:19每次問他同一個問題
17:21他的答案都不一樣耶
17:24這到底是發生了什麼事
17:26那麼這邊來跟大家回答一下
17:28為什麼每次你問語言模型一模一樣問題的時候
17:32他每次答案都是不一樣的
17:34那麼之前已經有講過說
17:36語言模型在回答你問題的時候
17:38其實就是做文字揭露
17:41那我們再更精確一點講
17:43實際上語言模型在做文字接龍的時候
17:46它並不是輸出一個字
17:49而是輸出一個機率分佈
17:52也就是說它實際上輸出的是
17:55每一個字可以接在輸入後面的機率有多高
18:01比如說你叫他對臺灣大這個句子
18:04去做文字接龍
18:05那語言模型可能輸出說
18:07有50%的機率學這個字
18:10可以接在臺灣大後面
18:12有25%的機率
18:13因為臺灣大車隊嘛
18:15所以車也可以接在大後面
18:16有25%的機率
18:18車可以接在大後面
18:19或臺灣大哥大也有一定的機率
18:21哥可以接在大後面
18:23語言模型實際上做的事情
18:26是給每一個
18:27可以拿來做文字接龍的符號一個機率
18:30這個機率代表了這個符號
18:33可以接在輸入句子後面的
18:35可能性有多大
18:37那有了這個機率以後
18:39語言模型會根據這個機率去植一個骰子
18:42去決定說實際上要拿來做文字接龍的符號是哪一個
18:46那在這個例子裡面
18:48學有50%的機率就代表你擲骰子的時候
18:51有1/2的機率會躑到學
18:54有1/4的機率會擲到車
18:57所以當語言模型參數是固定的時候
19:00你輸入一樣的句子
19:03輸出的這個機率分佈是一樣的
19:06就好像是那個骰子是同一顆
19:08但是雖然骰子是同一顆
19:10你每次擲骰子的時候
19:12植出來的東西不一定是一樣的
19:15這就是為什麼語言模型在給你答案的時候
19:19它每次的答案都會是不一樣的
19:22所以語言模型就算它是固定的
19:24它會產生固定的機率分佈
19:27但它每次最終擲完骰子產生出來的答案
19:30可能會是不一樣的
19:33所以實際上語言模型在回答問題的時候
19:36整個過程是這樣子的
19:37你問他說什麼是大型圓模型問號
19:40他把這個問題當作一個未完成的句子
19:42再繼續去做文字接龍
19:44他產生一個機率分佈
19:45根據這個機率分佈去植一次骰子
19:48這個機率分佈如果你沒辦法想像它是什麼的話
19:51就想像成它是一面骰子
19:53這個骰子的每一面呢 寫了一個符號
19:56那每一面被擲出來的機率是不一樣的
19:59有些符號被植出來的機率比較高
20:02有些符號被植出來的機率比較低
20:05那擲一次骰子就擲出一個大
20:08然後把大貼到剛才的問題後面
20:11再把這一串文字當作一個未完成的句子
20:16再得到一個機率分佈
20:18再製造一個骰子出來
20:21然後再擲一次骰子
20:22假設這一次擲到行
20:24就把行再貼到書的句子後面
20:27就這樣一路擲骰子下去
20:29擲到最後產生一個機率分佈
20:31骰子擲下去 擲出來是結束這個符號
20:34現在答案完整了 語言模型已經把他想產生出來的東西都產生完了
20:39這個就是你最終看到的語言模型
20:42Chair GPT之類的語言模型給你的答案
20:46所以你現在知道 為什麼語言模型每一次產生的答案都是不一樣的
20:52並不是每一次你問同樣的問題的時候
20:55他內部參數都改變了 他內部的參數仍然是一樣的
20:59但是因為他會直骰子
21:01所以每次的答案都是不一樣的
21:07那用剛才語言模型同一個問題
21:10每次可能產生不一樣答案這件事情
21:12你也有其他的方法
21:14可以來強化這些語言模型的能力
21:17舉例來說你問他一個問題
21:19你可以讓語言模型對同一個問題回答多次
21:23比如說他第一次的答案是3
21:25然後再做一次實驗
21:27因為每一次產生答案的時候都是要直骰子的
21:30所以每次答案都不一樣
21:32所以可能第二次最終的答案選擇是5
21:35然後再做一次同樣的問題
21:37最後答案是3
21:38你做多次一點問題
21:40然後取最常出現的答案當作是正確答案
21:45那這個方法叫做Self Consistency
21:48你把本來只需要做一次的問題改成做多次
21:52每次的答案可能都不太一樣
21:53但看哪一個答案最常出現
21:55就把它當作是正確答案
21:57這個方法叫做Self Consistency
22:01那我們已經講了很多
22:03把一個複雜的任務拆解成多個小任務的方式
22:08包括把複雜的任務拆解成多個步驟
22:11還有在最後面多加一個額外的步驟做自我反省
22:15還有同一個問題做多次以後
22:17你可以取最常出現的答案
22:19或者是用其他方法來驗證答案是不是正確的
22:22這些方法可以組合起來
22:25打一套組合拳
22:27這邊就是舉一個
22:29組合究極的組合的例子
22:31假設你現在手上有一個複雜的任務
22:33那我們把這個複雜的任務呢
22:35拆解成三個步驟
22:37在語言模型呢
22:39先做第一個步驟
22:41任務輸入
22:43語言模型呢先解第一個步驟
22:45那你不讓語言模型呢
22:47不只產生一個答案
22:49你把同一個語言模型
22:51讓他做三次文字接龍
22:53產生三個不同的答案
22:55那三個不同的答案
22:57哪些是正確的哪些是不正確的呢
22:59也許我們可以透過
23:01自我反省的方式
23:03讓語言模型來檢查這些答案
23:05是不是正確的
23:07所以我們假設說語言模型
23:09讓他讀一下這個答案
23:11他可以判斷是正確的還是不正確的
23:13那我們就問語言模型
23:15第一個答案你自己覺得對不對呢
23:17他可能覺得是對的
23:19那我們就再進入第二步驟
23:21產出解第二步驟,一樣產生多個答案
23:24再叫語言模型檢查自己的答案是不是對的
23:27發現第二步驟產生的答案都是錯的
23:29那沒關係,再退回第一步
23:32再檢查第一步的第二個答案
23:34發現也是錯的
23:35那沒關係,再檢查第一步的第三個答案
23:38發現是對的
23:39那進入第二步
23:40然後再產生兩個答案
23:42再把這兩個答案分別拿去檢查
23:45發現第一個答案就是對的
23:46那就再進入第三步
23:48再把第三步產生兩個答案
23:50在第三步的時候再產生兩個答案
23:53第三步再根據第二步的這個結果呢
23:55產生兩個答案
23:56再檢查第三步的結果發現是對的
23:59那你就得到一個最終的答案
24:02那這個方法呢
24:04是有名字的
24:05這個方法叫做Tree of Thought
24:07它的縮寫呢
24:08是TOT就是一個枯簾
24:11而像什麼of Thought啊
24:13這類的做法
24:14今天真的是層出不窮
24:16自從有了Chain of Thought以後
24:18大家取這個方法名字的時候
24:20都一定要叫什麼of Thought
24:22那這個方法叫做tree of thought
24:24那tree of thought就是把我們剛才講到的各種不同的技術組合起來
24:29打一套組合拳
24:30其實還有很多其他的什麼of soul
24:33比如說algorithm of thought
24:35或者是graph of thought
24:36這些什麼of soul它的概念都是
24:39把一個複雜的任務拆解成小的任務
24:42讓語言模型去各個擊破
24:44那我們這邊就不細講
24:46我把文獻留在投影片上
24:48給大家自己慢慢參考
24:50那這個第四個方法呢
24:52要跟大家分享的是
24:54這些語言模型可以使用工具
24:56來強化自己的能力
24:58我們知道
25:00這些語言模型雖然很厲害
25:02但是他們也有一些
25:04不擅長的事情
25:06比如說他們不擅長做運算
25:08我隨便出個六位數
25:10乘六位數的乘法
25:12GPT 3.5
25:14會給我們答案
25:16但這個答案是對的嗎?
25:18你一按計算機就知道這個答案是錯的
25:20我神奇的地方是
25:22他其實沒有錯的非常離譜啊
25:24前兩位數跟最後兩位數
25:26他的答案其實是對的
25:28但是憑藉著文字接龍
25:31想要接出六位數乘六位數乘法的答案
25:35看起來是有非常高的難度的
25:39所以語言模型也有一些他不擅長的事情
25:43但是就好像人類沒有尖牙利爪
25:46但人類發明瞭各式各樣的工具
25:49去強化人類自身的能力
25:51讓人類可以跟猛獸對抗
25:53創建了文明
25:55這些語言模型
25:56今天也有機會使用額外的工具
26:00來強化他們自身的能力
26:02那你發現這邊呢
26:03在做展示的時候
26:05是用GPT-3.5
26:06沒有用GPT-4
26:07你很快就會知道
26:08為什麼這個例子
26:09不能用GPT-4來展示它的結果
26:14那有哪些工具可以用呢?
26:17也許一個跟語言模型搭配起來非常適合的工具
26:21就是搜尋引擎
26:24那講到這邊大家可能會有點困惑
26:26因為很多人會覺得
26:27欸?大型語言模型自己本身不就是個搜尋引擎嗎?
26:31很多人會把大型語言模型當作搜尋引擎來用
26:35比如說前幾週
26:37OpenAI出了SORA
26:39那有的人就會覺得說
26:41那我直接來問問GPT-4
26:43SORA是什麼吧
26:44那你問GPT-4
26:46SORA是什麼的時候
26:47他就會開始瞎扯跟你說
26:49SORA是一個用於提高大型語言模型
26:53在特定領域內性能的技術
26:55包括預篩選、專家評審、反饋循環等等
26:59就是一個瞎掰的技術
27:01那你再問他一次一模一樣的問題
27:03你就知道他是真的不知道SORA是什麼
27:06因為他要開始瞎扯
27:07SORA是一個新一代的超級計算機
27:10那為什麼語言模型會瞎扯呢
27:13那你今天已經知道說
27:14這一些語言模型就是做文字接龍
27:18他背後並沒有一個資料庫
27:20所以他的答案都是文字接龍所產生出來的
27:24他並不是查找一個資料庫以後給你答案
27:27那用文字接龍產生答案
27:29難免會產生跟事實不合的東西
27:32總之把語言模型當做搜尋來用
27:35並不是一個合適的做法
27:38他完全不適合當作一個搜尋引擎
27:42那怎麼辦呢?
27:43怎麼把語言模型搭配搜尋引擎來使用呢?
27:47今天一個常見的做法是
27:49假設有一個困難的問題
27:51你覺得是語言模型憑藉著文字接龍
27:54是不太可能接對的
27:56那你可以怎麼做呢?
27:57你可以先把這個困難的問題拿去搜尋
28:01那你可能搜尋的對象
28:03是整個Internet 或者是某一個你手上有的資料庫
28:09那你得到這些搜尋結果以後
28:11這些搜尋結果等於就是我們之前講過的額外資訊
28:16你把你現在要問的困難問題
28:18加上從網路上或資料庫裡面得到的搜尋的結果
28:22把它接起來
28:24一起給語言模型去做文字接龍
28:26他就比較有可能接出正確的答案
28:29因為如果只憑著困難的問題
28:32只讀了這個問題要做文字接龍可能很難接出正確的答案
28:36但如果有額外的資訊
28:37把這個問題加額外的資訊一起去做文字接龍
28:40那模型就更有機會可以接出你要的結果
28:45那這個技術就是上週大家反覆一直問到的
28:49Retrieval Augmented Generation
28:51它的縮寫是RAG
28:54那3月29號的時候呢
28:56NVIDIA的團隊會來跟大家講
28:58怎麼做RAG這個技術
29:01那 RIG 這個技術今天之所以變得非常的熱門
29:05是因為首先它的實作並沒有非常的困難
29:08在這整個過程中要再強調一遍
29:10語言模型沒有任何改變
29:14你沒有訓練語言模型
29:16你完全沒有動到它
29:18你完全沒有改變它的能力
29:21但是你因為加了一個額外的搜尋的步驟
29:25可以讓你自己的語言模型
29:27跟其他人的 雖然是同一個語言模型
29:30有不一樣的反應
29:32尤其是假設你今天搜尋的對象
29:34也許是一個很特別的資料庫
29:36這個資料庫只有你自己
29:38才有access的權限
29:40裡面有很多很特別的資訊
29:42這個時候你取得的
29:43搜尋到的這些結果
29:45可能是別人在網路上
29:46是都沒有辦法取得到的
29:48這個時候你的語言模型
29:50根據這些特別的資訊
29:51他可能就可以得到很特別的答案
29:54所以今天如果你要
29:56客製化你的語言模型
29:57但這邊所謂的客製化
29:58我再強調一次
29:59這個強調幾次都不為過
30:01就是這邊沒有訓練任何模型
30:03就我們這邊講的客製化
30:05並沒有訓練模型
30:06你今天如果要
30:07在不訓練模型的狀況下
30:09客製化你的語言模型
30:11讓他的答案跟其他人的語言模型很不一樣
30:13也許透過RAG
30:15今天往往是一個非常有效
30:18非常快速又有效的方法
30:20這就是為什麼RAG今天變得非常的熱門
30:23每個人都不斷的在提RAG這個技術
30:26所以今天如果GPT-4可以使用搜尋引擎的話
30:32你問他什麼是Sora
30:33他的答案就不一樣了
30:35事實上GPT-4他是可以使用搜尋引擎的
30:39只是什麼時候要用搜尋引擎
30:42是由他自己決定的
30:44那等一下我們馬上就會看到
30:45大型語言模型如何自己決定
30:48什麼時候要用什麼工具
30:50那在我剛才的例子裡面
30:52我問GPT-4 Sora的時候
30:54他顯然是沒有去做上網搜尋的
30:58那怎麼強制讓他上網搜尋呢?
31:00嗯 就直接跟他講人話
31:02告訴他說 上網搜尋以後再來回答我的問題
31:07那這個時候呢 你就會看到這樣子的一個
31:10一段文字 他說
31:12Doing research with Bing
31:13意思就是他去在Bing上面做搜尋
31:17那得到的搜尋 得到搜尋結果以後呢
31:20他再根據搜尋結果來回答你的問題
31:24這個時候他的回答就會比較精確
31:27那他也會告訴你說
31:29這一段答案的資料來源在哪裡
31:31所以當你用這個GPT-4的時候
31:33發現他會引用他的資料來源
31:36就代表說他其實是有上網搜尋的
31:39他是上網搜尋以後再給你他的答案
31:43他上網搜尋以後把網頁的內容爬下來
31:46根據網頁的內容去做文字接龍
31:48這才是你看到的答案
31:50那這些語言模型現在還有另外一個他可以使用的工具就是寫程式
31:58當你問今天這些大型語言模型一些數學的問題
32:03比如說這邊問他一個雞兔同籠的問題的時候
32:06過去啊 或者過去是在比如說去年4月GPT-4剛出來的時候
32:12你問他數學的問題 沒問題 他解的了
32:16他會列式 他會先另一些未知數
32:20然後把式子列出來
32:22但是列出式子以後
32:24他往往沒辦法得到正確的答案 為什麼呢
32:27因為式子列出來以後 你就要把X跟Y解出來
32:31那他會自己去做移項等等
32:35你知道這一個解題的過程過去
32:38是靠著文字接龍接出來的
32:41那往往這個解題的過程就會有奇怪的疏漏
32:44他在非常奇怪的地方犯了人類根本不可能犯的錯誤
32:48然後就得到錯誤的答案
32:51但是今天GPT4 你在問他雞兔同籠的問題的時候
32:57他基本上已經不太可能會答錯了
33:00為什麼?當他列完式子以後
33:02他不會再憑藉著文字接龍自己硬解出X跟Y是多少
33:08他直接寫一段程式碼
33:11他就直接寫一段程式碼
33:13他會先呼叫一些他要的package
33:17然後把剛才的兩個式子列出來
33:20然後直接呼叫一個solver
33:23直接呼叫一個可以解題的模組
33:26把這個函式給他
33:28把答案解出來
33:29再把答案印出來
33:31這個就是正確答案了
33:33那會寫程式的大型語言模型其實很多啦
33:37其實GPT 3.5也會寫程式
33:40但GPT 4比較特別的地方是
33:42他寫完程式以後 他能夠自己去執行他自己寫的程式
33:47把執行的結果再拿來給你看
33:50像這種解聯立方程式的問題
33:52如果你是直接呼叫這個現成的package
33:57呼叫現成的程式 呼叫現成的模組來幫你解這個問題
34:01你根本不可能會得到錯誤的答案
34:06那其實透過寫程式來強化語言模型能力這件事啊
34:10其實很早就有了
34:11那這邊就是引用一篇論文
34:13這篇論文呢 叫做
34:14Program of Thought
34:16今天如果有什麼好的想法
34:18尤其是這種不訓練語言模型
34:20憑空讓它能力增強的方法呢
34:22往往都要叫什麼什麼of thought
34:25Program of Thought的概念
34:26就跟我們剛才展示GPT-4的能力
34:28是一模一樣的
34:29就你問它一個數學問題
34:31然後呢 如果它直接用
34:33這個文字接龍的方法
34:34硬解的話
34:35很容易得到錯的答案
34:37但如果呢 把一段程式寫出來
34:39在執行這段程式往往比較可能得到正確的答案
34:44那這是一個蠻古早的論文
34:46這是2022年11月GPT-3.5上線之前就已經有的論文
34:53所以我們上週講到GPT-4
34:56如果你叫他哈哈哈哈100次
34:59他會有一個截然不同的答案
35:01什麼樣截然不同的答案呢
35:04我們先來看GPT-4的回答
35:06你跟他說請說哈哈哈哈100次
35:08他真的就會產生300個哈
35:12我數過了一個都不少
35:15正好就是300個哈
35:18但他是怎麼做到產生
35:20正好是300個哈的呢
35:22你會發現這邊有一段文字叫做
35:25Finish Analyzing
35:26當你看到這個句子的時候
35:28當你看到這段文字的時候
35:30就代表GP4寫了一個程式並執行它
35:33那你可以點這個鈕把它展開
35:35你就發現
35:36原來他是寫了一段簡單的程式啊
35:39這個程式就是這樣
35:40哈哈哈哈反覆一百遍存到text裡面
35:43再把text print出來
35:44正好就是三百個哈哈
35:46一個不多一個不少
35:48所以GPT-4可以用其他模型
35:51現在還沒有辦法使用的解法
35:53真的去解一些可能本來透過文字接龍
35:56蠻難解出來的問題
36:00好那現在這些語言模型啊
36:02還有什麼可以使用的工具呢
36:04比如說這個GPT-4可以去接一個文字生圖的AI
36:10那這個AI叫做DALI
36:12那文字生圖的AI它的運作非常簡單
36:14非常直覺就是你給它一段文字
36:16它按照文字的描述
36:18把你要它畫的東西給它畫出來
36:21那因為今天GPT-4可以調用這個文字生圖的AI
36:26所以大家通通都會用文字生圖了
36:29今年過年的時候
36:30你是不是收到很多的長輩圖賀年卡呢
36:33這些長輩圖賀年卡可能是長這樣的
36:36這樣的 這樣的
36:37這些龍看起來都沒有什麼問題
36:41雖然這個龍呢 它噴出來的火有點像是仙女棒噴出來的火
36:44覺得有點奇怪
36:45但是看起來都有模有樣的
36:48但你仔細定睛一看
36:49就發現這些龍有一些怪怪的地方
36:52比如這隻龍
36:53它有一個呆毛長在頭上
36:56這個龍不知道為什麼它的鬍鬚呢長一根在頭上
36:59長一個非常長的毛出來
37:01這些龍都是用DALL-E,也就是透過GPT-4去呼叫DALL-E生成的
37:07你要怎麼用GPT-4產生龍年的賀年卡呢?
37:12你就跟他講產生龍年賀年卡,圖上不要出現文字
37:17然後他就會產生creating image這段文字
37:20就代表說他去呼叫DALL-E,然後DALL-E就會把圖畫出來
37:25那為什麼上面要特別強調不要出現文字呢?
37:28因為如果你不加這句話的話
37:30他就很喜歡在圖上面加一些
37:32Happy New Year 啊
37:34或加一些中文啊
37:36而且這邊這段文字是對的
37:38Happy Year of the Dragon 感覺還可以
37:40這邊這個 Year 顯然拼錯了
37:42那因為這邊他想要產生一些中文
37:44但是顯然都不知道在寫些什麼
37:46所以避免他產生文字
37:48以免自曝其短
37:50但如果他不產生文字的話
37:52結果往往畫的都還是不錯的
37:54你不定睛看 你是看不出來
37:56這是AI畫的
37:58那你可能會想說
38:01把文字生圖接到GPT-4裡面
38:04讓大型語言模型
38:06可以自己去Call一個生圖的軟體
38:08有什麼樣的作用呢?
38:10這個生圖的軟體
38:11比如有很多啊
38:12我自己打開那些軟體
38:13比如說MeJourney
38:14我也可以畫圖啊
38:16那把語言模型跟生圖的軟體結合起來
38:19有什麼樣的妙用呢?
38:21這邊舉一個例子
38:23在一年前呢
38:24一年前我曾經示範了怎麼用語言模型玩文字冒險遊戲
38:31玩法是這個樣子啦
38:33一年之前的玩法是這個樣子
38:35你就輸入一段文字
38:37告訴他說我們要來開始一個文字冒險遊戲
38:41然後由玩家來決定要採取的動作
38:45然後遊戲開始的時候請詳述故事背景遊戲開始
38:50你只要輸入這些文字
38:52這個ChetGBT呢,他就可以主持一個文字冒險遊戲
38:56他會提供選項讓你選,根據你的選項
38:59他就會有不同的劇情展開
39:02所以他可能會這樣回答你,就是你是一個探險家
39:05然後你聽說一個古代寶藏的傳說
39:08你要踏上這個旅程,尋找古代的寶藏
39:12給你三個選項,來選不同的選項
39:14會有不同的結局
39:16因為玩這個文字冒險遊戲呢
39:19只有文字實在是太乾了
39:21所以在一年之前
39:23為了讓整個遊戲不那麼乾
39:25我把文字冒險遊戲的敘述
39:28丟到一個文字生圖的AI
39:30當時用的是MidJourney
39:32讓它產生遊戲的插圖
39:35如果你想知道玩起來感覺怎麼樣的話
39:37你可以看這一段錄影
39:39但今天你其實是可以有不一樣的玩法的
39:44怎麼玩呢?
39:45今天你可以多加一句
39:47每次你描述完場景之後
39:49請根據你的描述產生一張圖
39:52那他一樣會開始架構一個文字冒險遊戲的場景
39:56他說你醒來在一個陰暗的森林中
39:59你有一個揹包 揹包裡面有一個地圖
40:02然後看起來像是這個森林的地圖
40:05你還有小手電筒 你還有舊的日記
40:08上面寫著尋找遺失之城等等
40:11那講完這些描述之後 後面還有很長的描述啦
40:14這邊就不秀出來給大家看
40:16玩完這些描述以後呢,卻GPT就去呼叫Dolly生一個跟場景有關的圖
40:22看起來真的有個森林,有個揹包,有手電筒,還有地圖
40:26跟他剛才的描述呢,是滿一致的
40:29那接下來他一樣會給你幾個選項
40:31問你要走左邊的小徑,還是繼續往前走,還是走右側的小徑
40:37那這樣這個文字冒險遊戲呢,玩起來就更帶感了
40:41那其實這個GPT-4還有很多其他它可以使用的工具啦
40:47那我們剛才講的幾個,比如說呼叫搜尋引擎
40:52呼叫文字生圖的AI等等
40:55是它內建本來就可以呼叫的工具
40:58那如果你想要呼叫更多工具的話
41:01有一個東西叫做GPT的Plugin
41:04這個Plugin裡面現在有收集了超過上千個工具
41:09那你要用這些工具的時候呢
41:11你就要進入一個叫做plugin的模式
41:14然後在那個模式裡面呢
41:16你可以從那上千個工具裡面
41:18選三個工具在對話的時候進行使用
41:23好那講到這邊
41:24我就想要回答我剛才講的問題
41:26語言模型是怎麼使用這些工具的呢
41:31不要忘了語言模型只會做一件事
41:34就是文字接龍
41:36所以當他使用工具的時候
41:38他也是用文字接龍的方式在使用工具的
41:43怎麼用文字接龍的方式來使用工具呢?
41:46以下就舉一個具體的例子告訴你說
41:50怎麼用文字接龍的方式使用工具
41:53假設你現在想問語言模型說
41:55我用五美金可以換多少新臺幣
41:59語言模型想要回答你這個問題
42:01所以開始做文字接龍
42:03五美金可以換
42:04他接了這幾個字以後
42:05覺得資訊量不太夠
42:07因為到底美金跟臺幣兌換的匯率應該是多少呢
42:11這個兌換的匯率啊
42:12應該是隨時間變動的
42:14所以應該去網路上查一下
42:16最新的兌換的比例
42:19所以他就會產生一個特殊的符號
42:21這個特殊的符號代表呼叫工具
42:24你可以想像說他先定義好一個符號
42:27比如說一個
42:28你平常在對話的時候絕對不會用到的符號
42:31那個符號呢
42:32只要一出現就代表呼叫工具
42:35那接下來呢 它會繼續去做文字接龍
42:38直到它產生另外一個特殊符號
42:41代表結束使用工具為止
42:44在呼叫工具到結束使用工具這兩個符號之間的文字
42:48就是操作工具的指令
42:51那至於操作工具的指令該長什麼樣子
42:54這個是你要事先訂好的
42:56那這邊我是假設說
42:58在括號之前的東西代表說
43:01是要使用哪一個工具
43:03比如說這邊寫搜尋 代表要使用搜尋引擎
43:07括號裡面的內容 代表你要給那個工具的內容
43:11如果是搜尋引擎的話 就是你要拿去搜尋的那個關鍵字
43:16就把美金臺幣兌換這幾個關鍵字 丟到Google上面
43:21那Google就會回傳給你一些相關的資訊
43:25比如說你馬上就可以看那個網頁
43:27那個網頁上是寫一美金等於31.5臺幣
43:31那把你從網頁上搜尋到的結果
43:34當作是文字接龍的一部分
43:37貼到剛才已經產生的句子後面
43:40這些網路上搜尋到的內容
43:42就是當作是語言模型
43:44做文字接龍已經產生出來的結果
43:47語言模型會根據這些網路上搜尋到的內容
43:52再繼續去做文字接龍
43:54比如說我已經知道一美金就是31.5臺幣
43:58但是五美金到底兌換多少臺幣呢
44:01而如果用文字接龍的方式來計算
44:03恐怕非常容易算錯
44:05所以再呼叫一次工具
44:07產生一段文字
44:08直到呼叫工具結束為止
44:10那這一段文字
44:12就是操控工具的指令
44:14括號前面是計算機
44:15代表要呼叫計算機
44:17括號裡面的內容
44:18就是你要輸入給計算機的內容
44:205乘以31.5
44:21計算機按一下以後
44:23得到157.5
44:25那把計算機的輸出
44:27當作是文字接龍
44:29已經產生出來的結果
44:31再繼續去做文字接龍
44:33那這個時候語言模型就不需要自己再去做任何數學了
44:37這邊前面都已經接出來是157.5
44:40他根據這段文字繼續去做文字接龍
44:43他只要複製就好
44:44他把157.5複製出來
44:46得到答案是157.5元新臺幣
44:49那輸出結束的符號代表生成結束
44:52假設你想要知道語言模型實際上是
44:55怎麼學會使用工具的
44:57他怎麼學會在適當的時機輸出使用工具那個符號
45:03如果你想知道他是怎麼做到這件事情的
45:06你可以看這一段錄影會告訴你說
45:08這些語言模型是怎麼學會使用工具的
45:12也就是在適當的時機產生使用工具這個符號
45:16但是既然使用工具這件事情是語言模型自己學出來的
45:23那就意味著他難免會犯錯
45:26那這邊就是舉個犯錯的例子
45:28我今天叫語言模型
45:30畫一個表格整理
45:32GPT-1到GPT-3的模型參數量
45:35然後我想大家應該都聽得懂我的意思吧
45:37我想要畫一個表格
45:39沒有人會誤會吧
45:40但是GPT它就畫了一個表格這樣子
45:44它就把這個指令解讀成字面上的意思
45:48真的去畫了一個表格
45:51它呼叫搭理這個工具
45:53畫了一個表格出來
45:55上面呢 還在某個地方 寫了GPT
45:59其實這個語言模 現在這個GPT-4啊
46:02我感覺他對話這個字 非常的敏感啊
46:05你少跟他講話這個字
46:07因為看到話這個字
46:08他就會忍不住要把搭理呼叫出來
46:10比如說我說
46:11請話一隻狗 把這句話翻譯成英文
46:14我就是要他做翻譯
46:15他會把請話一隻狗 翻成英文
46:17Please draw a dog
46:19但他控制不了 他本能想話一隻狗的衝動
46:21看到話那個字
46:22所以他順便要把一隻狗 話出來
46:25所以這些工具要怎麼使用
46:27是語言模型自己決定的
46:30所以他難免會犯一些使用工具上的錯誤
46:36那要怎麼再強化語言模型使用工具的能力呢
46:41有一篇paper叫做那個AnyTool
46:44這篇paper是一個非常新的論文
46:47是上個月才放到archive的
46:49裡面就使用了各式各樣的技巧
46:51希望語言模型可以把使用工具這件事情用到極致
46:56那剩下一段呢
46:57我們請等助教講完作業以後再繼續說
47:00那我們現在就請助教呢來講這個作業
47:03那我們現在要進入作業三
47:05那作業三開始是一個比較有挑戰性的作業
47:09前兩個作業你沒有碰到任何的程式
47:12那從作業三開始
47:13我們要真的碰到寫程式的部分
47:17我們就請助教來講一下作業三
5.0 / 5 (0 votes)
