【生成式AI導論 2024】第5講：訓練不了人工智慧？你可以訓練你自己 (下) — 讓語言彼此合作，把一個人活成一個團隊 (開頭有芙莉蓮雷，慎入)
Summary
TLDR本视频讲述了《葬送的芙莉蓮》漫画中芙莉蓮与徒弟費倫挑战一级魔法使资格的故事。他们必须攻略名为靈洛的王座的迷宫，面对能够复制能力的水鏡的恶魔。芙莉蓮与复制体展开激烈战斗，最终通过合作与智慧取得胜利。视频还探讨了语言模型的合作方式，如何通过再训练模型来分配任务，以及模型间的讨论如何提高答案质量。此外，还提到了如何通过不同角色的模型合作完成复杂任务，以及语言模型团队的优化和社群构建的可能性。
Takeaways
- 📚 故事从芙莉蓮和其他魔法使攻略名为靈洛的王座的迷宮开始，其中水鏡的惡魔司馬徽能复制进入者的能力。
- 🔮 芙莉蓮面对自己能力的复制体，展示了即使是千年魔法使也有潜在的弱点。
- 🤝 芙莉蓮与徒弟費倫的合作，强调了合作的重要性，即使是强大的个体也需要团队协作。
- 💥 描述了芙莉蓮和复制体之间的激烈战斗，使用了多种强大的魔法和技能。
- 🧙♂️ 費倫使用六道佩恩的忍术万象天引，揭示了复制体的破绽，帮助芙莉蓮取得胜利。
- 🤖 提出了语言模型合作的概念，类似于GPT-4与其他模型合作，可以发挥更大的潜力。
- 💰 讨论了不同语言模型的成本效益，以及如何根据任务的复杂性合理分配模型资源。
- 🔄 介绍了通过再训练一个模型来决定任务分配给哪个语言模型的策略。
- 🔍 通过论文Frugal GPT探讨了如何让模型通过自我反省和讨论来提高答案质量。
- 🔗 展示了语言模型之间如何通过讨论来达成共识，并由裁判模型进行最终评判。
- 🛠️ 提出了语言模型可以扮演不同角色，如项目经理、程序员等，以完成复杂的项目任务。
Q & A
葬送的芙莉蓮的故事中，芙莉蓮和她的徒弟费伦正在经历什么挑战？
-芙莉蓮和她的徒弟费伦正在经历考一级魔法使的资格，其中一个挑战是攻略一个叫做灵洛的王座的迷宫，迷宫中有一个能够复制进入者能力的恶魔。
在灵洛的王座迷宫中，芙莉蓮的复制体是如何产生的？
-迷宫中的恶魔水镜的能力是复制进入迷宫的人的能力，因此当芙莉蓮进入迷宫时，恶魔复制出了一个芙莉蓮的复制体。
芙莉蓮的复制体有什么特点？
-芙莉蓮的复制体没有颜色，这使得人们可以将其与芙莉蓮的本体区分开来。尽管复制体具有芙莉蓮的能力，但它没有自己的意识。
芙莉蓮和费伦是如何合作对抗复制体的？
-芙莉蓮相信她和费伦一起可以打败复制体。在战斗中，他们使用了强大的魔法，包括召唤神之卡的欧贝利斯克的巨神兵。
费伦在战斗中扮演了什么角色？
-费伦在战斗中扮演了关键的角色，他从后面偷袭复制体，尽管最后被复制体使用万象天引的忍术击倒。
复制体使用的万象天引是什么？
-万象天引是六道佩恩的忍术，复制体使用这个技能将费伦击飞并撞到墙上，导致费伦晕倒。
芙莉蓮的故事告诉我们什么道理？
-芙莉蓮的故事告诉我们合作的重要性。即使是千年的魔法使也可能有致命的破绽，但通过与人类合作，他们可以发挥出原本无法发挥的力量。
如何让不同的语言模型进行合作？
-可以通过再训练一个模型来协调其他模型的工作，这个模型的任务是判断新任务应该交给哪个模型处理，以达到成本效益和效率的最优化。
GPT-4与其他模型合作的意义是什么？
-尽管GPT-4是一个非常强大的模型，但与其他模型合作可以帮助解决成本问题，因为GPT-4的使用成本相对较高，简单的问题可以交给成本更低的模型处理。
什么是Frugal GPT，它与模型合作有什么关系？
-Frugal GPT是一篇论文，它讨论了如何使用一个模型来分配工作，让不同的语言模型合作，以达到比单独使用GPT-4更好的效果，同时降低成本。
如何让模型之间进行有效的讨论？
-可以通过设计合适的Prompt来刺激模型之间的讨论，例如让模型不必完全同意对方的观点，而是可以表达自己的意见，以此来促进更深入的讨论。
为什么需要裁判模型来决定讨论是否结束？
-裁判模型的作用是评估不同模型的讨论是否已经达成共识，如果没有达成共识则继续讨论，如果达成共识则宣布结束，并根据讨论过程做出摘要得到最终答案。
为什么说让模型扮演不同角色可以优化团队？
-通过让模型扮演不同角色，比如项目经理、程序员、测试员等，可以模拟真实世界的工作流程，每个模型可以专注于自己的专业领域，从而提高团队的整体效率和效果。
Dynamic LLM Agent Network论文提出了什么观点？
-Dynamic LLM Agent Network论文提出了一种优化团队的方式，即通过给每个模型打分，根据工作表现来决定哪些模型应该参与未来的工作，以此来优化团队。
开源项目如Meta、GPT、ChatDev如何帮助用户体验带领语言模型团队？
-这些开源项目提供了一个平台，用户可以在这个平台上直接给语言模型团队下指令，这些模型会尝试执行任务，用户可以通过这种方式体验带领一个由语言模型组成的团队。
为什么说语言模型的合作更像是未来的发展方向？
-因为随着技术的发展，语言模型的合作可以模拟更复杂的工作流程和团队协作，这为解决更复杂的问题提供了新的可能性，尽管目前这些模型在处理真实世界复杂任务时可能还有局限。
Stanford发表的关于语言模型小镇的论文是什么内容？
-Stanford发表的论文中，他们创建了一个语言模型小镇，小镇上的所有村民都是语言模型，这些模型之间会进行互动，甚至发展出类似恋爱故事的情节，展示了语言模型之间互动的一种可能性。
Outlines
📚 魔法使芙莉蓮的冒险与合作
本段讲述了芙莉蓮和其他魔法使，包括她的徒弟费伦，在一级魔法使资格考试中攻略名为灵洛的王座的迷宫。迷宫中的水镜恶魔能复制进入者的能力，因此芙莉蓮面对了自己的复制体。尽管芙莉蓮是千年魔法使，但她相信自己和只学过几年魔法的人类徒弟费伦合作能够战胜复制体。在激烈的战斗中，芙莉蓮使用了强大的魔法和召唤神之卡的巨神兵。最终，复制体使用忍术万象天引露出破绽，被芙莉蓮击倒。故事强调了合作的重要性，即使是强大的个体也可能存在破绽，而合作可以发挥出超越个体的力量。
🤖 语言模型的合作与优化
这段内容探讨了如何让不同的语言模型进行合作，以达到更高效的工作分配和成本效益。介绍了一篇名为'Frugal GPT'的论文，讨论了使用一个模型来分配任务给其他模型的方法。此外，还提到了模型自我反省和相互讨论的可能性，展示了一个关于翻译《葬送的芙莉蓮》的示例，其中Claude和GPT-3.5通过讨论得出了一个共同认可的翻译。最后，讨论了如何通过API让模型进行对话，以及如何通过裁判模型来结束讨论并得出结论。
🧐 语言模型讨论的效果与方式
本段进一步讨论了语言模型之间讨论的效果，以及如何进行有效的讨论。引用了去年5月的文献，分析了自我反省与讨论两种方法，指出多个模型讨论更有可能推翻错误答案。还提到了不同模型讨论方式的文献'Exchange of Thought'，说明了讨论方式的多样性。最后，讨论了如何通过裁判模型来判断讨论是否达成共识，并决定讨论的结束。
🛠️ 语言模型在项目开发中的角色扮演
这段内容提出了让语言模型扮演不同角色以完成项目的概念。通过使用不同的Prompt，可以让模型发挥不同角色的潜力，如Quadrant Manager、Programmer或User。讨论了如何通过角色分配来优化团队合作，以及如何通过开源项目如Meta、GPT和ChatDev来体验带领语言模型团队的过程。同时，指出了这些模型在实际复杂项目中的可行性仍然是未知的。
🌐 语言模型的团队合作与社群构建
本段展望了语言模型未来可能的发展方向，包括专业分工和团队合作。提出了通过不同模型的专长来组成团队，以及通过打考绩来优化团队的方法。引用了去年10月的论文'Dynamic LLM Agent Network'，讨论了如何通过评分系统来优化模型团队。此外，还提到了Stanford去年4月发表的论文，其中创建了一个由语言模型组成的小镇，展示了模型之间如何互动和构建社群。
🏘️ 语言模型小鎮的日常生活
最后一段是对前面讨论的总结，提示观众如果之前学习过相关课程，将会更容易理解语言模型之间的互动。虽然没有提供新信息，但强调了之前讨论的技巧和概念在理解语言模型小鎮日常生活中的应用。
Mindmap
Keywords
💡葬送的芙莉蓮
💡魔法使
💡靈洛的王座
💡水鏡的惡魔
💡費倫
💡神之卡
💡萬象天引
💡合作
💡語言模型
💡反省
💡討論
Highlights
故事从葬送的芙莉蓮开始，描述了芙莉蓮和其他魔法使考一級魔法使资格的冒险，以及攻略名为靈洛的王座的迷宫。
迷宫中的水鏡的惡魔能够复制进入者的能力，导致芙莉蓮面对自己的复制体。
芙莉蓮与徒弟費倫合作，共同对抗复制体，展示了合作的重要性。
芙莉蓮使用神之卡召唤歐貝利斯克的巨神兵，展示了她深不可测的魔法能力。
复制体即使手被打斷，也能使用瞪眼壁咚技能，展示了其特殊能力。
复制体使用六道佩恩的忍術萬象天引，最终被芙莉蓮利用破绽击败。
讨论了GPT-4等语言模型的合作方式，以及如何通过再训练模型来分配任务。
提出了模型间合作的可能性，例如GPT-4与其他模型合作以降低成本。
介绍了Frugal GPT技术，以及如何使用一个模型来分配工作给其他模型。
讨论了模型反省的概念，即模型自我检查输出的正确性。
展示了模型间讨论的过程，如Claude和GPT-3.5就翻译问题进行的讨论。
分析了自我反省与模型间讨论的效果，发现讨论能更有效推翻错误答案。
讨论了多个模型合作的效果，以及如何通过裁判模型来决定讨论的结束。
提出了不同模型讨论方式的概念，如集中讨论、层级报告或辩论式讨论。
讨论了如何通过Prompt刺激模型间的讨论，以及如何避免讨论过快结束。
提出了团队中不同角色的概念，如在编程项目中引入不同专长的模型。
介绍了Dynamic LLM Agent Network的概念，即如何优化模型团队。
讨论了开源项目如Meta、GPT、ChatDev，它们允许用户带领模型团队。
展望了语言模型未来可能的发展方向，如组成公司或社群。
提到了Stanford发表的论文，关于语言模型小镇的实验。
Transcripts
00:00今天的故事呢,要從最近這幾話的葬送的芙莉蓮開始講起啦
00:07我不知道你這幾週有沒有看葬送的芙莉蓮啦
00:10所以我還是跟你描述一下這幾週的劇情
00:13這幾週呢,是芙莉蓮跟其他的魔法使
00:17包括他的徒弟費倫,在考一級魔法使的資格
00:22那其中一個關卡呢,就是要攻略一個迷宮叫做靈洛的王座
00:28那這個迷宮呢 裡面有一個惡魔 叫做水鏡的惡魔
00:32阿其實在三國演義裡面也有出現啦 那就是司馬徽
00:35那個水鏡的惡魔他的能力呢 就是可以複製進入迷宮的人的能力
00:42所以芙莉蓮進入了迷宮 所以他就可以複製出一個伏利連的複製體
00:47來防衛他自己
00:49所以大家的任務呢 就是需要去打敗伏利連的複製體
00:54但你知道伏利連是一個千年的魔法使
00:57所以當他使用全力的時候 是沒有人可以打敗芙莉蓮的
01:02這個就是芙莉蓮的複製體 而複製體是沒有顏色的
01:07所以你可以跟本體做出區別
01:10雖然沒有人可以打敗芙莉蓮 就算是他自己也不一定能夠打贏自己的複製體
01:16但是芙莉蓮相信他自己跟費倫一起上
01:19費倫是芙莉蓮的弟子 是一個人類 只有學過幾年的魔法
01:23但他相信他跟費倫一起上 就可以打敗複製體
01:27所以弗利連就跟費倫一起去面對弗利連的複製體
01:33這個時候你就見識到弗利連真正的威力
01:36弗利連跟他的複製體使出了很多毀天滅地的巨大魔法
01:42有放雷的、有放火的
01:45然後還用了一些忍術
01:47有什麼地爆天心、螺旋手裡劍之類的
01:51然後最後芙莉蓮還放了一個大招
01:53用神之卡召喚出一個歐貝利斯克的巨神兵
01:57然後這個芙莉蓮跟他的複製體打得那個難分難解
02:00然後費倫呢 就從後面偷襲了那個複製體
02:03要把複製體的手打斷了
02:05但是這個時候 我們才見識到芙莉蓮深不可測的能力
02:09那個複製體雖然手被打斷了
02:12但是他就使了一招叫瞪眼壁咚 知道嗎
02:14就是他瞪了一下那個費倫 然後費倫就飛出去撞到牆
02:18結果黏在牆上 然後費倫就暈倒了
02:20他暈倒前還想說 這是什麼樣神奇的力量
02:24跟魔法完全不一樣
02:26因為我知道這不是魔法
02:27這個是六道佩恩的忍術
02:29就是那個萬象天引
02:31但是因為這個複製體使出了萬象天引
02:34所以就露出了破綻
02:36就被芙莉蓮一擊擊倒
02:38這個故事告訴我們什麼呢
02:40這個故事告訴我們合作的重要性
02:44這個鋪陳非常的長
02:45這個故事告訴我們合作的重要性
02:48就算是一個千年的魔法史
02:50也有可能有一些致命的破綻
02:53千年的魔法使跟一個人類合作
02:56他們可以發揮本來沒有辦法發揮的力量
03:00就像現在我們知道GPT-4
03:03他也有非常強大的能力
03:05但是GPT-4如果跟其他的語言模型合作
03:09他們其實可以發揮1加1大於2的力量
03:13那怎麼讓模型彼此合作呢?
03:15有很多不同的方式
03:18一個可能性是
03:19假設你現在手邊就有一堆語言模型
03:23他們可能有不同的能力
03:25使用他們可能有不同的成本
03:28舉例來說你知道
03:29GPT-4使用的價碼
03:31就比GPT-3.5還要高很多
03:35那有這一堆模型
03:36你要怎麼讓它彼此合作呢
03:38也許一個可能性是
03:40再訓練一個模型
03:41這個模型它可以是語言模型
03:43也可以不是語言模型
03:45總之這個模型的工作就是
03:47判斷假設有一個新的任務進來
03:49任務進來這個任務應該要交給誰來處理
03:53比如說他決定說新的任務要交給模型A來處理
03:56就把這個任務送給模型A
03:59由模型A得到答案
04:01那人看到的是模型A給的答案
04:04那你可能會想說GPT-4就已經是可能是最厲害的模型啦
04:08那他跟其他模型合作有什麼意義嗎
04:11那GPT-4跟其他模型合作還是很有幫助的
04:15因為GPT-4他有一個巨大的缺點就是他太貴了
04:18有可能在有比較簡單的問題作為輸入的時候
04:22語言模型可以判斷說
04:23這個分配工作的模型可以判斷說
04:25這個問題太簡單了
04:27殺雞焉用牛刀
04:29不需要GPT-4來回答這個問題
04:31簡單的任務可以交給比較便宜的模型來處理就好了
04:36那事實上今天在這些展示平臺上
04:39你沒有辦法確定幫你服務的是不是同一個模型
04:44有一些語言模型的展示平臺
04:47其實就已經用了這種讓模型合作的技術
04:51當你問不同問題的時候
04:53真正出來為你服務的模型
04:55可能是不同的模型
04:57不過作為一個使用者
04:59你很難知道這件事情就是了
05:01那如果你想要知道說
05:03怎麼用一個模型負責主導
05:05有哪些語言模型真正出來做事
05:07你可以看一篇paper叫做
05:09Frugal GPT
05:11那我過去上課的錄影已經有特別
05:13講過這個技術
05:15可以參考過去上課的錄影
05:17看看怎麼用一個模型來分配工作
05:20你可以讓模型彼此合作
05:22達到比GPT-4更好的效果
05:24而且使用更低廉的成本
05:27那這是合作的其中一種方式
05:30那還有很多其他的合作方式
05:33我們之前也有講到說
05:35讓模型反省
05:37讓模型反省的意思是說
05:39有一個任務的輸入
05:41語言模型得到一個輸出
05:43再給自己看一遍 問自己說
05:46這個輸出是不是對的 也許語言模型
05:49經過反省之後可以得到不同的輸出
05:53那在反省的過程中
05:56只有語言模型自己跟自己自問自答
06:00但是其實你也可以讓語言模型彼此討論
06:05假設你有語言模型A跟語言模型B
06:08可以先由語言模型A給一個答案
06:11語言模型B呢根據A的答案再產生新的答案
06:15然後A呢再根據自己之前的答案和B的答案再產生新的答案
06:20他們可以做出類似討論的過程
06:24那我知道說這個投影片可能會讓你覺得有一點抽象
06:27到底語言模型的討論看起來實際上是什麼樣子
06:31那我這邊呢有一個比較具體的demo
06:35C Chat版上有人問葬送的芙莉蓮應該要怎麼被翻譯成英文
06:45那葬送的芙莉蓮正式的英文翻譯是Beyond Journey's End
06:50那不過這個名字沒有把葬送的這幾個字翻過來
06:55那我們來看一下如果是大型語言模型
06:59他們會怎麼翻葬送的芙莉蓮這幾個字
07:04好那我們把這個問題呢丟給Claude
07:08那跟Claude說現在的任務呢是把葬送的芙莉蓮翻譯成英文然後給他這個
07:14故事的概要
07:15那對Claude來說這當然不是個問題他可以輕易的給你一個翻譯
07:20他說我把葬送的芙莉蓮翻譯成The Buried Laurel
07:25那這是個蠻直白的翻譯直接把葬送翻成Buried
07:30那我們這邊的重點呢是要讓模型彼此之間討論
07:34那所以我們讓這個claude呢
07:36跟這個GPT-3.5討論那這邊之所以不跟GPT-4或Gemini討論是因為
07:42GPT-4跟Gemini可以連網可以搜尋網路如果他們搜尋網路的話
07:48就會知道葬送的芙莉蓮正式的英文翻譯是什麼那就沒意思了
07:52所以這邊讓claude3跟這個
07:56GPT-3.5討論
07:57那一樣給GPT-3.5任務跟漫畫的故事概要
08:02但這邊呢提供給他claude3的答案
08:05跟他說我先提供另一個可能的答案給GPT-3.5參考
08:10接下來問他說你有更好的翻譯嗎?
08:13如果有的話請提供
08:15那這邊特別強調說你不需要完全同意我的看法
08:20這個括號內的文字是重要的
08:22如果沒有加括號內的文字的話
08:25GPT-3.5很容易就回說
08:28啊你的翻譯實在太棒了
08:30然後討論就結束了
08:31沒什麼好討論的
08:32只要特別跟GPT-3.5說
08:34你不需要完全同意我的看法
08:38那GPT-3.5給什麼樣的答案呢?
08:41他提供給了我們另外一個翻譯
08:43這個翻譯是
08:44這個Entombed Fleuriem
08:47他說Entombed這個
08:49傳達了被埋藏被困的意象
08:53那接下來我們把3.5的答案呢丟給Claude
08:56跟Claude說我提供另一個可能的答案
08:59那接下來問他你有更好的翻譯嗎
09:02那Cloud就提供另外一個翻譯
09:04這次他提供的翻譯是
09:06Flurien's Atonement
09:08那我們再把Claude的翻譯呢
09:11提供給GPT-3.5跟他說我提供另外一個可能的答案
09:16問他說有沒有更好的翻譯
09:18好那這個GPT-3.5就說
09:20那我有另外一個翻譯,這個翻譯是Florian's Redemption
09:25那我再把這個3.5的翻譯呢,再提供給Claude
09:29然後問Claude說有沒有更好的翻譯呢
09:34Cloudry就說呢,這個Florian's Redemption是個很好的翻譯
09:39比先前提出的In Time Florian
09:42和The Buried Florian
09:44還有Florian's Atonement比起來呢
09:47他覺得這個Florian's Redemption是個極佳的英譯版本
09:52這個討論就結束了
09:54後來CloudTree跟GPT 3.5都得到一個他們共同覺得最好的翻譯
10:00當然這個翻譯其實不一定是最好的啦
10:03那這個Demo只是想要告訴你說
10:06如果今天兩個語言模型讓他們討論事情的話
10:09看起來像是什麼樣子
10:12那事實上葬送的芙莉蓮這個葬送呢
10:15有很多重的意思
10:18那翻譯成
10:19那可能也這個不太容易翻譯啦
10:22那我覺得語言模型的翻譯也沒有非常的
10:25切中要害
10:27那總之這個demo是想要告訴你說
10:29兩個語言模型討論起來
10:31討論事情可能是什麼樣子
10:33那當然實際上你在讓語言模型做討論的時候
10:37你並不需要有一個人
10:38把兩個語言模型間的對話
10:41搬來搬去
10:42實際上你永遠可以寫一個程式
10:45透過呼叫API的方式
10:47讓兩個語言模型對話
10:49在作業三裡面大家已經學到
10:52如何透過API來呼叫語言模型
10:56所以你完全可以寫個程式
10:58讓語言模型彼此間對話
11:01讓語言模型彼此間討論
11:03實際上你是不需要
11:05把語言模型間的對話搬來搬去的
11:08那我這邊只是為了展示的需要
11:10所以把語言模型的對話搬來搬去
11:12實際上透過API
11:14你是可以直接讓兩個語言模型對話的
11:18讓語言模型彼此討論有什麼好處呢
11:22相較於讓語言模型自己反省
11:25讓語言模型彼此討論
11:27也許更可以激發語言模型的能力
11:31那這邊是引用一個去年5月的文獻
11:35在這篇文獻裡面
11:36對於自我反省和討論這兩種方法
11:40做了分析
11:41那在這個圖上的縱軸
11:44代表說每一次語言模型推翻先前答案的可能性有多高
11:51那橫軸呢 代表互動的次數
11:54那如果你今天讓語言模型反省
11:57反省一次 反省兩次 反省三次 一直到反省五次
12:01那你發現語言模型如果是自我反省
12:03他推翻之前自己答案的可能性比較低
12:06那這也是容易想像的
12:07因為之前的答案就是語言模型自己的答案
12:10可能是一個他蠻認同的答案
12:11所以他今天不管再怎麼反省
12:14他推翻過去的想法的次數都是有限的
12:18但如果讓多個語言模型討論
12:20語言模型可以接受到新的刺激
12:23接受到另外一個語言模型的輸入
12:26也許他有更高的機會
12:27可以推翻他之前錯誤的答案
12:32那讓語言模型合作
12:34非常直覺的
12:35如果有越多的模型合作
12:38結果會越好
12:39這是出自另外一篇論文
12:41縱軸是他們讓語言模型來解這個數學問題
12:45縱軸是這個解數學問題的正確率
12:49左邊這個圖的橫軸是有多少的模型參與了討論
12:53他們發現有越多語言模型參與這個解題的過程
12:57最後得到正確答案的機率就越高
13:01那右邊這個圖的橫軸是討論的次數
13:05討論了幾個回合 那跟直覺也蠻接近的
13:09如果討論的回合越多
13:11越有可能得到越好的結果
13:13不過討論非常多回合可能也沒用
13:15他們最後討論呢
13:17是停在四個回合
13:19因為三個回合跟四個回合得到的答案
13:21已經非常接近了
13:23那講到多個模型
13:25一起討論
13:27這邊就有了新的議題
13:29多個模型討論
13:31那要用什麼樣的方式來討論呢
13:33有一篇paper叫做
13:35Exchange of Thought
13:37這篇論文裡面嘗試了不同模型的討論方式
13:40那你不需要深究這些討論方式
13:43只是想要告訴你說
13:44語言模型的討論是有各種不同的變化的
13:47可以是假設有三個模型
13:49每個人都貢獻一個答案
13:51把所有答案全部整合起來
13:53那所有人都看得到所有人的答案
13:56也可以說假設A是老闆
13:58B跟C是他的部屬
14:00那B都只跟A報告
14:02C也都只跟A報告
14:03B跟C之間彼此互相沒有交流
14:07也可以A把結果交給C C交給B B再交給A
14:11這也是另外一種方式
14:12也可以B跟C彼此討論彼此辯論
14:15A呢就像是一個裁判一樣
14:17負責評斷B跟C誰說的比較好
14:20有各種不同的討論方式
14:22那這些討論方式目前你還不需要真的去記
14:26用什麼討論方式比較好
14:27因為這邊論文告訴你說
14:29嗯 沒有找到最好的方式
14:31目前看起來不同的任務最適合的討論方式是不一樣的
14:36所以要怎麼讓語言模型最有效的討論
14:38還是一個研究中的問題
14:42那要讓語言模型彼此討論
14:44但是怎麼決定討論已經結束
14:48怎麼決定不同語言模型已經達成共識
14:51討論結束可以得到最終的結論了呢
14:54這個時候你就需要引入一個裁判模型
14:57讓A語言模型提供他的建議
15:00B語言模型提供他的建議
15:02最後由裁判模型讀A模型講的話
15:04跟B模型講的話 然後發表評論
15:07那如果裁判模型覺得沒有達成共識
15:10就繼續討論
15:12那對裁判模型來說
15:13你其實就是把A跟B講過的話
15:15貼給裁判模型問他說
15:17你覺得這兩個模型有沒有達成共識
15:19沒有的話就說沒有 有的話就說有
15:22那今天依照大型語言模型的能力
15:24他往往都能夠蠻精確的這個判斷
15:28兩句話 兩個段落 兩個語言模型的輸出
15:31是不是一致的
15:32裁判模型覺得未達成共識 繼續討論
15:36然後模型A就再提供建議
15:38模型B贊同了A的想法
15:41那裁判模型覺得A跟B現在他們的看法是一致了
15:45就宣佈達成共識
15:46然後裁判模型也可以負責根據討論的過程
15:50做出摘要得到最後的答案
15:54那講到這邊你可能會懷疑說
15:56那會不會這個討論一直都停不下來啊
16:00所有的語言模型莫衷一是
16:03沒有辦法達成共識
16:04沒有辦法停下來
16:06那怎麼辦呢
16:07現階段你不需要擔心這個問題
16:10你需要擔心的是這個討論太快結束
16:13沒有辦法討論起來
16:15因為這些語言模型他們現在的訓練
16:17就是溫良恭儉讓
16:19所以當有人質疑他的想法的時候
16:21他其實是非常容易退縮的
16:23所以今天你要讓語言模型討論的時候
16:25你一定要下一個合適的Prompt
16:27這個Prompt是刺激語言模型
16:30逼迫他反對對方的想法
16:32所以在這篇論文裡面
16:34就嘗試了不同程度的反對的Prompt
16:38那他們發現說
16:39如果下非常強的反對的Prompt
16:42叫語言模型為反對而反對
16:45對方不管說什麼我都反對
16:47那這樣也不一定會得到最好的結果
16:49最好的結果是跟他講說
16:52不需要一定同意對方的想法
16:55你可以表示自己的意見
16:57那如果這樣下方法可以讓討論最順利的進行
17:01那另外一篇論文也有非常類似的發現
17:04他們發現說如果你今天呢
17:06叫語言模型根據另外一個人
17:10另外一個模型的建議來回答
17:13那這個討論就會非常快結束
17:15如果你今天希望討論可以持續的久一點
17:19那你要跟語言模型說
17:21另外一個模型的看法就當作參考就好
17:25你在不同的模型間討論的會比較熱烈
17:28會有比較長的討論
17:30那這邊論文也發現說
17:31比較長的討論可以得到比較好的結果
17:36那我們知道說啊
17:38那一個團隊裡面
17:39如果有不同的角色
17:41也許運作的會更好
17:43那這是一個勇者小隊常見的組成啦
17:46需要有一個負責遠程輸出的魔法使
17:49一個負責奶的僧侶
17:52一個負責近距離攻擊的劍士
17:54跟一個負責坦的矮人
17:56這是一個常見的勇者小隊的組成模式
18:00大家有沒有看到最新的這個連載這樣子
18:03我講一下最新的連載的劇情
18:05以下真的有一個爆雷
18:06你不想聽的就真的把耳朵摀起來
18:09好 你的耳朵摀起來
18:11好 耳朵摀好
18:12最近的連載演到哪裡呢
18:14最近的連載
18:15這漫畫的連載啊
18:16所以你如果看動畫的
18:17你還沒看到這一段
18:18這個漫畫的連載演到
18:20有人要去暗殺芙莉蓮的施主
18:23就是賽莉耶
18:26而這其他人就想說
18:28怎麼可能可以成功暗殺賽莉耶
18:31賽莉耶是上古時代的大神
18:33有毀天滅地的大能
18:35怎麼可能暗殺得了賽莉耶
18:38芙莉蓮就說不
18:40還是有可能暗殺得了賽莉耶的
18:43因為這個七步之外魔法快
18:45但七步之內斧頭快
18:47如果是一個人類的殺手
18:48在接近賽莉耶的情況下
18:50還是殺得了他的
18:51他就舉一個例子 他就指著在角落的那個修塔爾克說
18:55只要在七步之內 修塔爾克取費倫的首級如探狼取物
19:00然後費倫就非常的害怕 躲在弗利連的背後
19:03修塔爾克就非常的受傷 故事就演到這邊
19:06那那個刺殺有沒有成功 我也不知道
19:08這個連戰還沒有演到這邊 這連戰最新的劇情
19:12所以我們知道說呢 這個團隊裡面需要有不同的角色
19:17彼此合作才能夠發揮巨大的力量
19:20所以今天在討論的時候
19:22其實也可以引入不同能力的模型
19:26扮演不同的角色
19:28假設你今天的任務是
19:30要讓大型語言模型寫程式
19:33完成一項專案
19:34那完成一項專案裡面
19:36也許你需要一個Quadrant Manager
19:38主導專案進行的
19:40然後你需要一個負責寫程式的
19:43你需要一個負責測試的
19:45那你可以引入不同的語言模型
19:47來扮演不同的角色
19:49那怎麼讓語言模型扮演不同的角色呢?
19:52首先語言模型本身可能就有不同的專長
19:56比如說有一個模型叫做Code Llama
19:59他做一般的任務可能沒有其他大型語言模型厲害
20:03但他的專長就是他是個肥宅工程師
20:06他就是會Coding 他特別擅長Coding
20:09可以扮演這個工程師的角色
20:12或者是另外一個可能是直接用Prompt
20:14直接告訴語言模型說
20:16你是個Project Manager,你是個Programmer,你是個User
20:21也許這些語言模型讀了這些Prompt以後
20:24就可以發揮不同的潛力變成不同的角色
20:28所以如果有多個語言模型可以彼此合作
20:31你就可以把專案交給Project Manager
20:34Project Manager做好規劃以後
20:36交給AI的Programmer
20:38AI的Programmer把程式寫好以後
20:40交給測試的人測試
20:42再把測試結果交給Project Manager
20:45讓project manager決定要怎麼做下一步的規劃
20:49那如果真的可以讓語言模型彼此合作的話
20:52那這個不是不可能的
20:53你可以看一下我這邊引用的論文
20:56那如果可以讓語言模型彼此合作
20:59那每一個人就都可以當一個公司的CEO
21:03每個人都可以帶領一支由語言模型所組成的團隊
21:07你就可以把一個人活成一個團隊
21:12那不只你可以組建團隊
21:14你還可以優化你的團隊
21:16這是出自另外一篇去年10月的論文
21:19這篇論文叫 Dynamic LLM Agent Network
21:22裡面就提供了一個優化團隊的方式
21:25這個優化團隊的方式說穿了也沒什麼
21:28就是打考績
21:29你就跟每個語言模型說
21:31根據剛才的工作內容
21:34你覺得其他人做的怎樣
21:36那每個語言模型
21:37就可以給其他模型一個分數
21:39你再把分數加起來
21:41分數低的 以後就不讓他參與工作
21:44所以你可以看看這篇論文看看
21:46怎麼幫語言模型打考績優化你的團隊
21:50當然這些論文都是學術論文啦
21:52所以他們測試都是測試在一些
21:54相對比較簡單的任務
21:57那至於這個語言模型的團隊
22:00在真正複雜的任務
22:01比如說真的開發一個程式的專案
22:04真的開發一個軟體的專案
22:05能不能成功
22:07那個還是未知數 還是未知的事情
22:11今天如果你想要體驗帶領一個語言模型的團隊的話
22:16確實有一些開源的專案
22:19是可以讓你帶領語言模型團隊的
22:22比如說Meta、GPT、比如說ChatDev
22:26那裡面就是有各式各樣語言模型的員工
22:29你看這邊有這個Product Manager、有Architect、有Project Manager、有Engineer
22:35等等等等 就是有一批語言模型的員工
22:38你可以把指令直接下給他們
22:40他們真的就會試著做某一些事情
22:43那至於做得好不好 就是另外一回事了
22:46我看過有一個Youtuber呢
22:48就嘗試拿ChatDev來寫網站
22:51而且他寫了以後呢
22:53還真的去網路上跟人家接案
22:55那你知道這個ChatDev啊
22:56他是CALL背後都是CALL那個
22:58ChatGPT、CALLGPT3.5或GPT4
23:01所以是要花錢的 不過成本非常的低
23:04他寫一個網頁呢 只要一美金
23:06他跟別人說兩美金
23:08然後呢 他就說如果我今天真的成功接到案子的話
23:12我就再錄一個影片跟大家分享
23:15但我始終沒有等到下一支影片
23:17看來是沒有接到案子
23:20好 所以這些語言模型當然這個合作呢
23:22比較像是未來語言模型可以做的事情
23:26按照這些語言模型的能力
23:28今天也許讓他們組成一個公司
23:30要真的解真實世界的任務
23:33真的解非常複雜的專案
23:34可能還是力有未逮
23:36但這其實給我們的未來
23:38提供了一個想像
23:39也許在未來
23:40當我們打造語言模型的時候
23:43我們不需要打造一個
23:45真正全能的模型
23:47語言模型可以做專業分工
23:50每個團隊打造出來的語言模型
23:52可以組合成一個語言模型的團隊
23:55每一個語言模型
23:56只要專注在自己專業的領域上就好
24:00也許這是語言模型未來一個可能的發展
24:04那語言模型可以組成公司
24:06也許更進一步他們就可以組成社群
24:10語言模型可以組成社群嗎?
24:12你可以看這個去年4月Stanford發表的論文
24:16他們做了一個語言模型的小鎮
24:18裡面所有的村民都是語言模型
24:22那這個我在之前的錄影已經講過了
24:25所以我就把錄影連結放在這邊給大家參考
24:28那這是一個非常有趣的實驗
24:30你一定要看這個錄影
24:31你可以看到說語言模型跟語言模型之間
24:34還會發展出淡淡的戀愛故事這樣子
24:38真的真的對你一定要看這個影片
24:40那看這個影片呢
24:41如果你沒有聽之前這個課程裡面講的
24:44各種神秘的Prompt技巧的話
24:46你聽這個影片可能會覺得有一些困難
24:49但是如果因為我們已經講過
24:52各式各樣強化語言模型能力的技巧了
24:55所以當你看這個影片的時候
24:57你就可以想一下
24:58他其實用的每一個技巧
25:00都是我們到目前為止的課堂上
25:03已經講過的事情
25:05你看這個影片的時候
25:06看這些AI怎麼互動
25:08怎麼在日常怎麼組成一個村落的時候
25:11你不會覺得太離奇
25:13他裡面講的每一件事情
25:15其實都是我們在課堂上
25:17已經講過的事情
Browse More Related Video
使用ChatGPT API构建系统1——大语言模型、API格式和Token
How Did Dario & Ilya Know LLMs Could Lead to AGI?
Networking for GenAI Training and Inference Clusters | Jongsoo Park & Petr Lapukhov
【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具
"VoT" Gives LLMs Spacial Reasoning AND Open-Source "Large Action Model"
Trying to make LLMs less stubborn in RAG (DSPy optimizer tested with knowledge graphs)
5.0 / 5 (0 votes)
