【人工智能】万字通俗讲解大语言模型内部运行原理 | LLM | 词向量 | Transformer | 注意力机制 | 前馈网络 | 反向传播 | 心智理论
Summary
TLDR本文介绍了大语言模型的工作原理，通过词向量和Transformer结构，模型能够理解和预测语言。文章解释了模型如何通过数十亿词汇的训练，学习单词间的关系，并使用注意力机制和前馈网络来处理歧义和多义词。同时，模型的训练过程依赖大量数据和计算资源，通过预测下一个词的方法，不断调整权重参数以提高准确性。尽管模型表现出高级推理能力，但其内部机制仍不完全被理解。
Takeaways
- 📚 大语言模型的火爆起源于其在预测下一个词的能力，但大众对其内部工作原理了解不多。
- 👨💻 蒂姆·李和肖恩·特洛特的文章旨在用最少的数学知识解释大语言模型，适合初学者理解。
- 🧠 大语言模型基于神经网络，使用数十亿个语言词汇进行训练，而非传统软件的明确指令。
- 📈 词向量（Word Vector）是大语言模型的基础，用数字列表表示单词，捕捉词与词之间的关系。
- 🌐 词向量通过高维度空间表示单词，相似含义的词在向量空间中位置更接近。
- 🔄 Google的word2vec项目通过向量运算展示了词之间复杂的关系，如类比和上下文理解。
- 🧬 大语言模型能够根据上下文用不同的向量表示同一个词，处理同音异义词和多义词。
- 🔄 Transformer结构是构建大语言模型的基石，通过注意力机制和前馈网络处理和预测词序列。
- 🛠️ 训练大语言模型通过预测文本中的下一个词进行，不需要显式标记数据，使用大量文本材料。
- 📈 模型性能随规模增长而提升，GPT-3和GPT-4在心智理论和复杂推理任务上表现接近人类。
- 🤖 尽管大语言模型在多个任务上表现出色，但其内部工作原理的完全理解仍是一个长期且复杂的研究过程。
Q & A
大语言模型的工作原理是什么？
-大语言模型通过预测文本中的下一个词来学习，它们使用词向量表示单词，并通过神经网络层（如Transformer）处理这些向量，以理解和推理语言。这些模型通常包含数十亿个参数，能够处理和生成自然语言文本。
词向量是如何帮助大语言模型理解和处理语言的？
-词向量是将单词表示为一长串数字列表的方法，这些数字列表在高维空间中表示单词之间的关系。具有相似含义的词在向量空间中的位置会更接近，这使得大语言模型能够通过数学运算捕捉到词与词之间的微妙关系，从而理解和处理语言。
Transformer结构在大语言模型中扮演什么角色？
-Transformer是构建大语言模型如ChatGPT的基石。它通过注意力机制和前馈网络处理输入文本中的每个单词的向量，添加上下文信息，并尝试预测下一个词。Transformer使得模型能够利用现代GPU的并行处理能力，并处理长文本。
大语言模型是如何训练的？
-大语言模型通过大量的文本数据进行训练，不需要显式标记数据。它们通过尝试预测文本中的下一个单词来调整模型的权重参数。训练过程涉及前向传播和反向传播，通过反复迭代来提高模型的预测准确性。
为什么大语言模型需要大量的数据来进行训练？
-大量数据使得大语言模型能够学习到丰富的语言规律和词汇用法。这些模型通过数十亿甚至数千亿个单词的学习，逐渐调整权重参数，以更好地预测下一个词。数据量越大，模型学习到的语言知识越丰富，性能也越好。
大语言模型在处理歧义时有哪些挑战？
-自然语言中的歧义，如同音异义词和多义词，给大语言模型带来了挑战。模型需要理解单词在特定上下文中的准确含义，这不仅涉及词与词之间的关系，还需要对现实世界的情况进行理解。大语言模型通过多层神经网络和注意力机制来解决这些挑战。
大语言模型如何表示同一个词的不同含义？
-大语言模型能够根据上下文用不同的向量表示同一个词。例如，对于词'bank'，模型会有分别表示金融机构和河岸的向量。这种表示方法使得模型能够捕捉到单词的多重含义。
大语言模型的规模如何影响其性能？
-大语言模型的规模，即模型中的参数数量，直接影响其性能。模型规模越大，能够处理的语言任务越复杂，表现也越好。随着模型规模的增加，它们在需要高级推理的任务上的表现尤其出色。
大语言模型是否真正理解语言？
-这是一个有争议的问题。一些专家认为，大语言模型通过预测下一个词的方式，可能已经开始真正理解语言的含义。而另一些人则认为，这些模型只是重复复杂的单词序列，并没有真正理解它们。目前，这个问题还没有定论。
大语言模型在心智理论任务上的表现如何？
-最新的大语言模型，如GPT-3和GPT-4，在心智理论任务上的表现接近于人类。它们能够正确回答涉及推理他人思维状态的问题，这表明模型可能已经自发地发展出高级推理能力。然而，这一领域的研究仍在进行中，专家们对这些结果的解释存在分歧。
大语言模型在未来发展中可能面临哪些挑战？
-大语言模型在未来发展中可能面临的挑战包括如何更全面地理解模型的内部工作原理，如何减少偏见和歧视，以及如何提高模型的解释性和透明度。此外，还需要解决模型的能源消耗和训练成本问题。
Outlines
🤖 介绍大语言模型的工作原理
本段介绍了大语言模型的基本概念和工作原理。提到了蒂姆·李和肖恩·特洛特的文章，该文章用简单的语言解释了大语言模型的内部机制。文章作者的背景也进行了简单介绍，蒂姆·李是《Understanding AI》的作者，肖恩·特洛特是加州大学圣迭戈分校的助理教授。文章内容主要讲述了大语言模型如何通过预测下一个词来训练，以及它们如何使用大量的文本数据。还提到了ChatGPT的发布和它在科技行业及全球范围内的影响。
📈 词向量和Transformer的介绍
这一段深入探讨了大语言模型的两个关键概念：词向量和Transformer。词向量是将单词表示为数字列表的方法，使得具有相似含义的词在向量空间中位置接近。Transformer是构建像ChatGPT这样的模型的基础，它通过注意力机制和前馈网络来更新每个单词的隐藏状态，从而更好地预测下一个词。此外，还讨论了大语言模型如何通过训练来理解和处理单词的多重含义。
🧠 神经网络层和注意力机制
本段详细描述了神经网络层如何通过注意力机制来处理和理解语言。每个Transformer层都会修改输入单词的向量，添加上下文信息，以帮助模型更好地理解单词的含义。注意力机制允许模型在单词之间共享信息，而前馈网络则独立地处理每个单词，但可以访问之前由注意力头复制的信息。这使得大语言模型能够有效地利用GPU的并行处理能力，并处理长文本。
🔍 模型的预测过程和训练方法
这一段解释了大语言模型如何预测下一个单词，以及它们的训练过程。模型通过尝试预测文本中的下一个单词来学习，不需要显式的标记数据。训练过程包括前向传播和反向传播，通过调整权重参数来改善模型的预测能力。通过大量的数据和计算能力，模型能够学习语言的规律性，并预测单词之间的关系。
📚 模型的规模和学习能力
本段讨论了大语言模型的规模与其学习能力之间的关系。随着模型规模的增加，它们在语言任务上的表现也越来越好。GPT-3和GPT-4等大型模型在训练数据量和计算量上的增加，使得它们在高级推理任务上的表现更加出色。此外，还提到了大语言模型在心智理论任务上的表现，以及它们如何通过训练数据学习世界的规律性。
🌟 大语言模型的未来展望
最后一段总结了大语言模型的整体工作原理，并对其未来发展进行了展望。虽然大语言模型在预测和理解语言方面取得了显著进展，但它们的内部工作机制仍然不完全清楚。研究人员正在努力理解这些模型的内部表示和推理过程，同时，大语言模型在执行复杂任务时表现出的高级推理能力，预示着通用人工智能的初步迹象。
Mindmap
Keywords
💡大语言模型
💡词向量
💡Transformer
💡自注意力机制
💡训练数据
💡心智理论
💡前馈层
💡反向传播
💡规模
💡随机鹦鹉
Highlights
大语言模型的工作原理通过最少的数学知识和术语被解释，使得初学者也能友好理解。
ChatGPT的推出在全球范围内引起了轰动，但大众对其工作原理了解不多。
大语言模型建立在数十亿个语言词汇训练的神经网络之上，而非传统软件的明确指令。
大语言模型通过词向量表示单词，类似于地理坐标的向量表示。
词向量能够通过向量运算进行类比推理，如word2vec项目所示。
大语言模型能够根据上下文用不同的向量表示同一个词，处理同音异义词和多义词。
Transformer结构是构建大语言模型的基石，通过注意力机制和前馈网络进行单词预测。
大语言模型的训练不需要显式标记数据，而是通过预测文本段落中的下一个单词来学习。
大语言模型通过数十亿次的权重调整，逐渐提高预测下一个单词的准确性。
GPT-3模型在心智理论任务上的表现接近于人类，显示出自发且自主的能力。
大语言模型的训练过程涉及数百亿次数学运算，需要高端GPU芯片运行数月。
大语言模型的规模与性能呈幂率关系，模型越大，性能越好。
大语言模型通过学习大量文本数据，隐含地学习了与现实世界的联系。
大语言模型的预测能力可能基于语言的规律性和与物质世界的关联。
大语言模型通过预测下一个词的方法，避免了寻找最佳单词表示的理论难题。
大语言模型的内部运作方式对人类来说仍是一个深奥的谜题。
大语言模型能够执行复杂任务，如撰写文章、进行类比甚至编写计算机代码。
Transcripts
00:00大家好这里是最佳拍档我是大飞
00:02这半年时间啊
00:03大语言模型无疑是最火爆的
00:06但是我们呢一直没有好好的去讲一下
00:08大语言模型内部究竟是如何工作的
00:12不过最近啊
00:13蒂姆·李(Tim Lee)和肖恩·特洛特(Sean Trott)
00:14联合编写了一篇文章
00:16用最少的数学知识和术语
00:18对大语言模型进行了解释
00:21先简单对文章作者做一下介绍啊
00:23蒂姆·李曾经任职于科技媒体Ars Technica
00:27他最近呢也推出了一份newsletter
00:29《Understanding AI》
00:30主要是探讨人工智能的工作原理
00:33而肖恩特洛特呢
00:34是加里福尼亚大学圣迭戈分校的助理教授
00:38主要研究人类语言理解和语言模型
00:41好了以下是我翻译的文章内容
00:44咱们看看当你看完视频之后
00:46究竟能否理解大语言模型的内部机制
00:49全文呢几乎没有太复杂的数学概念、公式和运算
00:53所以我觉得呢
00:54对于很多初学者来说也是非常友好的
00:57当ChatGPT在去年秋天推出的时候
01:00在科技行业乃至全世界的范围内引起了轰动
01:04当时呢机器学习的研究人员
01:06已经研发了多年的大语言模型
01:09但是普通大众并没有十分的关注
01:12也没有意识到他们会变得有多强大
01:14如今呢几乎每个人都听说过大语言模型了
01:18并且呢有数千万人用过他们
01:20但是了解他们工作原理的人并不多
01:24你可能听说过
01:25训练大语言模型是用来预测下一个词
01:28而且呢他们需要大量的文本来实现这一点
01:32但是一般的解释呢通常也就是止步于此
01:35他们究竟如何预测下一个词的细节
01:38往往被大家视为一个深奥的谜题
01:41其中一个原因是
01:42大语言模型的开发方式非常与众不同
01:46一般的软件呢都是由人类工程师所编写的
01:49他们为计算机提供明确的逐步的指令
01:53而相比之下
01:54ChatGPT是建立在一个
01:55使用了数十亿个语言词汇
01:58进行训练的神经网络之上
02:00因此呢到现在为止
02:02地球上也没有人完全理解
02:04大语言模型的内部工作原理
02:07研究人员正在努力尝试理解这些模型
02:10但是这是一个需要数年
02:11甚至几十年才能够完成的缓慢过程
02:15不过呢专家们确实对这些系统的工作原理
02:18已经有了不少的了解
02:20我们的目的呢是将这些知识开放给广大的受众
02:23我们将在不涉及技术术语或者高级数学的前提下
02:27努力解释已知的大语言模型内部的工作原理
02:31我们将从解释词向量Word Vector开始
02:34这是语言模型表示和推理语言的一种令人惊讶的方式
02:39然后我们将深入探讨Transformer
02:41它是构建ChatGPT等模型的基石
02:44最后呢我们将解释这些模型是如何训练的
02:48并且探讨为什么要使用庞大的数据量
02:51才能够获得良好的性能
02:53要了解语言模型的工作原理
02:55首先需要了解他们如何来表示单词
02:59人类呢是用字母序列来表示英文单
03:02词的比如说C-A-T cat表示猫
03:05而语言模型呢使用的是一个叫做词向量的
03:09一长串数字的列表
03:11比如说这是一种将猫表示为向量的方式
03:14完整的向量长度呢实际上有300个数字
03:18那为什么要用这么复杂的表示方法呢
03:21这里边啊有个类比
03:23比如说华盛顿区位于北纬38.9度西经77度
03:28我们可以用向量表示法表示为
03:30华盛顿区的坐标是38.9和77
03:34纽约的坐标呢是40.7和74
03:37伦敦的坐标呢是51.5和0.1
03:40巴黎的坐标呢是48.9和-2.4
03:43这对于推理空间关系很有用
03:46你可以看出纽约离华盛顿区很近
03:49因为坐标中的38.9接近于40.7
03:53而77呢接近于74
03:56同样呢巴黎离伦敦也很近
03:58但是巴黎离华盛顿区很远
04:01大语言模型呢正是采用了类似的方法
04:04每个词向量代表了词空间word space中的一个点
04:08具有相似含义的词的位置互相会更为接近
04:12比如说在向量空间中
04:14与猫cat最接近的词就包括dog、kitten和pet
04:19用实数向量来表示像cat这样的单词
04:22它的一个主要优点就是
04:24数字能够进行字母无法进行的运算
04:27单词太过于复杂了
04:29无法只使用二维来表示
04:31因此大语言模型使用了具有数百甚至数千维度的向量空间
04:36人们无法想象具有如此高维度的空间
04:39但是计算机完全可以对它进行推理
04:42并产生有用的结果
04:45几十年来研究人员一直在研究词向量
04:48但是这个概念呢真正引起关注的是在2013年
04:51那时候Google公布了word2vec项目
04:54Google分析了从Google新闻中收集的数百万篇文档
04:58为了找出哪些单词倾向于出现在相似的句子中
05:03随着时间的推移
05:04一个经过训练的神经网络
05:06学会了将相似类别的单词
05:08比如说dog和cat
05:10放置在向量空间中的相邻位置
05:13Google的词向量还具有另一个有趣的特点
05:16你可以使用向量运算来推理单词
05:19比如说
05:20Google研究人员取出biggest的向量
05:23减去big的向量再加上small的向量
05:26与结果向量最接近的词就是smallest
05:29也就是说
05:30你可以使用向量运算来进行类比
05:33在这个例子中
05:34big与biggest的关系类似于small与smallest的关系
05:38Google的词像量还捕捉到了许多其他的关系
05:42比方说瑞士人与瑞士这类似于柬埔寨人与柬埔寨
05:47巴黎于法国类似于柏林与德国
05:50不道德的与道德的类似于可能的与不可能的
05:54mouse与mice类似于dollar与dollars
05:57男人与女人类似于国王与女王
06:01等等等等
06:02因为这些向量是从人们使用语言的方式中构建的
06:06所以他们反映了许多存在于人类语言中的偏见
06:10比如说在某些词项链的模型中
06:12医生减去男人再加上女人等于护士
06:16减少这种偏见呢是一个很新颖的研究领域
06:19尽管如此
06:20词向量是大语言模型的一个基础
06:23他们编码了词与词之间微妙但是重要的关系信息
06:28如果一个大语言模型学到了关于cat的一些知识
06:32比方说他有时候会去看兽医
06:34那同样的事情呢很可能也适用于kitten或者dog
06:39如果模型学到了关于巴黎和法国之间的关系
06:43比方说他们使用了同一种语言
06:45那么柏林和德国以及罗马和意大利的关系
06:49很可能也是一样的
06:51但是像这样简单的词向量方案
06:53并没有捕获到自然语言的一个重要事实
06:57那就是一个单词通常有多重的含义
07:00比如说
07:00单词bank可以指金融机构或者是河岸
07:04或者以这两个句子为例
07:06在这两个句子中magazine的含义相关但是又有不同
07:10约翰拿起的是一本杂志
07:12而苏珊为一家出版杂志的机构工作
07:15当一个词有两个无关的含义时
07:17语言学家称之为同音异义词（homonyms）
07:21当一个词有两个紧密相关的意义时
07:24比如说这个magazine
07:25语言学家呢称之为多义词（polysemy）
07:29像ChatGPT这样的大语言模型
07:31能够根据单词出现的上下文
07:33用不同的向量来表示同一个词
07:36有一个针对于机构的bank的向量
07:39还有一个针对于河岸的bank的向量
07:42有一个针对于杂志的magazine的向量
07:44还有一个针对于杂志社的magazine的向量
07:47对于多义词的含义啊 正如你预想的那样
07:49大语言模型使用的向量会更相似
07:52而对于同音异义词的含义
07:54使用的向量呢则不太相似
07:56到目前为止
07:57我们还没有解释语言模型是如何做到这一点的
08:00我们很快呢会进入这个话题
08:02不过详细说明这些向量表示
08:05这对于理解大语言模型的工作原理非常重要
08:09在传统软件的设计中数据处理呢是明确的
08:13比如说你让计算机计算2+3
08:15关于2、加号或者3的含义呢都不存在歧义问题
08:20但是自然语言中的歧义
08:22远不止于同音异义词和多义词
08:25比方说顾客请修理工修理他的车
08:28这句话中his是指顾客还是指修理工
08:32教授催促学生完成她的家庭作业中
08:35her是指教授还是学生
08:38第三句中的flies
08:40到底是一个动词在空中飞
08:42还是一个名词果蝇呢
08:44在现实中人们会根据上下文来解决这类歧义
08:47但是并没有一个简单或者明确的规则
08:50相反呢这就需要理解关于这个世界的实际情况
08:54你需要知道
08:55修理工经常会修理顾客的汽车
08:58学生呢通常会完成自己的家庭作业
09:01而水果呢通常不会飞
09:03因此呢词向量为大语言模型提供了一种灵活的方式
09:07用来在特定段落的上下文中
09:10表示每个词的准确含义
09:12现在让我们来看看
09:13他们是究竟如何做到这一点的
09:15ChatGPT最初版本背后的GPT-3
09:18模型是由数十个神经网络层组成的
09:21因为输入文本中的每个词会对应着一个向量
09:25所以这些神经网络中的每一层
09:27都会接受一系列的向量作为输入
09:30并添加一些信息来帮助澄清这个词的含义
09:33从而更好的预测接下来可能出现的词
09:37让我们从一个简单的示例说起
09:40大语言模型的每个层呢都是一个Transformer
09:432017年Google在一篇里程碑式的论文中
09:46首次介绍了这种神经网络结构
09:48在这张图的底部
09:49模型的输入文本是John wants his back to catch the
09:54翻译过来就是约翰想让他的银行兑现
09:57这些单词呢被表示为word2vec的风格的向量
10:00并传提给第一个Transformer
10:02这个Transformer确定了wants和cash都是动词
10:06我们用小括号内的红色文本表示这个附加的上下文
10:10但实际上模型会通过修改词向量的方式来存储这个信息
10:15这种方式对于人类来说很难解释
10:18这些新的向量被称为隐藏状态hidden state
10:22并传递给下一个Transformer
10:24第二个transformer添加了另外两个上下文信息
10:27他澄清了bank是金融机构financial institution
10:31而不是河岸
10:33并且his是指代John的代词
10:36第二个Transformer产生了另一组隐藏状态向量
10:39这组向量反映的是这个模型之前所学习的所有信息
10:44这张图表描绘的是一个纯粹假想的大语言模型
10:47所以大家呢不要对细节过于较真
10:50真实的大圆模型往往有更多的层
10:53比如说最强大的GPT-3版本有96层
10:57有研究表明
10:58前几层的神经网络会专注于理解句子的语法
11:02并且解决上面所表示的歧义
11:05而后面的层则致力于对整个文本段落的高层次的理解
11:10比如说当大语言模型阅读一篇短篇小说的时候
11:14他似乎会记住关于故事角色的各种信息
11:17包括性别和年龄、与其他角色的关系
11:21过去和当前的位置个性和目标等等
11:25研究人员呢并不完全了解
11:26大语言模型是如何跟踪这些信息的
11:29但是从逻辑上来讲
11:31模型在各层之间传递信息时候
11:33必须通过修改隐藏状态的向量来实现
11:37现代大语言模型中的向量维度极为庞大
11:39这有利于表达更为丰富的语义信息
11:43比如说GPT-3最强大的版本使用了有12,288个维度的词向量
11:49也就是说每个词是由一个包含了12,288个的数字序列表示
11:56这比Google在2013年提出的word2vec的方案要大20倍
12:01你可以把所有这些额外的维度看作是GPT-3
12:04可以用来记录每个词的上下文的一种暂存空间Scratch space
12:09较早的层所做的信息笔记可以被后来的层读取和修改
12:13从而使得模型逐渐加深对整篇文章的理解
12:17因此假设我们将之前的图表改为描述一个96层的语言模型
12:22来解读一个1,000字的故事
12:25那么第60层可能会包含一个用于John的向量
12:28带有一个表示为主角、男性、娶了谢利尔唐、纳德的表弟
12:33来自于明尼斯达州、目前在博伊希、试图找到他丢失的钱包
12:39这样一整套的括号注释
12:42同样呢所有这些以及更多的事实
12:44都会以一个包含12,288个数字列表的形式进行编码
12:49这些数字都对应着这个词John
12:52或者说这个故事中的其他词
12:54比方说谢利尔、唐纳德、伯伊希、钱包
12:58或者是其他的词
12:59他们的某些信息也会被编码在12,288维的向量中
13:05这样做的目标是让网络的第96层和最后一层
13:09输出一个包含所有必要信息的隐藏状态
13:12从而来预测下一个单词
13:15现在我们来谈谈每个Transformer内部发生的情况
13:19Transformer在更新输入段落的每个单词的隐藏状态时候
13:23有两个处理过程
13:24第一个呢是在注意力的步骤中
13:27词汇会观察周围
13:28查找具有相关背景并彼此共享信息的其他的词
13:33第二呢在前馈步骤中
13:35每个词会思考之前注意力步骤中收集到的信息
13:38并尝试预测下一个词
13:41当然了执行这些步骤的是整个网络
13:44而不是个别的单词
13:45但是我们用这种方式来表述是为了强调
13:48Transformer是以单词作为这一个分析的基本单元
13:52而不是整个句子或者是段落
13:55这种方法使得大语言模型能够充分的利用
13:58现代GPU芯片的大规模并行处理能力
14:01它还可以帮助大语言模型
14:03扩展到包含成千上万个词的长段落
14:06而这两个方面都是早期大语言模型所面临的挑战
14:10你可以将注意力机制
14:11看作是单词之间的一个撮合服务
14:14每个单词呢都会制作一个检查表称为查询向量
14:18来描述他寻找的词的特征
14:21每个词呢还会制作一个检查表称为关键向量
14:24描述他自己的特征
14:26神经网络通过将每个关键向量与每个查询向量进行比较
14:31通过计算他们的点积来找到最佳匹配的单词
14:34一旦找到匹配项
14:36他就会从产生关键向量的单词
14:39把相关信息传递给产生查询向量的单词
14:43比如说在前面的部分中
14:45我们展示了一个假想的Transformer模型
14:48他发现在“John wants his bank to cash the”这个句子中
14:52his指的就是John
14:54在系统内部
14:55过程可能是这个样子
14:57his的查询向量可能会有效的表示为
15:00我正在寻找一名描述男性的名词
15:03而John的关键向量可能会有效的表述为
15:06我是一个描述男性的名词
15:09然后网络就会检测到这两个向量是匹配的
15:12并将关于John的向量信息转移给his的向量
15:16每个注意力层都有几个注意力头
15:19这意味着这个信息交换的过程在每一层上会并行的进行多次
15:24每个注意力头呢都会专注于不同的任务
15:28比方说其中一个注意力头
15:30可能会将代词与名词进行匹配
15:33另外一个注意力头
15:34可能会处理解析类似于bank这样的一词多义的含义
15:37第三个注意力头
15:38可能会将Joe Biden这样的两个单词连接在一起
15:43诸如这类的注意力头经常会按照顺序来操作
15:46一个注意力层中的注意力操作结果
15:49会成为下一层中的另一个注意力头的输入
15:52事实上呢
15:53我们刚才列举的每个任务可能都需要多个注意力头
15:56而不仅仅是一个
15:58GPT-3的最大版本呢有96个层
16:01每个层有96个注意力头
16:04因此每次预测一个新词的时候
16:07GPT-3将执行9,216个注意力的操作
16:11以上内容
16:12我们展示了注意力头工作的方式的一个理想化的版本
16:16现在让我们来看一下关于真实语言模型内部运作的研究
16:21去年研究人员在Redwood research研究了GPT-2
16:25即ChatGPT的前身
16:27对于“When Mary and John went to the store, John gave a drink to”
16:32这个段落翻译过来就是当玛丽和约翰去商店
16:36约翰把一杯饮料给了
16:39预测这句话下一个单词的过程
16:41GPT-2预测的下一个单词呢是Mary玛丽
16:45研究人员就发现
16:46有三种类型的注意力头对这个预测做出了贡献
16:49第一种
16:50三个被他们称为名称移动头的注意力头
16:53（Name Mover Head）
16:55将信息呢从Marry向量复制到了最后的输入向量
16:59也就是to这个词所对应的向量
17:01GPT-2使用这个最右向量中的信息来预测下一个单词
17:06那么神经网络又是如何来决定Marry是正确的复制词呢
17:10通过GPT-2的计算过程进行逆向的推导
17:13科学家们发现了一组他们称之为主语抑制头的四个注意力头（Subject Inhibition Head）
17:18它们标记了第二个John向量
17:21阻止了名称移动头来复制John这个名字
17:24主语抑制头又是如何知道不应该复制John的呢
17:28团队进一步向后推导
17:29发现了他们称为重复标记头的两个注意力头
17:34（Duplicate Token Heads）
17:35他们将第二个John向量
17:37标记为第一个John向量的重复副本
17:39这帮助主语抑制头来决定不应该复制John
17:43简而言之
17:44这9个注意力头使得GPT-2能够理解
17:47“John gave a drink to John”是没有意义的
17:50而选择“John gave a drink to Mary”
17:53这个例子呢也侧面说明了
17:54要完全理解大语言模型会有多么困难
17:57由五位研究人员组成的Redwood团队
18:00曾经发表了一篇25页的论文
18:03解释了他们是如何识别和验证这些注意力头的
18:07然而即使他们完成了所有这些工作
18:09我们离对于为什么GPT-2决定
18:12预测Mary作为下一个单词的全面解释
18:15还有很长的路要走
18:16比如说模型是如何知道下一个单词应该是某个人的名字
18:21而不是其他类型的单词
18:23很容易想到在类似的句子中
18:25Mary不会是一个好的下一个预测词
18:27比如说
18:28在句子“when Mary and John went to the restaurant, John gave his keys to”这个句子中
18:35逻辑上呢下一个词应该是“the valet”
18:38即代客停车员
18:40假设计算机科学家们进行了充足的研究
18:43也许他们可以揭示和解释
18:45GPT-2推理过程中的其他步骤
18:47最终呢他们可能能够全面理解GPT-2
18:50是如何决定Marry是句子最可能的下一个单词
18:54但是这可能需要数个月甚至数年的努力
18:58才能够理解一个单词的预测情况
19:00而ChatGPT背后的语言模型
19:03GPT-3和GPT-4 比GPT-2呢更加的庞大和复杂
19:07相比于Redwood团队研究的简单句子
19:10他们能够完成更复杂的推理任务
19:13因此完全解释这些系统的工作将是一个巨大的项目
19:17人类不太可能在短时间内完成
19:20我们继续回到注意力头的部分
19:22当注意力头在词向量之间传输信息之后
19:25前馈网络会思考每个词向量并且尝试预测下一个词
19:30在这个阶段单词之间没有交换任何的信息
19:34前馈层会独立的去分析每个单词
19:37但是前馈层可以访问之前由注意力头复制的任何信息
19:41这个是GPT-3最大版本的前馈层结构
19:45其中绿色和紫色的圆圈表示神经元
19:49他们是计算其输入加权和的数学函数
19:52前馈层之所以强大是因为它有大量的连接
19:56在图上呢我们使用了三个神经元作为输出层
19:59六个神经元作为隐藏层
20:01绘制出了这个网络
20:03但是GPT-3的前馈层要大得多
20:06它的输出层有12,288个神经元
20:10对应模型的12,288维的词向量
20:14每个神经元有49,152个输入值
20:17也就是每个神经元有49,152个权重参数
20:22而隐藏层呢有49,152个神经元
20:26每个神经元呢有12,288个输入值
20:29也就是每个神经元有12,288个权重参数
20:33这意味着每个前馈层有49,152乘以12,288
20:39再加上12,288乘以49,152个
20:43约等于12亿个权重参数
20:45并且有96个前馈层
20:47那加起来就是12亿乘以96等于1,160亿个参数
20:52这相当于具有1,750亿参数的GPT-3将近2/3的参数量
20:58在2020年的一篇论文中
21:00来自特拉维夫大学的研究人员就发现
21:03前馈层通过模式匹配进行工作
21:06即隐藏层中的每个神经元
21:08都能够匹配输入文本中的特定模式
21:11下面呢是一个16层版本的GPT-2中
21:14一些神经元匹配的模式
21:16第一层的神经元匹配以substitutes结尾的词序列
21:20第6层的神经元匹配与军事有关
21:23并且以base或者bases结尾的词序列
21:26第13层的神经元匹配以时间范围结尾的序列
21:30比如说在下午3点到7点之间
21:33或者从周五晚上7点到
21:36第16层的神经元匹配与电视节目相关的序列
21:40比如说原始的NBC日间版本已存档
21:43或者说时间延迟使该集的观众增加了57%
21:48没错正如我们所看到的
21:50越是在后面的层中模式会变得越来抽象
21:53早期的层会倾向于匹配特定的单词
21:56而后期的层则匹配属于更广泛语言类别的短语
22:00比如说电视节目或者说时间间隔
22:03这部分呢其实很有意思
22:05因为正如我们之前所说的
22:08前馈层呢每次只能检查一个单词
22:11因此当将训练原始的NBC日间版本已存档
22:15分类为与电视相关的时候
22:17他只能访问已存档这个词的向量
22:20而不是NBC或者是日间等等词汇
22:23可以推断出前馈层之所以可以判断已存档
22:26是电视节目相关序列的一部分
22:29是因为注意力头之前已经将上下文的信息
22:32移到了已存档archived的这个词的向量中
22:36当一个神经元与其中一个模式匹配的时候
22:39他就会向这些词像量中添加信息
22:42虽然这些信息呢并不总是很容易解释的
22:45但是在许多情况下
22:46你可以将它视为对下一个词的临时的预测
22:50我们之前讨论过Google的word2vec的研究
22:53它可以使用向量运算来进行类比的推理
22:56比如说柏林减去德国加上法国等于巴黎
22:59布朗大学的研究人员就发现前馈层
23:02有时候会使用这种准确的方法来预测下一个单词
23:06比如说他们研究了GPT-2对以下提示的回应
23:10问题法国的首都是什么回答巴黎
23:14问题波兰的首都是什么回答华沙
23:18这个团队研究了一个包含24层的GPT-2的版本
23:22在每个层之后
23:23布朗大学的科学家们去探测模型
23:26观察他对下一个token的最佳预测
23:29在前15层最高的可能性的猜测
23:32是一个看似于随机的单词
23:35在第16层和第19层之间
23:37模型开始预测下一个单词是波兰
23:40不正确但是越来越接近于正确
23:43然后在第20层最高可能性的猜测变成华沙
23:47这是正确的答案
23:48并且在最后4层保持不变
23:51布朗大学的研究人员发现第20个前馈层
23:54通过添加了一个将国家向量映射到其对应首都的向量
23:58从而将波兰转化为了华沙
24:01将相同的向量添加到中国时候答案会得到北京
24:05同一个模型中的前馈层会使用向量运算
24:09将小写单词转换为大写单词
24:11并将现在时的单词转换为过去时的等效词
24:15到目前为止呢
24:16我们已经看了
24:17GPT-2单词预测的两个实际的示例
24:20注意力头来帮助预测约翰给玛丽一杯饮料
24:24而前馈层帮助预测华沙是波兰的首都
24:28在第一个案例中
24:29玛丽来自于用户提供的提示
24:32但是在第二个案例中
24:33华沙并没有出现在提示中
24:35相反GPT-2必须记住华沙是波兰的首都
24:39而这个信息呢是从训练数据中学到的
24:42当布朗大学的研究人员禁用了
24:45将波兰转化为华沙的前馈层时
24:47模型就不再预测下一个词是华沙了
24:50但是有趣的是
24:52如果他们接着在提示的开头加上句子
24:54波兰的首都是华沙
24:57那么GPT2就能够再次回答这个问题
25:00这可能是因为GPT2使用的注意力机制
25:03从提示中提取到了华沙这个名字
25:05这种分工会更广泛的表示为
25:08注意力机制从提示的教导部分检索信息
25:12而前馈层让语言模型能够记住
25:14没有在提示中出现的信息
25:17事实上你可以将前馈层
25:19视为模型从训练数据中学到的信息的数据库
25:22靠前的前馈层更可能编码与特定单词相关的简单事实
25:27例如说
25:28特朗普经常出现在唐纳德这个词之后
25:31靠后的层则编码会更加复杂的关系
25:35比如说加入这个向量来将国家转换为他的首都
25:39以上呢我们就已经详细讲解了大语言模型的推理过程
25:43接下来啊我们再讲一讲他的训练方式
25:46许多早期的机器学习算法
25:48都需要人工来标记训练示例
25:51比如说训练数据呢可能是带有人工标签
25:54狗或者猫的一些猫狗的照片
25:57而正是需要标记数据的需求
25:59使得人们想要创建足够大的数据集
26:02来训练强大的模型这件事变得困难而且昂贵
26:06大语言模型的一个关键的创新之处
26:08就在于他们不需要显式的标记数据
26:12相反呢他们通过尝试预测文本段落中的下一个单词
26:15来学习几乎任何的书面材料
26:18都可以用来训练这些模型
26:20从维基百科的页面到新闻文章
26:23再到计算机的代码
26:24举个例子来说
26:25单元模型可能会拿到一个输入
26:28i like my coffee with cream and 某某
26:31并且试图预测sugar糖作为下一个单词
26:35一个新的初始化语言模型
26:37在这方面表现的很糟糕
26:39因为他的每个权重参数最初基本上都是从一个随机的数字开始的
26:44但是随着模型看到更多的例子
26:46比方说数千亿个单词
26:49这些权重会逐渐的调整
26:51从而做出更好的预测
26:53直到像GPT-3最强大的版本一样
26:55最后达到1,750亿个参数
26:57下面呢我们用一个类比来说明这个过程是如何进行的
27:01假设你要洗澡
27:02希望水温刚刚好不太热也不太冷
27:06你以前呢从来没有用过这个水龙头
27:08所以你随意的去调整水龙头把手的这个方向啊
27:12并触摸水的温度
27:13如果太热或者太冷
27:15你就会往相反的方向去转动把手
27:18当接近适当的水温时候
27:19你对把手所做的调整幅度呢就越小
27:22现在让我们来对这个类比做几个改动
27:25首先你想象一下有50,257个水龙头
27:30每个水龙头对应着一个不同的单词
27:32比如说the cat或者是bank
27:35你的目标是只让与序列中下一个单词
27:39相对应的水龙头里出水
27:41其次水龙头后面有一大堆互连的管道
27:44并且这些管道上呢还有一堆阀门
27:47所以呢如果水从错误的水龙头里流出来了
27:50你不能只是调整水龙头上的这个旋钮
27:53你要派遣一只聪明的松鼠部队去追踪每条管道
27:57并且沿途呢去调整他们找到的每个阀门
28:00这样就会变得很复杂了
28:02由于同一个管道经常会供应多个水龙头
28:05所以需要仔细的思考如何确定要拧紧或者松开哪些阀门
28:10以及到底拧多大程度
28:12显然如果我们仅仅从字面上来理解
28:15这个例子就会变得非常荒谬
28:18建立一个拥有1,750亿个阀门的管道网络
28:21既不现实也没有什么用
28:23但是由于摩尔定律
28:25计算机可以并且确实在以这种规模在运行
28:29截止到目前
28:30我们所讨论的大语言模型的所有部分
28:32包括前馈层的神经元
28:34以及在单词之间传递上下文信息的注意力头
28:38都被实现为了一系列简单的数学函数
28:40其中呢主要是矩阵乘法
28:43它的行为由可调整的权重参数来确定
28:46就像我故事中的松鼠来松紧阀门控制水流一样
28:50训练算法是通过增加或者减少语言模型的权重参数
28:55来控制信息在神经网络中的流动
28:58训练过程分为两个步骤
29:00首先进行前向传播forward pass
29:03打开水源
29:04并且检查水是否从正确的水龙头中流出
29:07然后关闭水源
29:08进行反向传播backwards pass
29:11松鼠们就沿着每根管道飞快的奔跑
29:14拧紧或者松开这个阀门
29:16在数字化的神经网络中
29:18松鼠的角色是由一个被称为反向传播的算法来扮演
29:22这个算法会逆向的通过网络
29:24使用微积分来评估需要改变每个权重参数的过程
29:29对一个示例进行前向传播
29:31然后再进行后向传播
29:33来提高网络在这个示例上的性能
29:35完成这个过程需要进行数百亿次的数学运算
29:39而像GPT-3这种大模型的训练
29:41需要重复这个过程数十亿次
29:44因为对每个训练数据的每个词都要训练
29:47OpenAI估计训练GPT-3
29:49需要超过3,000亿万亿次的浮点计算
29:52这需要几十个高端的GPU芯片运行数个月才能够完成
29:57你可能会对训练过程能够如此出色的工作感到很惊讶
30:01因为ChatGPT可以执行各种复杂的任务
30:04包括撰写文章进行类比甚至编写计算机代码
30:09那么这样一个简单的学习机制
30:11是如何产生如此强大的模型呢
30:14一个原因呢是规模
30:16像GPT3这样的模型看到的示例数量是非常之多的
30:20GPT3呢是在大约5,000亿个单词的语料库上进行训练的
30:24相比之下
30:25一个普通的人类孩子在10岁之前
30:28遇到的单词数量大约是1亿个
30:31在过去的五年中
30:32OpenAI不断的增大他的大语言模型的规模
30:35在一篇广为流传的2020年的论文中
30:38OpenAI报告称
30:40他们的语言模型的准确性与语言规模数据集规模
30:44以及用于训练的计算量呈幂率关系
30:47一些趋势呢甚至跨越7个数量级以上
30:51模型规模越大
30:52在涉及语言的任务上表现的越好
30:54但是前提是他们需要以类似的倍数来增加训练数据量
30:59而且要在更多的数据上训练更大的模型
31:02还需要更多的算力
31:032018年OpenAI发布了第一个大模型GPT-1
31:07它使用了768维的词向量共有12层
31:11总共有1.17亿个参数
31:13几个月后
31:14OpenAI发布了GPT-2
31:15它最大的版本拥有1,600维的词向量
31:1848层总共有15亿个参数
31:212020年OpenAI发布了GPT-3
31:24它具有12,288维的词向量
31:2796层总共有1,751个参数
31:30今年OpenAI发布了GPT-4
31:33虽然尚没有公布任何的架构细节
31:35但是业内普遍认为GPT-4比GPT-3要大得多
31:40每个模型不仅学到了比他较小的前身模型更多的事实
31:44而且在需要某种形式的抽象推理任务上
31:47表现出了更好的性能
31:49比如说我们设想这样一个故事
31:52一个装满了爆米花的袋子
31:54袋子里没有巧克力
31:55但是袋子上的标签写着是巧克力
31:58而不是爆米花
31:59一个小孩山姆发现了这个袋子
32:02他以前从来没有见过这个袋子
32:04他也看不见袋子里面的东西
32:06他读到了这个袋子上的标签
32:09你可能会猜
32:10山姆相信袋子里面装着巧克力
32:12并且会惊讶的发现里面其实是爆米花
32:16心理学家将这种推理他人思维状态的能力研究
32:19称之为心智理论theory of mind
32:23大多数人从上小学开始就具备了这种能力
32:26虽然专家们对于任何非人类的动物
32:29比如说黑猩猩是否适用于这种心智理论存在分歧
32:33但是基本的共识是他对人类社会的认知至关重要
32:38今年的早些时间
32:39斯坦福大学心理学家米哈尔科兴斯基发表了一项研究
32:44研究了大圆模型的能力是否能够解决心智理论的任务
32:48他给各种语言模型阅读了类似刚刚我们讲的那个故事
32:52然后要求他们完成一个句子
32:54比如说他相信袋子里面装满了什么
32:58正确答案呢应该是巧克力
33:00但是一个不成熟的语言模型
33:02可能会说成是爆米花或者其他东西
33:05GPT-1和GPT-2在这个测试中失败了
33:08但在2020年发布的GPT-3的第一个版本中
33:12正确率达到了接近于40%
33:14科辛斯基将模型的性能水平与3岁的儿童相比较
33:18去年11月份发布的最新版的GPT-3
33:20将上述问题的正确率提高到了大约90%
33:24与7岁的儿童相当
33:26而GPT-4对心智理论问题的回答正确率呢约为95%
33:31科辛斯基写道
33:32鉴于这些模型中既没有迹象表明
33:35心智化能力被有意的设计进去
33:38也没有研究证明科学家知道如何实现它
33:41这个能力很可能是自发而且自主的出现的
33:45这就是模型的语言能力不断增强的一个副产品
33:49不过呢值得注意的是
33:50研究人员并不全都认可这些结果证明了心智理论
33:54比如说有的人发现
33:56对错误信念任务的微小更改
33:58会导致GPT-3的性能大大的下降
34:01而GPT-3在测量心智理论的其他任务中的表现更为不稳定
34:06正如肖恩写Hans的那样
34:07成功的表现可能是归于任务中的混淆因素
34:11这是一种聪明汉斯的效应
34:13英文呢是clever Hans
34:15指的是一匹名为汉斯的马
34:17看似呢能够完成一些简单的智力任务
34:20但是实际上只是依赖于人们给出的无意识的线索
34:23只不过这个效应现在是出现了大语言模型上
34:26而不是马身上
34:28尽管如此GPT-3在几个衡量心智理论的任务上
34:31接近于人类的表现
34:33这在几年前呢是无法想象的
34:35并且这与更大的模型
34:37通常在需要高级推理的任务中表现的更好的观点是相一致的
34:42这只是语言模型表现出的
34:44自发发展出高级推理能力的众多的例子之一
34:48今年4月呢
34:49微软的研究人员发表了一篇论文
34:51也表示GPT-4展示了通用人工智能的初步诱人的迹象
34:56即以一种复杂类人的方式去思考的能力
34:59比方说呢
35:00一名研究人员要求GPT-4
35:02使用一种名为TiKZ的晦涩的图形编程语言
35:06画一只独角兽
35:08GPT-4回应了几行代码
35:09然后研究人员将这些代码输入
35:11TiKZ软件生成的图像呢虽然粗糙
35:14但是清晰的显示出
35:16GPT-4对独角兽的外观有一定的理解
35:19研究人员认为
35:20GPT-4可能以某种方式从训练数据中
35:23记住了绘制独角兽的代码
35:25所以他们给他提出了一个后续的挑战
35:28他们修改了独角兽的代码移除了头部的角
35:31并且呢移动了一其他的一些身体部位
35:33然后他们让GPT-4把独角兽头上的角放回去
35:37而GPT-4的回应呢
35:39正是将头上的角放在了正确的位置上
35:42尽管作者的测试版本和训练数据
35:44完全是基于文本的
35:46没有包含任何的图像
35:47但是GBT-4似乎仍然能够完成这个任务
35:51不过呢通过大量的书面文本训练之后
35:54GPT-4显然学会了推理关于独角兽身体形状的知识
35:58目前呢我们对于大语言模型如何完成这样的壮举
36:02没有真正的了解
36:03有些人认为呢像这样的例子表明
36:06模型开始真正理解训练集中词的含义
36:09而其他人呢则坚持认为
36:11语言模型呢只是一种随机鹦鹉
36:13仅仅是重复越来越复杂的单词序列
36:16而并非真正理解他们
36:18那关于什么是随机鹦鹉
36:20我们找时间也会专门去介绍一下
36:23这种辩论指向了一种深刻的哲学争论
36:26可能无法解决
36:27尽管如此
36:28我们认为关注GPT-3这些模型的经验表现
36:32也是很重要的
36:33如果一个语言模型
36:34能够在特定类型的问题中始终得到正确的答案
36:38并且呢研究人员有信心排除掉混淆的因素
36:41比如说可以确保模型在训练期间没有接触过这些问题
36:46那么无论他们对语言的理解方式
36:48是否跟人类完全相同
36:50这都是一个有趣而且重要的结果
36:53训练下一个token预测如此有效的另外一个可能的原因
36:57就是语言本身是可以预测的
37:00语言的规律性通常会跟物质世界的规律性相关联
37:04因此当语言模型学习单词之间的关系时候
37:08通常也在隐含的学习跟这个世界存在的关系
37:12此外呢预测可能是生物智能以及人工智能的一个基础
37:16根据Andy Clark等哲学家的观点
37:19人脑呢可以被认为是一个预测机器
37:21它的主要任务呢
37:22是对我们的环境进行预测
37:24然后利用这些预测来成功的驾驭环境
37:28预测对于生物智能和人工智能都至关重要
37:31直观的说
37:32好的预测离不开良好的表示
37:34比如说准确的地图比错误的地图
37:37更有可能帮助人们去更好的导航
37:40世界是广阔而复杂的
37:42进行预测有助于生物高效定位和适应这种复杂性
37:46在构建语言模型方面
37:48传统上的一个重大的挑战
37:50就是如何找出最有用的表示不同单词的方式
37:54特别是因为许多单词的含义很大程度上取决于上下文
37:58下一个词的预测方法
38:00使得研究人员能够将其转换成一个经验性的问题
38:04以此来避开这个棘手的理论难题
38:06事实证明
38:08如果我们提供足够的数据和计算能力
38:10大语言模型能够通过找出最佳的下一个词的预测
38:14来学习人类语言的运作方式
38:16它的不足之处在于
38:18最终得到的系统内部的运作方式
38:20人类目前还并不能完全的理解
38:23好了以上就是对大语言模型整个工作原理的一个解释
38:27不知道大家理解了多少
38:29整个内容呢大概13,000多字
38:31光是录制视频就录了一个多小时
38:34所以还希望大家多多的点赞评论和转发
38:37也希望这个视频能够帮助到大家
38:39对现在的大语言模型有一个基础的理解
38:42感谢大家的观看
38:43我们下期再见
Weitere ähnliche Videos ansehen
【生成式AI導論 2024】第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer (已經熟悉 Transformer 的同學可略過本講)
Visual Guide to Transformer Neural Networks - (Episode 1) Position Embeddings
Let's build GPT: from scratch, in code, spelled out.
使用ChatGPT API构建系统1——大语言模型、API格式和Token
A little guide to building Large Language Models in 2024
Networking for GenAI Training and Inference Clusters | Jongsoo Park & Petr Lapukhov
5.0 / 5 (0 votes)
