大语言模型微调之道5——准备数据

宝玉的技术分享

30 Aug 202310:53

Summary

TLDR本视频教程介绍了如何为训练准备高质量数据。强调了数据质量、多样性和真实性的重要性，并解释了数据预处理的步骤，包括收集指令响应对、拼接、标记化、填充或截断以及分割训练和测试数据集。通过使用Hugging Face的自动标记化器类，演示了如何将文本转换为模型可以理解的数字。最后，展示了如何将这些步骤应用于实际数据集，为模型训练做好准备。

Takeaways

📈 高质量数据：准备用于训练的数据时，应优先考虑数据的质量，避免输入错误导致输出错误。
🌐 数据多样性：确保数据覆盖广泛，以防止模型记忆并重复相同的输入输出对。
🔍 真实与生成数据：尽可能使用真实数据，因为生成数据可能包含可检测的模式，限制模型学习新框架的能力。
📚 数据量的重要性：虽然数据量很重要，但在大多数机器学习应用中，质量、多样性和真实性更为关键。
🔢 收集数据：首先收集指令-响应对或问题-答案对，并将其从模板中提取出来。
🔑 标记化数据：将文本数据转换为模型可以理解的数字，通常基于字符出现的频率。
📏 填充和截断：为了使批次中的所有文本长度一致，使用填充策略，并将过长的文本进行截断。
🔄 批量处理：在处理数据时，通常以批次的形式进行，以便于模型高效学习。
📊 分割数据集：将数据集分为训练集和测试集，以便评估模型的性能。
🛠️ 使用工具：利用如Hugging Face的Transformers库中的AutoTokenizer类来简化数据准备过程。
🚀 准备训练：完成数据预处理后，即可开始模型的训练过程。

Q & A

为什么高质量数据对于模型训练至关重要？
-高质量数据对于模型训练至关重要，因为输入数据的质量直接影响模型的输出。如果输入的是低质量数据，模型可能会简单地复制这些数据的模式，导致输出也是低质量的。
数据多样性在模型训练中的作用是什么？
-数据多样性有助于模型学习到更多的应用场景和处理不同类型的输入。如果所有输入和输出都相同，模型可能会开始记忆它们，而不是学习新的模式或表达方式。
真实数据与生成数据在模型训练中有何区别？
-真实数据通常比生成数据更有效，因为生成数据可能已经包含了某些模式，这些模式可能会被用于检测生成内容。真实数据能够提供更自然、更多样化的模式，有助于模型学习到更广泛的应用场景。
在数据预处理中，数据量的重要性如何？
-虽然数据量在机器学习应用中很重要，但是在预训练阶段模型已经从大量互联网数据中学习，因此对于特定任务而言，数据的质量、多样性和真实性比数据量更为重要。
什么是数据的分词（tokenization）过程？
-分词是将文本数据转换成数字的过程，这些数字代表文本中的各个部分。分词不仅仅按单词进行，而是基于常见字符出现频率。例如，'ing'是一个常见的分词，因为它在所有类型的文本中都很常见。
在模型训练中，为什么需要将数据分批处理？
-模型训练需要固定大小的张量进行操作，因此需要将不同长度的文本统一长度。通过分批处理，可以确保每批数据的长度一致，便于模型处理。
什么是填充（padding）策略？
-填充是处理不同长度文本的策略，通过在较短的文本后面添加特定的符号（通常是零）来使所有文本长度一致，以便模型能够处理。
什么是截断（truncation）策略？
-截断是处理过长的编码文本的策略，通过减少文本的长度使其适应模型的最大处理长度。截断可以是从左边或右边进行，这取决于任务的需求。
如何使用Hugging Face的AutoTokenizer类进行分词？
-AutoTokenizer类可以自动为指定的模型找到正确的分词器。只需提供模型名称，它就会返回与模型训练时使用的分词器相匹配的分词结果。
如何将分词函数应用到整个数据集上？
-可以使用map函数将分词函数应用到整个数据集上。通过设置batch_size和drop_last参数，可以控制数据的批量处理和是否丢弃最后一个不完整的批次。
数据集如何进行分割，以便进行模型训练和测试？
-使用train_test_split函数可以将数据集分割成训练集和测试集。可以通过指定test_size参数来控制测试集的大小，并通过shuffle参数来随机化数据集的顺序。

Outlines

00:00

📚 数据准备与质量的重要性

本段落强调了在训练模型前准备高质量数据的重要性。首先，数据质量是最重要的因素，高质量的输入能够产生高质量的输出。其次，数据多样性也很关键，它能够防止模型仅记忆单一的输入输出对。此外，真实数据比生成数据更有效，尽管生成数据有其用途，但真实数据更能反映实际应用场景。最后，虽然数据量在机器学习中很重要，但相对于数据的质量和多样性，它的重要性略低。

05:01

🔍 数据处理步骤与标记化

这一部分详细介绍了数据处理的几个关键步骤，包括收集指令响应对、连接这些对、标记化数据以及将数据分割为训练集和测试集。标记化是将文本数据转换为模型可以理解的数字形式，这通常基于字符出现的频率。此外，还讨论了填充（padding）和截断（truncation）的概念，这是为了确保所有数据在批处理中长度一致，以及如何处理不同长度的文本。

10:02

🎯 应用数据集与模型训练准备

最后一部分讨论了如何将数据集应用到实际的模型训练中。首先，通过加载数据集文件，将问题和答案合并，然后使用标记器进行标记化处理。接着，将标记化的数据转换为适合模型的格式，并处理可能出现的批次大小不一致的问题。最后，数据集被分为训练集和测试集，为模型训练做好准备。此外，还提供了一些有趣的数据集，如Taylor Swift、BTS和开源大型语言模型的数据集，供用户选择和训练。

Mindmap

Keywords

💡数据准备

数据准备是指在使用机器学习模型进行训练之前，对数据进行清洗、格式化和优化的过程。在视频中，数据准备是为了确保输入到模型中的数据是高质量的，多样化的，并且尽可能真实。例如，视频提到了收集高质量的数据、确保数据的多样性以及使用真实的数据而非生成的数据来训练模型。

💡数据质量

数据质量是指数据的准确性、完整性和一致性。高质量的数据对于机器学习模型的性能至关重要，因为模型的输出往往取决于输入数据的质量。在视频中，强调了提供高质量数据的重要性，因为低质量的输入（垃圾输入）会导致模型产生低质量的输出（垃圾输出）。

💡数据多样性

数据多样性指的是数据集中包含多种类型的数据，这样可以覆盖更多的使用场景。在机器学习中，数据多样性有助于模型学习到更多的模式和关联，避免模型过度拟合特定的数据子集。视频强调了拥有多样化数据的重要性，以防止模型记忆特定的输入输出对，并确保模型能够泛化到新的、未见过的数据上。

💡真实数据与生成数据

真实数据是指从现实世界中收集的数据，而生成数据是通过算法或模型生成的。虽然生成数据可以用于模拟各种情况，但真实数据通常更能反映实际应用中的复杂性和多样性。视频中提到，尽管有很多方法可以创建生成数据，但真实数据对于训练模型来说通常更有效，尤其是在写作任务中，因为生成数据可能包含特定的模式，这些模式可能已经被用于检测生成内容的服务所识别。

💡数据量

数据量指的是用于训练机器学习模型的数据的规模。通常情况下，更多的数据可以帮助模型学习到更多的特征和模式，从而提高模型的性能。然而，视频中也提到，在预训练模型的情况下，由于模型已经从大量互联网数据中学习，因此对于特定任务的额外数据需求可能不如质量、多样性和真实性那么重要。

💡数据收集

数据收集是机器学习流程中的第一步，涉及获取和整理用于训练模型的数据。在视频中，数据收集包括获取指令-响应对，这些数据对是模型训练的基础。通过收集这些数据对，可以构建起模型所需的训练集，以便模型能够学习如何根据给定的指令生成正确的响应。

💡数据合并

数据合并是指将收集到的数据对（如问题和答案）拼接在一起，形成可以输入到模型中的完整数据集。这一步骤是为了创建一个连续的文本序列，以便模型能够理解输入的上下文。在视频中，数据合并通常涉及到将问题和答案配对，并添加到一个提示模板中，以便模型能够正确地处理和生成响应。

💡数据标记化

数据标记化是将文本数据转换成模型可以理解的数值形式的过程。这通常涉及到将文本分割成更小的单元（如单词、字符或子词），并将这些单元映射到特定的数值上。在机器学习中，标记化是准备数据以供模型训练的关键步骤，因为它决定了模型如何理解和处理输入的文本。

💡数据填充

数据填充是一种处理不同长度文本的技术，通过在较短的文本后面添加特定的符号（通常是零）来使所有文本长度一致。这样做是为了确保模型能够使用固定大小的张量进行训练，因为大多数模型无法处理可变长度的输入。在视频中，数据填充是为了确保所有的输入数据在送入模型之前长度一致。

💡数据截断

数据截断是指将超出模型处理能力的较长文本切割成较短的片段，以适应模型的最大输入长度限制。这种技术用于确保所有输入数据都能被模型有效处理，同时避免因输入过长而导致的信息丢失。在视频中，数据截断是为了处理那些超出模型最大长度限制的编码文本，使其能够被模型接受。

💡数据集分割

数据集分割是将数据集分为训练集和测试集的过程，这是为了在训练模型时使用一部分数据，并保留另一部分数据用于评估模型的性能。在视频中，数据集分割是为了创建一个独立的测试集，以便在模型训练完成后对其进行评估和验证。

Highlights

数据准备对于训练模型至关重要，高质量数据是首要需求。

数据多样性对于避免模型记忆输入输出对并提高模型泛化能力非常重要。

真实数据比生成数据更有效，尤其是在写作任务中。

预训练模型已经从大量数据中学习，因此在数据量上的需求不如数据质量重要。

数据收集的第一步是收集指令-响应对或问题-答案对。

拼接指令-响应对是数据准备的第二步，需要将它们从提示模板中分离出来。

数据预处理的第三步是数据标记化，包括添加填充或截断以适应模型的输入要求。

标记化是将文本数据转换为数字，这些数字代表文本中的字符或词汇出现的频率。

不同的标记器与特定的模型相关联，使用错误的标记器会导致模型混乱。

Hugging Face的AutoTokenizer类可以自动识别并使用正确的标记器。

在批处理输入时，所有文本需要调整为相同的长度，这通常通过填充来实现。

模型有一个最大长度限制，超过这个长度的文本需要通过截断来适应模型。