[ML2021] Pytorch Tutorial 2

Hung-yi Lee

12 Mar 202109:21

Summary

TLDR视频脚本主要介绍了如何使用PyTorch框架进行机器学习。首先，脚本提到了可以在机器学习网站上点击协作（Collab）来运行代码，验证结果。接着，介绍了PyTorch文档网站，指导用户如何根据函数类型（神经网络、优化算法或数据集）查找相关文档。以torch.max函数为例，详细说明了如何查阅文档，理解参数类型（位置参数和关键字参数），以及参数的默认值。然后，通过三个不同的例子展示了torch.max函数的用法：返回张量的最大值、选择特定维度上的最大值并返回索引、以及比较两个张量并返回元素级别的最大值。此外，还讨论了在训练模型时可能遇到的常见错误，如模型和输入在不同设备上、维度不匹配、CUDA内存不足、张量类型不匹配等问题，并提供了相应的解决方案。最后，脚本提到了在Collab中可以运行关于数据加载器的代码段，以进一步探索PyTorch的功能。

Takeaways

📚 在机器学习网站上，可以通过点击协作(Collab)来运行PyTorch教程中的代码，以验证结果。
🔍 如果在使用PyTorch函数时遇到问题，可以访问PyTorch文档网站，根据功能类型访问不同的子域名。
📝 torch.max函数的使用方法可以在PyTorch文档中找到，注意输入类型和输出类型。
👀 torch.max函数有多个变体，每个变体有不同的参数和关键字参数，以及默认值。
📈 第一个torch.max变体返回张量的最大值，第二个变体选择特定维度的最大值及其索引，第三个变体比较两个张量并返回逐元素的最大值。
❌ 在使用torch.max函数时，要注意参数的位置和类型，关键字参数需要指定名称。
💻 训练模型时可能会遇到的常见错误包括模型和输入不在同一个地方（CPU/GPU不匹配）、维度不匹配、CUDA内存不足以及张量类型不匹配。
🚀 将数据发送到GPU可以解决CPU/GPU不匹配的问题。
🔄 使用转置(transpose)、压缩(squeeze)和取消压缩(unsqueeze)等操作可以解决维度不匹配的问题。
🔩 减少批量大小或使用数据加载器(data loader)可以解决CUDA内存不足的问题。
⚙️ 当使用交叉熵损失函数时，确保标签是长整型(tensor类型为long)，以避免类型不匹配的错误。
📈 在Collab的底部部分，还有关于数据加载器的代码示例，可以自行运行以加深理解。

Q & A

在机器学习网站上如何运行PyTorch教程中的代码？
-在机器学习网站上，你可以点击'collab'，在'pi torch tutorial 2 column'中，然后你可以运行代码以验证结果。
如果遇到有关PyTorch函数使用的问题，应该访问哪个网站？
-如果遇到问题，可以访问PyTorch的官方文档网站。具体来说，如果函数与神经网络相关，访问torch.org；如果与优化算法相关，访问torch.optim；如果与数据集或数据加载器相关，访问torch.utils.data。
如何理解PyTorch文档中函数参数的类型和用法？
-在PyTorch文档中，首先查看函数的输入（input）和输出（output），输入的类型会在'parameters'部分指定。此外，文档会展示函数的不同变体，包括它们各自的参数和关键字参数。参数和关键字参数的区别在于，关键字参数需要指定名称。通过查找星号（*）可以确定参数是位置参数还是关键字参数，星号前的是位置参数，星号后的则是关键字参数。
torch.max函数有什么作用，它有哪些不同的变体？
-torch.max函数用于找出张量中的最值。它有三种变体：第一种简单返回张量的最大值；第二种从指定的维度选择最大值，并返回该值及对应的索引；第三种比较两个张量的对应元素，并返回一个新的张量，其中的元素是两个张量对应元素的最大值。
如果在运行PyTorch代码时遇到了'out'参数的使用错误，应该怎么做？
-如果遇到'out'参数的使用错误，需要将其作为关键字参数使用，因为它不是位置参数。在调用函数时，必须指定参数名称，而不能仅输入值。
在PyTorch中，如果需要指定操作的维度，应该如何修改代码？
-如果需要指定操作的维度，应确保在调用函数时明确指出'dimension'参数。如果未指定，可能会导致运行错误。
在训练模型时，如果模型和输入数据不在同一个设备上，比如一个在CPU上，另一个在GPU上，会有什么错误提示？
-如果模型和输入数据不在同一个设备上，错误信息会提示比如'tensorflow'或类似的库在CPU上运行，但期望它们在GPU上。解决这个问题，需要将张量发送到GPU上。
如果输入数据和模型的维度不匹配，应该如何解决？
-如果输入数据和模型的维度不匹配，可以使用转置（transpose）、压缩（squeeze）和扩展（unsqueeze）等操作来调整张量的维度，使其与模型的期望输入维度一致。
当GPU内存不足时，通常会出现什么错误，应该如何处理？
-当GPU内存不足时，会出现'cuda out of memory'错误。解决这个问题可以通过减少批量大小（batch size）或者使用数据加载器（data loader）分批次处理数据。
如果在使用交叉熵损失函数时，标签数据类型不匹配，会有什么错误提示？
-如果标签数据类型不匹配，比如将标签设为整数但实际上是浮点数类型，会出现错误提示，因为标签必须是长整型（long type）。需要将标签转换为长整型张量。
在PyTorch中，如何使用数据加载器（data loader）？
-在PyTorch中，可以使用torch.utils.data.DataLoader类来创建数据加载器。数据加载器可以帮助高效地批量加载数据，并可以与迭代器一起使用，以便于在训练模型时逐批次地访问数据。
在提供的脚本中，有哪些常见的错误和解决方法？
-脚本中提到的常见错误包括：设备不匹配错误（模型在CPU而数据期望在GPU）、维度不匹配错误（需要调整张量维度）、CUDA内存不足错误（减少批量大小或使用数据加载器）和张量类型不匹配错误（确保标签是长整型）。每个错误都有相应的解决方法，如调整设备、修改张量维度、调整批量大小或更改数据类型。