【GPU】GPU架构入门指南 | GPU内部工作原理 | 执行过程 | 如何运行kernel | GPU与CPU有什么不同 | CUDA | Warp

大飞说科技

28 Nov 202319:24

Summary

TLDR本期视频深入探讨了GPU的工作原理及其与CPU的区别，强调了GPU在大规模并行计算中的优势。通过比较CPU和GPU的设计目标和架构，解释了GPU如何实现高吞吐量。详细介绍了GPU的内存层次结构和执行kernel的过程，包括线程网格的配置和动态资源分区。最后，强调了编写高效GPU kernel的重要性和挑战，鼓励程序员优化代码以提高GPU资源的利用率。

Takeaways

🔍 CPU和GPU的主要区别在于设计目标，CPU专注于顺序执行，而GPU专为大规模并行处理设计。
🚀 GPU在深度学习等领域的广泛应用推动了其重要性的提升，特别是在执行大量线性代数和数值计算任务时。
📈 与CPU相比，GPU在数值计算性能上有显著优势，如NVIDIA的Ampere A100在32位精度下的吞吐量远超Intel的24核处理器。
🌟 GPU的核心组件包括流式多处理器（SM）、核心、线程、片上内存和基于硬件的线程调度器。
🔧 GPU内存层次结构包括寄存器、常量缓存、共享内存、L1和L2缓存，以及片外全局内存，每一层都有特定用途。
🛠️ CUDA是NVIDIA提供的编程接口，用于编写在GPU上运行的程序，其中的核心概念是kernel。
🔗 在GPU上执行kernel需要数据从主机内存复制到全局内存，以及合理配置线程网格以实现并行计算。
🔄 GPU通过warp执行模型实现单指令多线程（SIMT），并引入独立线程调度以提高资源利用率。
⚙️ 动态资源分区和占用率是衡量GPU资源利用效率的关键指标，合理的资源分配对于保持高占用率和降低时延至关重要。
📊 编写高效的GPU kernel需要仔细优化代码，平衡资源使用和性能，以达到最佳执行效率。

Q & A

CPU和GPU的主要设计目标有何不同？
-CPU的设计初衷是执行顺序指令，而GPU则专门为大规模并行和高吞吐量而设计。
为什么GPU在深度学习中变得重要？
-GPU在深度学习中变得重要是因为它们能够以极高的速度执行大量线性代数和数值计算，这正是深度学习所需要的。
GPU的架构是如何实现高吞吐量的？
-GPU通过使用大量流式多处理器（SM）、核心或线程、以及多层不同类型的内存来实现高吞吐量。
在执行数值计算时，CPU和GPU的性能如何比较？
-CPU在执行单个数值计算时比GPU更快，但在需要进行大量数值计算时，GPU由于其强大的并行处理能力，将比CPU更快地完成任务。
什么是CUDA？
-CUDA是NVIDIA提供的编程接口，用来编写运行在其GPU上的程序。
GPU中的kernel是如何定义和执行的？
-在CUDA中，kernel是一个类似于C/C++函数的形式，用来表达在GPU上运行的计算。它在并行中操作向量形式的数字，这些数字作为函数参数提供给它。
线程块和线程在GPU中的作用是什么？
-线程块和线程是GPU执行kernel的基本单位。线程块由一个或多个线程组成，它们共同执行一个kernel函数，并且可以共享数据和同步操作。
warp是什么，它在GPU执行中扮演什么角色？
-warp是GPU中一组同时执行相同指令的线程。这种执行模型称为单指令多线程（SIMT），它使得GPU能够有效地利用所有可用计算资源，提高吞吐量。
动态资源分区在GPU中如何实现？
-动态资源分区是根据线程的需求和GPU的限制，在线程之间动态划分执行资源，如寄存器、共享内存等。这种方式比固定分区更能有效地利用GPU的计算资源。
如何衡量GPU资源的利用率？
-通常使用一个称为'占用率'的指标来衡量GPU资源的利用率，它表示分配给SM的warp数量与SM所能支持的最大warp数量之间的比值。
为什么GPU的占用率可能无法达到100%？
-由于GPU的执行资源有限，如寄存器、共享内存等，以及各种约束条件，实际应用中可能无法始终达到100%的占用率。

Outlines

00:00

🖥️ CPU与GPU的比较

本段落主要介绍了CPU和GPU的基本区别和设计目标。CPU是为了执行顺序指令而设计，虽然现代CPU支持并行处理，但其主要关注点在于提高顺序执行的性能。而GPU则专注于大规模并行处理和高吞吐量，适用于需要大量线性代数和数值计算的应用场景。通过比较CPU和GPU在执行不同规模计算任务时的性能，突出了GPU在处理大规模数据时的优势。

05:03

🔍 GPU架构深入解析

这一部分详细探讨了GPU的内部架构，包括流式多处理器（SM）、核心、线程、片上内存和控制单元等组成部分。通过介绍NVIDIA H100 GPU的具体配置，说明了GPU如何通过其架构实现高吞吐量。同时，还讨论了GPU内存层次结构的不同层级，包括寄存器、常量缓存、共享内存、L1和L2缓存以及全局内存，以及它们在GPU计算中的作用。

10:05

💡 GPU Kernel执行原理

本段落深入解释了GPU是如何执行Kernel的。首先介绍了CUDA编程接口和Kernel的概念，然后详细描述了在GPU上执行Kernel所需的步骤，包括数据的准备、线程网格的配置、线程块和线程的分配以及warp的执行模型。此外，还提到了Volta及以后GPU引入的独立线程调度机制，以及warp执行中的资源利用和线程切换效率。

15:06

🔧 动态资源分区与优化

最后一部分讨论了GPU资源的动态分区和固定分区，以及如何通过优化代码来提高GPU的占用率和计算吞吐量。解释了由于资源限制导致的占用率不足问题，并强调了合理分配寄存器和共享内存等资源的重要性。通过举例说明了如何通过调整线程块大小和资源需求来优化GPU Kernel的性能。

Mindmap

Keywords

💡CPU

CPU，即中央处理器，是计算机的核心部件，负责执行程序中的指令。在视频中，CPU被提及为执行顺序指令的设备，其设计初衷是按顺序高效地执行指令，通过各种技术如指令流水线、乱序执行等减少指令执行的时延。

💡GPU

GPU，即图形处理器，是一种专门设计用于处理大规模并行计算任务的电子设备。与CPU不同，GPU擅长于执行大量相似操作，如图形渲染和深度学习中的矩阵计算。

💡并行计算

并行计算是一种计算类型，它允许同时执行多个计算任务，以提高处理速度和效率。GPU由于其设计，特别适合执行并行计算任务，因为它拥有大量的处理核心，可以同时处理多个数据点。

💡指令时延

指令时延是指执行一条指令所需的时间。CPU的设计重点在于减少这种时延，以提高顺序执行的性能。而GPU则容忍一定程度的指令时延，以实现大规模并行处理。

💡流式多处理器

流式多处理器（Streaming Multiprocessors, SM）是GPU内部的一种核心组件，负责执行并行计算任务。每个SM由多个处理单元组成，能够同时处理大量的线程和数据。

💡寄存器

寄存器是GPU中的小型、快速的存储单元，用于存储线程运行时的数据和指令。每个SM拥有大量寄存器，这些寄存器根据线程的需求进行动态分配，以支持并行计算。

💡共享内存

共享内存是GPU中的一种内存类型，由SM上的所有核心共享。它允许线程之间共享数据，从而减少从全局内存加载数据的次数，提高计算效率。

💡缓存

缓存是GPU中的高速存储区域，用于临时存储频繁访问的数据，以减少访问主内存的时间。GPU中的缓存分为多个级别，包括L1、L2缓存，以及更高级的缓存结构。

💡kernel

在GPU编程中，kernel是一个在GPU上执行的函数或程序段，它能够并行处理大量数据。编写和优化kernel是实现GPU高效计算的关键。

💡warp

warp是GPU中一组同时执行相同指令的线程。在NVIDIA的架构中，一个warp通常包含32个线程。这种设计允许GPU在执行时实现高吞吐量的并行计算。

💡占用率

占用率是衡量GPU资源利用率的一个指标，表示分配给SM的warp数量与SM所能支持的最大warp数量之间的比值。高占用率意味着更多的计算资源被有效利用，从而提高GPU的计算吞吐量。

Highlights

CPU和GPU的设计目标不同，CPU专注于顺序执行，而GPU专为大规模并行和高吞吐量设计。

GPU在深度学习等领域的广泛应用使其变得极为重要，每位软件工程师都有必要了解其基本工作原理。

CPU通过指令流水线、乱序执行、预测执行和多级缓存等功能减少指令执行的时延。

GPU通过其大规模并行能力在执行大量计算时比CPU更快，尤其在深度学习中的表现。

GPU的架构由流式多处理器(SM)组成，每个SM包含多个核心和线程，以及片上内存。

GPU内存层次结构包括寄存器、常量缓存、共享内存、L1缓存、L2缓存和全局内存。

执行GPU上的kernel需要理解CUDA编程接口，以及如何配置线程网格和线程块。

GPU执行kernel时，数据必须先从主机内存复制到GPU的全局内存。

GPU中的warp是一组同时执行相同指令的线程，这种模型也称为单指令多线程(SIMT)。

Volta及以后的GPU引入了独立线程调度，允许线程之间完全并发，不受warp的限制。

GPU通过动态资源分区来优化资源利用，根据需求和限制在线程间动态划分执行资源。

占用率是衡量GPU资源利用率的指标，表示分配给SM的warp数量与SM所能支持的最大warp数量之间的比值。

合理优化代码对保持高占用率和降低时延至关重要，以实现GPU的最佳性能。

GPU的片外全局内存通常是高带宽内存(HBM)或动态随机存取内存(DRAM)，与SM相距较远，时延较高。

每个SM上都有一小块可配置的共享内存，用于线程块内线程共享数据，提高性能。

GPU上执行kernel时，线程进一步划分为大小为32的组(warp)，在不同数据部分执行相同指令。

程序员需要仔细优化代码，确保执行过程中达到最高的SM占用率，以充分利用GPU的计算资源。