NVIDIA H100 PCIE 单卡 GraceCPU超级芯片架构特征

超级芯片架构特征

以下是 NVIDIA Grace Hopper 架构的主要创新：

• NVIDIA Grace CPU
• NVIDIA Hopper GPU
• NVLink-C2C
• NVLink 交换机系统
• 扩展 GPU 存储器

NVIDIA Grace CPU

随着 GPU 的并行计算能力在每一代中持续增长三倍，快速高效的 CPU 对于防止现代工作负载中的串行和仅 CPU 部分主宰性能至关重要。

NVIDIA Grace CPU 是 first NVIDIA data center CPU ，它是 built from the ground up to create HPC and AI superchips 。 Grace 提供多达 72 个 Arm Neoverse V2 CPU 内核和 Armv9.0-A ISA ，每个内核提供 4 × 128 位宽的 SIMD 单元，支持 Arm 的 Scalable Vector Extensions 2 (SVE2) SIMD 指令集。

NVIDIA Hopper GPU

NVIDIA Hopper GPU 是第九代 NVIDIA 数据中心 GPU 。与前几代 NVIDIA Ampere GPU 相比，它旨在为大规模 AI 和 HPC 应用提供数量级的改进。料斗 GPU 还具有多项创新：

• 新的第四代 Tensor 核心在更广泛的 AI 和 HPC 任务上执行比以往更快的矩阵计算。
• 与上一代 NVIDIA A100 GPU 相比，新的 transformer 引擎使 H100 在大型语言模型上提供高达 9 倍的 AI 训练和高达 30 倍的 AI 推理加速。
• 改进的空间和时间数据位置和异步执行功能使应用程序能够始终保持所有单元忙碌，并最大限度地提高能效。
• 安全 Multi-Instance GPU (MIG ) 将 GPU 划分为独立的、适当大小的实例，以最大限度地提高服务质量（ QoS ），以适应较小的工作负载。

NVIDIA Hopper 是第一款真正的异步 GPU 。它的 Tensor Memory Accelerator （ TMA ）和异步事务屏障使线程能够重叠和流水线无关的数据移动和数据处理，使应用程序能够充分利用所有单元。

扩展 GPU 存储器

NVIDIA Grace Hopper 超级芯片设计用于加速应用程序，其内存占用量非常大，大于单个超级芯片的 HBM3 和 LPDDR5X 内存容量。有关更多信息，请参阅 NVIDIA Grace Hopper 加速应用程序部分。

高带宽 NVLink-C2C 上的扩展 GPU 内存（ EGM ）功能使 GPU 能够高效地访问所有系统内存。 EGM 在多节点 NVSwitch 连接的系统中提供高达 150 TB 的系统内存。使用 EGM ，可以分配物理内存，以便从多节点系统中的任何 GPU 线程访问。所有 GPU 都可以以 GPU- GPU NVLink 或 NVLink-C2C 的最低速度访问 EGM 。

Grace Hopper 超级芯片配置中的内存访问通过本地高带宽 NVLink-C2C ，总速度为 900 GB / s 。远程内存访问通过 GPU NVLink 执行，根据访问的内存，还通过 NVLink-C2C 执行（图 11 ）。使用 EGM ， GPU 线程现在可以以 450 GB / s 的速度访问 NVSwitch 结构上的所有可用内存资源，包括 LPDDR5X 和 HBM3 。