NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能，可增强生成式 AI 和高性能计算 (HPC) 工作负载。作为首款采用 HBM3e 的 GPU，H200 更大更快的内存可加速生成式 AI 和大型语言模型 (LLM)，同时推进 HPC 工作负载的科学计算。
1.9倍 速度提高
1.6倍 速度提高
110倍 速度提高
NVIDIA H200基于NVIDIA Hopper 架构，是首款以每秒 4.8 兆兆字节 (TB/s) 的速度提供 141 GB HBM3e 内存的 GPU，几乎是 NVIDIA H100 Tensor Core GPU容量的两倍（1.4 倍）更多内存带宽。H200 更大更快的内存可加速生成式 AI 和法学硕士，同时以更高的能效和更低的总拥有成本推进 HPC 工作负载的科学计算。
初步测量的性能，可能会有变化。
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 1x GPU BS 64 | H200 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPUs BS 64 | x8 H200 GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32.
在不断发展的人工智能领域，企业依靠法学硕士来满足各种推理需求。当为大量用户群大规模部署时，人工智能推理加速器必须以最低的 TCO 提供最高的吞吐量。
在处理 Llama2 等 LLM 时，H200 的推理速度比 H100 GPU 提高了 2 倍。
内存带宽对于 HPC 应用程序至关重要，因为它可以实现更快的数据传输，减少复杂的处理瓶颈。对于模拟、科学研究和人工智能等内存密集型 HPC 应用，H200 更高的内存带宽可确保高效地访问和操作数据，与 CPU 相比，获得结果的时间最多可加快 110 倍。
预计性能可能会发生变化。
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
单节点 HGX 实测性能 | A100 2021 年 4 月 | H100 TensorRT-LLM 2023 年 10 月 | H200 TensorRT-LLM 2023 年 10 月
NVIDIA Hopper 架构比其前身实现了前所未有的性能飞跃，并通过 H100 的持续软件增强（包括最近发布的NVIDIA TensorRT-LLM™等强大的开源库）继续提高标准。
H200 的推出延续了这一势头，提供了更多性能。对其进行投资可确保现在的性能领先，并且通过对支持的软件的持续改进，确保未来的性能领先。
NVIDIA AI Enterprise 与 NVIDIA H200 一起简化了 AI 就绪平台的构建，加速了生产就绪的生成式 AI、计算机视觉、语音 AI 等的 AI 开发和部署。它们共同提供企业级安全性、可管理性、稳定性和支持，以更快地收集可行的见解并更快地实现有形的业务价值。
| 构成因素 | H200 SXM¹ |
|---|---|
| FP64 | 34 万亿次浮点运算 |
| FP64 Tensor Core | 67 万亿次浮点运算 |
| FP32 | 67 万亿次浮点运算 |
| TF32 Tensor Core | 989 万亿次浮点运算² |
| BFLOAT16 Tensor Core | 1,979 TFLOPS² |
| FP16 Tensor Core | 1,979 TFLOPS² |
| FP8 Tensor Core | 3,958 TFLOPS² |
| INT8 Tensor Core | 3,958 TFLOPS² |
| 显存 | 141GB |
| GPU显存带宽 | 4.8TB/s |
| 解码器 | 7 NVDEC 7 JPEG |
| 最大热设计功率 (TDP) | Up to 700W (configurable) |
| 多实例 GPU | Up to 7 MIGs @16.5GB each |
| Form Factor | SXM |
| Interconnect | NVIDIA NVLink®: 900GB/s PCIe Gen5: 128GB/s |
| Server Options | NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs |
| NVIDIA AI Enterprise | Add-on |
|
1初步规格。可能会有变化。 |
|
该产品上市时候提醒我
