NVIDIA GH200 Grace Hopper超级芯片首次亮相MLPerf行业基准测试，平台无极荣耀4平台注册其运行了所有数据中心推理测试，进一步扩大了NVIDIA H100 Tensor Core GPU的领先优势。

NVIDIA Grace Hopper超级芯片横扫MLPerf推理基准测试
总体测试结果表明，NVIDIA AI平台无论是在云端还是网络边缘均展现出卓越的性能和通用性。

此外，NVIDIA宣布推出全新推理软件，平台无极荣耀4平台网页该软件将为用户带来性能、能效和总体拥有成本的大幅提升。

GH200超级芯片在MLPerf一骑绝尘

GH200将一颗Hopper GPU和一颗Grace CPU连接到一个超级芯片中。这种组合提供了更大内存、更快带宽，能够在CPU和GPU之间自动切换计算所需要的资源，实现性能最优化。

具体而言，内置8颗H100 GPU 的NVIDIA HGX H100系统，在本轮每项MLPerf推理测试中均实现了最高吞吐量。

Grace Hopper超级芯片和H100 GPU在所有MLPerf数据中心测试中均处于领先地位，包括针对计算机视觉、语音识别和医学成像的推理，以及应用于生成式AI的推荐系统和大语言模型（LLM）等对性能要求更高的用例。

总体而言，此次测试结果延续了自2018年MLPerf基准测试推出以来，NVIDIA在每一轮AI训练和推理中都处于领先性能的纪录。

最新一轮MLPerf测试包括一项更新的推荐系统测试，并新增首个GPT-J上的推理基准测试。GPT-J是一个由60亿个参数组成的大语言模型（LLM），而AI模型的大小通常根据它有多少参数来衡量。

TensorRT-LLM大幅提升推理能力

为了应对各类复杂的工作负载，NVIDIA开发了一款能够优化推理的生成式AI软件——TensorRT-LLM。该开源库使客户能够在不增加成本的情况下将现有H100 GPU的推理性能提升两倍以上。由于时间原因，TensorRT-LLM没有参加8月的MLPerf提交。