针对 60 亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的 MLPerf推理v3.1 性能基准测试结果出炉，英特尔、NVIDIA等相关AI芯片产品成绩公布。

MLPerf是影响力广泛的国际AI性能基准评测，其推理性能评测涵盖使用广泛的六大AI场景，比如计算机视觉、自然语言处理、推荐系统、语音识别等，每个场景采用最主流的AI模型作为测试任务，每一任务又分为数据中心和边缘两类场景。旨在对硬件、软件和服务的训练和推理性能“构建公平和有用的基准测试”。此次MLPerf Inference v3.1基准测试是继4月发布3.0版本之后的又一次更新。

针对英特尔Habana Gaudi2 加速器的成绩为：

• Gaudi2 在GPT-J-99 和GPT-J-99.9 上的服务器查询和离线样本的推理性能分别为78.58 次/秒和84.08 次/秒。

• Gaudi2 提交的结果采用 FP8数据类型，并在这种新数据类型上达到了99.9% 的准确率。

NVIDIA GH200 Grace Hopper超级芯片的成绩为：

在此次测试中，具有更高内存带宽和更大内存容量的GH200与H100 GPU相比，性能高出17%。

GH200超级芯片最新版是在2023年8月的世界顶级计算机图形学会议SIGGRAPH上公布，预计将于2024年第二季投产。其最大特点是集成了Grace CPU和H100 GPU，并通过高达900GB/s的NVLink连接，实现了卓越的CPU-GPU协同计算性能。