在首次参加行业MLPerf基准测试时,基于NVIDIAAmpere架构的低功耗系统芯片NVIDIAOrin创造了新的AI推理性能记录,并在边缘提高了每个加速器的性能。
在第五轮生产级人工智能行业基准测试中,NVIDIA及其合作伙伴继续在所有机器学习的工作负荷和场景中展示高性能、广泛的生态系统。
在边缘人工智能领域,NVIDIAOrin预生产版在六项功能测试中的五项处于领先地位,其启动速度比上一代JetsonAGXXavier快5倍,能效均值提高2倍。
NVIDIAOrin参与了NVIDIAJetsonAGXOrin开发者套件,用于机器人和自动化系统。包括亚马逊网络服务、约翰迪尔、小松、美敦力和微软Azure在内的6000多家客户使用NVIDIAJetson平台进行人工智能推理或其他任务。
该系统级芯片也是NVIDIAHyperion无人驾驶汽车平台的关键组成部分。中国最大的电动汽车制造商比亚迪最近宣布,他们将在新一代自动驾驶电动汽车中使用内置的DRIVEHyperion架构。
Orin也是NVIDIAClarahoscan医疗设备平台的关键组成部分,该平台可供系统制造商和研究人员开发新一代AI仪器。
小模块组合成大堆栈成大堆栈
NVIDIAGPU,包括JetsonAGXOrin,是唯一能够运行所有六个MLPerf基准测试的边缘加速器。
有了JetPackSDK,Orin可以运行整个NVIDIAAI平台,这个软件堆栈已经在数据中心和云端进行了验证,并得到了NVIDIAJetson平台100万开发者的支持。
在最新一轮MLPerf推理测试中,NVIDIA及其合作伙伴继续在所有测试和场景中表现出领先的表现。
MLPerf标准获得亚马逊、ARM、百度、戴尔科技、百度、Facebook、谷歌、哈佛大学、英特尔、联想、微软、斯坦福大学和多伦多大学都得到了广泛的支持。
更多的合作伙伴和结果提交数量
NVIDIAI平台再次吸引了来自最广泛合作伙伴生态系统的MLPerf提交。
Azure在12月的MLPerf训练测试中表现出色,在本轮AI推理测试中也取得了优异的成绩。这两个测试都使用了NVIDIA100TensoreGPU。Azure的ND96amsr_A100_v4案例在大多数推理测试中与我们提交的8个性能最高的GPU相当,显示了公共云随时可以提供的能力。
系统制造商华硕和新华三在本轮检测中首次使用NVIDIAI平台提交MLPerf结果。他们加入了戴尔科技、富士通、技嘉、浪潮、联想、宁昌、美超微等系统制造商,他们已经提交了20多个NVIDIA认证系统结果。
MLPerf的重要性
我们的合作伙伴知道MLPerf是客户评估人工智能平台和供应商的宝贵工具,所以他们参加了这个测试。
MLPerf的各种测试包括最流行的人工智能工作负载和场景,用户可以了解人工智能平台在各种工作中的预期性能。
用软件大放异彩
所有我们在测试中使用的软件都可以从MLPerf软件库中获得。
我们的推理结果来自两个关键部件——用于改进人工智能模型NVIDIATensorRT和用于高效部署NVIDIATriton推理服务器。您可以在我们的GPU优化软件目录NGC上免费获得它们。
世界各地的企业机构都在选择Triton,包括Amazon、微软等云服务提供商。
我们不断将升级结果参与到NGC上的容器中,让每一位客户都能使用具有领先特性的人工智能进行加工。