NVIDIA发布MagnumIO软件包,协助数据科学家和AI处理数据瓶颈问题的高性能计算研究人员

 行业动态     |      2022-08-04 14:11:08    |      沥拓

  

  NVIDIA全新MagnumIO该套件可以帮助数据科学家和AI与之前的高性能计算研究理海量数据的速度比以前快了20倍。MagnumIO可以以任何理由运行NVIDIA在提供支持的系统上,包括图上所示的系统DGXSuperPOD。

  丹佛——SC19——2019年11月18日——NVIDIA于今日发布NVIDIAMagnumIO软件套件。该产品允许数据科学家和数据科学家AI而高性能计算研究人员可以在几分钟内解决过去需要几个小时才能完成的海量数据。

  MagnumIO处理存储和输入/导出(I/O)遇到瓶颈的问题得到了改善。升级后,实施复杂的财务分析和气候建模,需要处理大量数据集的高性能计算工作负载,多服务器,多服务器GPU与之前相比,计算节点的数据响应速度提高了20倍。

  MagnumIO是NVIDIA包括许多网络和存储行业的领导者DataDirectNetworks,Excelero,IBM,Mellanox和WekaIO)密切合作的结果。

  NVIDIA创始人兼CEO黄仁勋说:“AI数据驱动科学的核心是处理可以收集或模拟的大量数据。然而,随着数据的规模和速度呈指数级增长,数据处理本身已经成为数据中心面临的最大挑战和主要成本之一。”

  他还表示:“顶级计算需要顶级计算I/O。MagnumIO能够为I/O具有革命性的存储计算性能NVIDIAGPU加快。AI研究人员和数据科学家可以在不等待数据的情况下集中精力完成工作。”

  MagnumIO的核心是GPUDirect。它为数据提供了一的数据提供了一条路径CPU,而在GPU,存储和网络设备“开放式高速公路”上传。GPUDirect由点对点和RDMA组件组成,兼容多种通信互联产品和API,包含NVIDIANVLink™和NCCL以及OpenMPI和UCX。

  其最新部件GPUDirectStorage在浏览存储时,研究人员可以绕过它CPU,用于模拟、分析或可视化的拟、分析或可视化。

  NVIDIAMagnumIO但是软件已经上市GPUDirectStorage初始访问限制仅为部分客户提供。NVIDIA计划在2020年上半年向所有客户提供服务GPUDirectStorage。

  支持生态伙伴

  “最新的HPC和AI研究依赖于海量数据,其数据规模通常超过PB因此,需要更先进的领先技术来最有效地应对这一挑战。DDN使用NVIDIA的MagnumIO软件包和我们的并行EXA5存储结构开发新的直接数据路径,从而使GPU可以在高带宽下直接访问PB级数据存储。这种方法以前是不可能实现的。”

  ——DDN首席研究官,SvenOehme

  “今天,顶尖的HPC和AI研究人员需要浏览的数据量继续大幅增加,因此,I/O这已成为许多研究人员迫切需要解决的挑战。IBMSpectrumScale专为需要AI企业机构设计,加速运行数据密集型工作负荷。同时使用。IBMSpectrumScale和NVIDIAGPU加速可以帮助客户减少I/O瓶颈问题,让客户能够更快地从数据中获取所需的信息。”

  ——IBM存储产品管理副总裁,SamWerner

  “顶尖的HPC和AI研究人员选择Mellanox为他们提供最先进的技术,以便他们能够尽可能高效、快速地传输和处理海量数据。我们一直在和我们打交道NVIDIA保持合作,保证MagnumIO与Mellanox最新的InfiniBand实现与以太网互联网解决方案的无缝合作,帮助我们共同的客户克服数据瓶颈,促进客户的科学、研究和产品研发活动。”