使用NVIDIAJetsonOrin在边缘提供服务器级性能。

 行业动态     |      2023-05-18 17:21:33    |      沥拓

  


  AI机器人和其他独立机器的开发和部署正在加快。随着新一代应用的出现,处理即时并行运行的多模态AI应用,需要大大提高AI的计算性能。


  人与机器人的互动在零售店、食品配送、医院、仓库、工厂车间等商业应用中日益增多。这些自主机器人必须同时执行3D感知、自然语言理解、路径规划、避障、姿势估算等行为。这些行为不仅需要超高的计算性能,还需要高度精确的神经模型进行每一种应用训练。


  NVIDIAJetsonAGXOrin模块是NVIDIAJetson家族的最新成员,并且具有最强的性能。该模块具有极强的性能和领先的能效,可以运行所有NVIDIAAI软件,并且可以驱动新一代高要求的边缘AI应用。


  JetsonAGXOrin和JetsonOrinNX系列系列


  我们宣布,今年第四季度将在2022年春季GTC会议上推出四个JetsonOrin模块。JetsonOrin模块的最高性能达到每秒275万亿次。(TOPS),可以在边缘运行服务器级AI,并且具有端到端应用流水线加速功能。JetsonXavier模块相比,JetsonOrin为现代AI应用带来了更高的性能、能效和推理能力。


  AI算率性能对比


  JetsonAGXOrin系列包括JetsonAGXOrin64GB和JetsonAGXOrin32GB模块。


  最高算力为275TOPS的JetsonAGXOrin64GB,功率设备范围为15W至60W。


  这类模块具有相同的紧凑外观,与JetsonAGXavier系列模块的引脚兼容,性能提高了8倍,或者在相同的价格下提高了6倍。


  继续增加边缘和嵌入式系统的传感器数量、性能和带宽。JetsonAGXOrin系列不仅为处理这些传感器提供了额外的计算率,还增加了I/O:


  PCIeGen4通道高达22条。


  10Gb4个以太网


  CSI通道速度更快。


  双倍存储空间选择64GBeMMC5.1。


  内存带宽的1.5倍


  有关详细信息,请参考JetsonOrin产品页面。(https://developer.nvidia.com/embedded/jetson-orin)以及JetsonAGXOrin系列数据表(https://developer.nvidia.com/embedded/downloads#?search=DataSheet&tx=$product,jetson_agx_origin)。


  USB3.2、UFS、MGBE和PCIe共享UPHY通道。有关UPHY设备的支持,请参考设计指南。(https://developer.nvidia.com/embedded/downloads#?search=JetsonAGXOrinProductDesignGuide)。


  NVIDIAOrinNX系列包括JetsonOrinNX16GB和JetsonOrinNX8GB,前者最大AI算率为100TOPS,后者最大AI算率为70TOPS。该系列采用了类似JetsonXavierNX的设计理念。我们将NVIDIAOrin架构封装到最小的Jetson尺寸(即260针SODIMM),并且完成了较低的功耗。


  您可以在新一代超小型商品中获得这种更强大的性能,如无人机、手持设备等。JetsonOrinNX16GB的功率设备范围为10W到25W,JetsonOrinNX8GB的功率设备范围为10W到20W。


  OrinNX系列的外观与JetsonXavierNX系列相兼容,其性能是后者的5倍,或者在同样的价格下是后者的3倍。OrinNX系列还提供了多达7个PCIe通道和3个10GbpsUSB3.2接口的额外高速I/O能力。为了扩大存储空间,您可以使用额外的PCIe通道连接外部NVMe。有关详细信息,请参考JetsonOrin产品页面。


  围绕NVIDIAXavier系统级ic设计的JetsonAGXXavier,NVIDIAXavier是我们重新开发自主机器的第一个架构。NVIDIAOrin架构将这类产品提升到了一个新的水平,我们在此基础上不断开发出能力、性能和能效更强的系统级芯片。


  JetsonOrin模块包括以下内容:


  GPU的NVIDIAAmpere架构高达2048个CUDA核和64个Tensor核。


  ArmA78AECPU核多达12个


  两个新一代深度学习加速器(DLA)


  电脑视觉加速器


  还有许多其它用途可以减轻GPU和CPU处理器的负担:


  视频编码器


  视频解码器


  视频图像合成器


  图像信号转换器


  传感器处理引擎


  音频处理引擎


  JetsonOrin使用系统级模块级模块,就像其它Jetson模块一样。(SOM)设计。模块上包含了所有的处理、内存和电源轨道。所有的高速I/O都是通过一个699针的连接器(JetsonAGXOrin系列)或者一个260针的SODIMM连接器(JetsonOrinNX系列)提供的。这个SOM设计可以让你快速地将模块集成到你的系统设计中。


  JetsonAGXOrin开发者套件


  NVIDIA还宣布在GTC2022上推出JetsonAGXOrin开发者套件。这个开发套件包含了所有快速启动和运行所需的工具。它包含了JetsonAGXOrin模块的最高特性,并运行了世界上最先进的深度学习软件堆栈。该套件提供了建立当前和未来复杂AI解决方案所需的灵活性。


  该开发者套件凭借其紧凑的尺寸、高速接口和大量的连接器,特别适用于制造、物流、零售、服务、农业、智慧城市、医疗、生命科学等领域的先进AI机器人和边缘应用原型设计。