圣克拉拉在加利福尼亚州–GTC–2023年3月21日太平洋时间–NVIDIA今天推出了四个推理平台。这些平台优化了各种快速兴起的生成AI应用，可以帮助开发者快速构建AI驱动的专业应用，提供新的服务和洞察力。
NVIDIA的全栈推理软件和NVIDIA最新的NVIDIAAda、包括今天推出的NVIDIAL4TensorCoreGPU和NVIDIAH100NVLGPU在内的Hopper和GraceHopperCpu相结合。各平台优化了AI视频、图像生成、大型语言模型部署、推荐系统推理等需求激增的工作负载。
NVIDIA创始人兼首席执行官黄仁勋表示:“生成AI的兴起需要一个更强大的推理计算平台。生成AI应用的总数是无限的，它唯一的限制就是人类的想象力。为开发者提供最强大、最灵活的推理计算平台，将加快创造新服务的速度。这些新服务将以前所未有的方式改善我们的生活。”
加快生成式AI的各种推理工作负载集合
每一个平台都包含一个NVIDIAGPU和一个专门用于提高特定生成式AI推理工作负载的软件：
NVIDIAL4适用于AI视频，可以提供比CPU高120倍的AI视频性能，同时可以提高99%的能效。这款通用GPU适用于大多数工作负载，提供更强大的视频解码和转码能力，视频流传输，增强现实，生成AI视频等等。
NVIDIAL40适用于图像生成和AI支持的2DIAL40。、优化了视频和3D图像生成。L40平台是NVIDIAOmniverserser™与上一代商品相比，StableDiffusion的推理性能提高了7倍，Omniverse性能提高了12倍，这是一个用于在数据中心构建和运行元宇宙应用的平台。
NVIDIAH100NVL适用于大型语言模型部署，它是一种大型语言模型，如ChatGPT。(LLMs)一个理想的平台。这个新的H100NVL拥有94GB内存和Transformer引擎加速，与上一代A100相比，数据中心规模更快，GPT-第三，推理性能提高了12倍。
NVIDIAGraceHopper适用于推荐模型，是图形推荐模型、矢量数据库和图形神经网络的理想平台。GraceHopper的传输数据和查询速度比PCIe5.0快7倍，通过NVLink-C2C以900GB/s的速度连接CPU和GPU。
这类平台的软件层选择NVIDIAAIEnterprise软件套件，包括NVIDIATensorRT，用于高性能、深度学习和推理的软件开发套件™，并协助开源推理服务软件NVIDIATritonInferenceServerver实现模型部署规范化。™。
早期的用户和支持
谷歌云是NVIDIA推理平台的重要云合作伙伴和初始客户。该公司是第一家提供L4案例的云服务提供商，将L4平台整合到其机器学习平台VertexAI中，其G2虚拟机私人预览版今天已经推出。
今天，NVIDIA和谷歌宣布了两个机构——Descript和谷歌云中使用L4的第一批机构WOMBO，利用生成式AI帮助创作者制作视频和播客，后者提供“Dream“这个AI驱动的文本–数字化艺术转换应用程序。
另一位早期用户Aautorapper提供了一个短视频应用程序，利用GPU解码传输的实时流媒体视频，捕捉关键帧，提高音频和视频。随后，它使用了一个基于Transformer的大型模型来理解多模式内容，从而增加了全球数亿用户的点击量。
Aautorapper高级副总裁于越说:“Aautorapper推荐系统服务的社区每天有3.6亿多客户，每天有3000万个UGC视频。在相同的整体拥有成本下，NVIDIAGPU将系统的端到端吞吐量提高了11倍，延迟将减少20%。”
D生成式AI技术平台领先-ID，使用NVIDIAL40GPU从文本中生成逼真的数字人，支持任何内容生成人脸，不仅帮助专业人士改进视频内容，而且减少了大规模视频制作的成本和麻烦。
D-“L40的性能非常惊人，”IDR&D副总裁OrGorodissky说。有了它，我们的推理速度翻了一番。D-ID很高兴把这个新硬件作为我们产品的一部分，AI人实时传输了前所未有的性能和分辨率，降低了我们的会计成本。"
SeyhanLee是一家领先的AI制作工作室，它使用生成式AI来开发电影、广播和娱乐产业的互动体验和迷人的创意内容。
SeyhanLee创始人PinarDemirdag说：“L40GPU为我们的生成AI应用带来了惊人的性能提升。我们可以以惊人的速度和精确的速度，以L40的推理能力和内存空间，为客户提供创新的服务，安排非常先进的模型。
Cohere在语言AI领域运行的先锋平台，促使开发者在保护数据隐私和安全的同时，构建自然语言模型。
“凭借NVIDIA全新的高性能H100推理平台，CohereCEOAidanGomez表示：“我们可以使用先进的生成模型，为用户提供更高质量、更高效的服务，推动对话AI、各种NLP应用的发展，如多语言企业搜索、信息提取等。