英伟达GTC大会万字总结

 行业动态     |      2023-03-28 16:40:53    |      沥拓

  


  产业研究系列


  欢迎来到GTC大会。GTC是我们开发者的盛大仪式。全球NVIDIA生态系统包括400万开发者、4万家公司和1.4万家初创公司。感谢我们的裸钻赞助商,他们为我们提供了全力支持,帮助我们在2023年GTC大会上取得了巨大的成功。就在四年前,我们的线下GTC大会只有8000名参与者。在2023年GTC会议上,阿贡实验室的Valeritaylor、AdobeScottBelsky、NetflixPaulDebevec、苏黎世联邦理工学院Thomasschulthess等领导人学习,我还将与创建ChatGPT的OpenAI公司创始人Ilyasutskever进行特别讨论。


  来自学术界和全球大型行业的精英奖带来了650场精彩的演讲:仅70多场与生成人工智能相关的演讲。其他精彩的演讲,如适合机器人开发的预训练多任务模型,以及促进人工智能发展的重要方法——生成数据生成的演讲,包括如何使用Isaacsim生成基于物理性质的激光雷达点云。还有一系列关于数字双胞胎的演讲,从使用人工智能扩展未来的虚拟工厂到再现失去的古罗马赛克艺术作品。


  计算设备的酷演讲包括巨型光学望远镜和光子计数CT,以及碳捕获和太阳能电池材料科学和气候科学的讨论,以及我们在Earth-2上所做的工作。NVIDIA研究团队还将发表重要演讲,讨论值得信赖的人工智能和人工智能安全问题。还有从微芯片计算光刻技术到最小机器的制造,再到在大型强子对撞机中使用人工智能来解释宇宙的问题。


  会议汇集了世界上最重要的公司和企业,包括汽车和交通、医疗保健、制造、金融、零售、服装、媒体和娱乐、电信和世界顶级人工智能公司。GTC会议的目的是鼓励世界,告诉你加快计算是可以实践的。并为科学家和研究人员通过使用该技术取得的成就欢呼。


  NVIDIA率先推出加速计算,有效解决了一般计算机无法解决的问题。加快计算并不容易。它需要从芯片、系统、网络、加速库到重建应用的全栈发明,从图形、图像、颗粒或流体力学、量子物理学到数据处理和机器学习,每一个优化的堆栈都会加快应用领域。加速后,应用程序可以获得令人难以置信的速度,并扩展到许多计算机。


  在过去的十年里,加快与垂直扩展的整合使我们能够提高许多应用程序的性能,从而有利于处理以前无法解决的问题。虽然有很多例子,但最著名的例子之一是深度学习。2012年,AlexKerchevsky、IlyaSuskever和Geoffhinton需要一台超快的计算机来训练Alexnet计算机视觉模型,研究人员在GeforceGTX580中使用1400万张图像来训练Alexnet,可处理262千万亿次浮点运算。经过训练的模型以压倒性的优势获得了Imagenet大赛,并引发了AI的大爆炸。


  十年后,Transformer模型问世。现在,在OpenAI工作的Ilya训练了GPT-3大型语言模型来预测下一个单词。训练GPT-3需要323x10e21浮点运算,浮点运算量是训练Alexnet的100万倍。结果,ChatGPT是震惊世界的人工智能。新的计算平台已经诞生,人工智能的“iPhone时刻”即将到来,加速计算和人工智能技术已经进入现实。


  加速库是加速计算的核心。这些加速库连接到各种应用程序,然后连接到各行各业,形成网络中的网络。经过30年的发展,1000多个数据库加速了1000多个应用程序,几乎涉及到科学和工业的各个领域。所有的NVIDIAGPU都与CUDA兼容,为开发者带来了巨大的安装基础和广泛的覆盖范围。大量的加速应用程序吸引了终端用户,为云服务提供商和计算机制造商创造了巨大的市场,足以投资数十亿的研发支出来促进其增长。


  NVIDIA建立了加快计算的良性循环。在300个加速库和400个人工智能模型中,包括光线跟踪和神经渲染、物理、地球和生命科学、量子物理和化学、计算机视觉、数据处理、机器学习和人工智能,我们今年更新了100个,让所有正在使用的客户都能体验到更高的性能和更多的功能。


  接下来,我将重点介绍一些能够解决新挑战、开拓新市场的加速库。CFD用于汽车和航空航天行业的湍流和空气动力学模拟,CFD用于电子行业的热管理设计。这是Cadenceppt,展示了CUDA加速的新CFD求解器。在相同的系统成本下,NVIDIA100的吞吐量是CPU服务器的9倍。或者,在相同的政策吞吐量下,NVIDIA的成本下降了9倍,能耗下降了17倍。Ansys、Siemens、Cadence和其他先进的CFD求解器现在使用CUDA加速。在全球范围内,工业CAE每年使用近1000亿CPU核心小时。加快计算是降低功耗、实现可持续发展和净零排放的最佳途径。


  NVIDIA正在与全球量子计算研究社区合作。NVIDIAQuantum平台由库和系统组成,供研究人员推广量子编程模型、系统架构和算法。用于量子电路仿真的CuQuantum加速库,IBMQiskit、GoogleCirq、百度量易伏,QMWare、QuEra、XanaduPennylane、Agnostiq和AWSBracket已将cuQuantum集成到他们的仿真框架中。OpenQuantumCUDA是我们的混合GPU-Quantum编程模型IonQ、ORCAComputing、Atom、QuEra、OxfordQuantumCircuits、IQM、Pasqal、QuantumBrilliance、Quantinuum、Rigetti、Xanadu和Anyon已集成OpenQuantumCUDA。为了从量子噪声和退相干中恢复数据,必须纠正大量子比特。


  今天,我们宣布推出一个与Quantummachines合作开发的量子控制链接。它可以将NVIDIAGPU连接到量子计算机,以极快的速度纠正错误。虽然商用量子计算机还有十到二十年,但我们很高兴通过NVIDIAQuantum支持这个充满活力的大型研究社区。全球企业使用ApacheSpark处理数据湖和仓库、SQL查询、图形分析和推荐系统,Spark-RAPIDS是NVIDIA加速的ApacheSpark数据处理引擎。数据处理是全球5000亿美元云计算支出的主要工作负荷。


  如今,Spark-RAPIDS可以加速包括GCPDataprococ在内的主要云数据处理平台。、AmazonEMR、Databricks和Cloudera,建议使用向量数据库对非结构化大数据进行存储、检索、搜索和检索。


  在文本生成过程中,向量数据库的一个新的重要用例是大型语言模型,它可以用来检索具体的事实或专有事实。为了加快检索、数据加载和紧邻检索,我们将推出一个新的数据库,即RAFT。在Meta开源FAISSAI相似度搜索中,我们正在加速RAFT,超过1000个组织使用的Milvus开源向量数据库和Redis下载频率超过40亿个Docker镜像。对建立专有大型语言模型的组织而言,向量数据库尤为重要。


  运筹学研究科学家Li和Lim在22年前发布了一系列具有挑战性的拣货和配送问题。(PDP)。PDP出现在生产、运输、零售、物流甚至救灾等领域。PDP是旅行者问题的泛化,也是NP-hard问题,这意味着没有有效的算法来找到准确的解决方案,随着问题规模的增加,解决方案的时间可以逐渐增加。NVIDIAcuOpt采用进化算法和加速计算,每秒分析300亿个动作,打破世界纪录,并为Li和Lim的测试找到合适的解决方案,AT&为700个地理区域的1300万用户提供服务,T定期派遣3万名技术人员。


  现在,如果是在CPU上运行,AT&提高T的调度需要一整夜的时间,AT&T处理后找到实时调度解决方案,可以不断优化紧急客户需求和整体客户满意度,同时可以调整延迟和新事件。借助cuOpt,AT&T能加快100倍的查找解决方案速度,并实时更新其调度方案。AT&除了Spark-RAPIDS和cuOPT之外,T已经选择了整套NVIDIAAI库,他们还将Riva用于对话AI,并将Omniverse用于数字人。AT&T正利用NVIDIA加快计算和AI,实现高可持续性、成本节约和新服务。


  CuOpt还可以提高物流服务。每年有4000亿个包裹投递到3770个网站,德勤、Capgemini、Softserve、利用NVIDIAcuOpt,埃森哲和Quantiphi可以帮助客户优化运营。NVIDIA的推理平台由三个软件SDK组成,NVDIATensorRT用于推理运行时对指定GPU进行性能优化;NVIDIATriton用于数据中心的推理服务,支持多个深度学习框架,支持GPU和CPU。包括MicrosoftOffice和Teams在内的TensorRT和Triton拥有4万多名客户,Amazon、美国运通和美国邮政署。Uber使用Triton每秒为数十万辆车预测到达时间,Roblox拥有超过6000万日常用户,它使用Triton来安排包括游戏推荐、虚拟形象构建、审批内容和市场广告在内的模型。


  我们将发布一些强大的新功能:支持集成模型的模型分析器,并发多模型服务,以及更多适合GPT-3语言模型的GPU。、多节推理。NVIDIATritonManagementService是我们的新软件,可以自动扩展和安排Triton在整个数据中心的推理示例。NVIDIATritonManagementService将帮助您提高部署模型的吞吐量和成本效率,CPU上运行50%-80%的云视频管道,增加了功耗和支出,增加了延迟。


  CV-CUDA用于计算机视觉,VPF用于视频处理,是一个新的云规模加速库,CV-CUDA包含30个计算机视觉算法,可以用于检测、分割和分类。VPF是一个Python视频编码加速库,腾讯每天使用CV-CUDA和VPF处理30万个视频,Microsoft使用CV-CUDA和VPF来处理视觉搜索,超酷的Runway公司使用VC-CUDA和VPF来处理其云生成AI视频编辑服务的视频。视频已占互联网流量的80%,客户产生的视频内容明显增加,消耗了大量的能源,我们应该加快处理。CV-CUDA和VPF处于第一体验阶段。


  NVIDIA加快了计算,帮助基因组学实现了里程碑式发展,现在医生可以在同一次就医中抽取病人的血液,并对其DNA进行测序。另一个里程碑是利用NVIDIA辅助的仪器设备,将整个基因组测序的成本降低到只需100美元。从药物研发、农业到能源生产,基因组学是合成生物学的重要工具,其应用范围非常广泛。


  NVDIAParabricks是一套AI加速库,可用于云端或仪器设备中的端到端基因组分析,NVDIAParabricks适用于各种公共云和基因组学平台。今日,我们宣布将在PacBioo上推出Parabricks4.1、OxfordNanopore、Ultima、Singular、第四代NVIDIABioNano和Nanostring加速了基因组学设备的运行。全球价值2500亿美元的医疗设备市场正在发生变化,医疗设备将由软件定义,并由AI赋能。


  NVIDIAHoloscan是一个应用于即时传感器处理系统的软件库,超过75家公司正在通过Holoscan开发医疗设备。今日,我们宣布,全球医疗设备行业的领导者Medtronic将与NVIDIA携手为软件定义的医疗设备搭建一个AI平台。这次合作将为Medtronic系统打造一个通用的平台,包括手术导航到机器人辅助手术。今日,Medtronic宣布将在年底建立一个新一代的肠道系统,基于NVIDIAHoloscanan。


  芯片行业几乎是各行各业的基础。芯片制造需要高精度,生产特性比细菌小1000倍,大小约为一个金原子或人类DNA链的大小。光刻,即在晶圆上建立图案的过程,是芯片制造过程的起始阶段,包括光掩模制造和图案投影两个阶段。


  从根本上说,这是一个物理极限下的显像问题。光掩模就像芯片中的模板光源被阻挡或穿过掩模,到达晶片形成图案。光源由ASMLEUV极紫外线光刻系统产生,每个系统的价值超过2.5亿美元。ASMLEUV采用颠覆性的方式制造光源,激光脉冲每秒向一滴锡发射5万次,使其气化,产生一种等离子体,可发射13.5纳米EUV光,几乎为X射线。多层镜面可以引导光源到光掩模,光掩模中的多层反射器可以使用13.5纳米的真实纳米。


  晶圆的定位精度达到四分之一纳米,每秒对准2万次,以消除任何振动的影响。雕刻前的过程也令人难以置信。用逆物理算法计算雕刻来预测模板上的图案,以确保最终图案在晶圆上生成。事实上,模具上的图案与最终特征完全不同。计算雕刻模拟光通过光电设备与雕刻胶相互作用时的行为,这些行为都是麦克斯韦方程组描述的。


  计算光刻是芯片设计和制造领域最大的计算负荷,每年消耗数百亿CPU小时,大型数据中心全天候运行24x7,以建立光刻系统的掩模板。这些信息中心是芯片制造商每年投资近2000亿美元的一部分。随着算法的日益复杂,计算光刻技术也在迅速发展,使整个行业达到2纳米或以上。


  NVIDIA今天宣布推出culitho-计算光刻库。culitho是一项持续了近四年的巨大任务。我们与台积电、ASML和Synopsys密切合作,加快了计算光刻的40倍以上。NVIDIAH100需要89个掩模板。在CPU上运行时,处理单个掩模板需要两周时间。


  如果culitho在GPU上运行,则只需8小时即可处理一个掩模板。通过在500个DGXH100系统中使用culitho加速台积电能,将功率从35MW降至5MW,然后取代4万台用于计算光刻的CPU服务器。借助culitho,台积电可以缩短原形周期,提高效率,减少制造过程中的碳足迹,为2纳米及以上的生产做好充分准备。台积电将于6月开始对culitho进行加工资格认证。所有行业都需要加快各种工业负荷,以降低功耗,事半功倍。


  在过去的十年里,云计算每年增长20%,成为一个价值1万亿美元的巨大行业。大约3000万台CPU服务器完成了大部分处理工作,挑战即将到来。随着摩尔定律的结束,CPU特性的提高也会伴随着功耗的增加。此外,减少碳排放的任务从根本上违背了增加数据中心的需要,云计算的发展受到功耗的限制。首先,数据中心必须加快各种工作负荷,这将降低功耗。节能可以促进新的增长,未经加速的工作负荷将在CPU上处理。


  加速云数据中心的CPU关注的焦点与过去有根本的不同。在人工智能和云服务中,CPU可以处理WebRPC和数据库等其他工作负载。我们为人工智能和云优先行业开发了GraceCPU,其中GPU加快了人工智能工作负载,Grace擅长单线程执行和内存处理。但这不仅是CPU芯片的问题,而且数据中心管理员负责优化整个数据中心的吞吐量和TCO。


  为了在云数据中心的规模下实现高能效,我们制定了Grace。Grace包括72个Arm核心,可以提供3.2TB/s截面带宽,GraceSuperchip通过900GB/s的低功耗芯片连接到芯片缓存一致接口,连接两个CPU芯片之间的144个核。内存系统由LPDR低功耗内存组成(类似于手机使用),我们专门加强了这一点,以便在数据中心应用。它提供了1TB/s的带宽,是目前系统的2.5倍,功耗只有1/8。整个144核GraceSuperchip模块的尺寸仅为5x8英尺,内存高达1TB。该模块功耗极低,风冷,是一个包含被动冷却功能的计算模块。两台GraceSuperchip计算机可安装在1U风冷服务器中,正常运行。


  Grace的性能和能效特别适合云计算应用和科学计算应用,我们使用流行的Google基准测试(测试云微服务的通信速度)和Hi-Bench套件(测试ApacheSpark内存密集型数据处理)来测试Grace,这是云数据中心的基础。Grace在微服务方面的平均速度比最新一代x86CPU快1.3倍,但在数据处理方面却快1.2倍。而且,为了提供如此高的性能,整个机器的功耗只有同一个服务器的60%。云服务提供了1倍。Atos、GB、HPE】QCT、Supermicro、目前,Wistron和ZT正在构建系统。


  在现代软件定义的数据中心中,数据中心的CPU核心和相关功耗在实施虚拟化、网络化、存储和安全任务时会消耗一半。数据中心必须加快每个工作负荷,从而降低功耗,释放CPU,为可创造收入的工作负荷。NVIDIABlueField卸载并加快数据中心操作系统和基础设施软件,CheckPoint、思科、DDN、DellEMC、Juniper、利用BlueField的数据中心,PaloAltoNetworks可以更有效地运行其软件平台。BlueField-3已经投入生产,并被领先的云服务提供商选择加快其云计算平台,如百度,CoreWeave、京东、MicrosoftAzure、OracleOCI和腾讯游戏。


  NVIDIA加速计算始于DGX(AI超级计算机),这是实现大语言模型突破背后的引擎,我亲自将世界上第一个DGX交给OpenAI。此后,“财富”100强企业中有一半安装了DGXAI超级计算机,DGX已经成为AI领域的必备工具。为了应对类似令人惊叹的ChatGPT模型,DGX配备了8个H100GPU模块,H100配备了Transformer引擎。ChatGPT是生成式预训Transformer模型的代表。


  8个H100协调工作,就像一个巨大的GPU,计算网络是AI超级计算机的重要系统之一,NVIDIAQuantumInfiniBand400Gbps延迟极低,可以将数千个DGX节点连接到一台非常AI计算机上。NVIDIADGXH100是全球客户构建AI基础设施的蓝图,现在已经全面投入生产。


  令我兴奋的是,微软宣布Azure将向H100A1超级计算机开放个人预览版,Atos、AWS、Cirrascale、CoreWeave、戴尔、Gigabyte、谷歌、HPE、LambdaLabs、联想、Oracle、同时,Quanra和SuperMicro也将迅速打开系统和云服务。DGXAI超级计算机市场大幅增长,DGXAI超级计算机从最初作为AI研究工具开始不断扩大其应用范围,可以全天候运行以提高数据和处理AI。DGX超级计算机是当代AI工厂,我们正处于AI的“iphone时刻”,创业公司正在争相构建颠覆性的产品和商业模式,而老牌公司正在寻找应对方法。


  生成AI引起了全球企业制定AI战略的危机感,客户需要更简单、更快捷地浏览NVIDIAAI。通过与MicrofostAzuree一起,我们宣布推出NVIDIADHXCloud、GoogleGCP与OracleOCI合作,NVIDIADGXAI超级计算机可以通过浏览器即时连接到每个企业。NVIDIAAIAAIEnterprise可以在DGXCloud升级后运行,这是一个全球领先的加速库套件,用于AI端到端的开发和部署。


  DGXCloud为用户提供优秀的NVIDIAAI和世界主要的云服务提供商,这种合作将NVIDIA的生态系统引入到云服务提供商身上,NVIDIA触及的范围得到了拓展。这一双赢的战略伙伴关系为迫切需要使用生成式AI的用户提供了一个机会,他们可以在全球云中即时浏览NVIDIAAI。我很高兴我们的商业模式在云上以这种速度、规模和覆盖范围扩展。OracleCloudInfrastructure(OCI)OCI将成为第一个NVIDIADGXCloud,它具有双层计算网络和管理网络,NVIDIACX-7具有行业内RDMA功能最好的计算网络,BlueField-3将成为Cpu的管理网络基础设施。这是一款先进的DGXAI超级计算机,可以为多租户提供云服务。我公司拥有50家EA企业客户,包括消费因特网和软件,医疗保健,媒体,娱乐和金融服务。


  ChatGPT、StableDiffusion、DALL-E和Midjourney唤醒了世界对生成式AI的认识,这些应用的便利性和令人印象深刻的功能在短短几个月内就吸引了超过1亿的用户。ChatGPT是迄今为止用户数量增长最快的应用程序,不需要训练就可以给这些模型下指令。您可以使用准确的提醒,也可以使用模拟提醒,如果提醒不够清晰,ChatGPT会根据对话了解您的意图。ChatGPT可以编写记事本和诗歌,重写研究论文,解决数学问题,突出合同的关键点,甚至编写软件。


  ChatGPT是一台计算机,它不仅可以运行软件,还可以编写软件。许多突破性成果创造了生成式AI,Transformer可以从数据的关系和依赖中大规模并行学习语言和含义,这使得大型语言模型可以使用大量的数据进行学习。他们可以在没有明确训练的情况下执行下游任务,物理启发的扩散模型可以通过无监督学习生成图像。


  在短短的几十年里,我们经历了真正的猫形象,从试图识别猫到在月球上穿着太空服行走。生成AI是一种新型计算机,一种我们可以用人类语言编程的计算机,具有深远的意义。每个人都可以指示计算机解决问题。在此之前,这是一个只有计算机程序员才能接触的领域,但现在每个人都可以成为程序员。生成AI是一个新的计算平台,与PC、互联网、移动终端和云类似于以前的计算时代。先锋们正在建立一个新的应用程序并建立一个新的公司,以应用生成式AI的自动化和协同创作能力。借助Debuild,用户可以设计和部署web应用程序,只需表明他们想要的内容。


  Grammerly是一个可以结合上下文的写作助手,Tabnine可以帮助开发者编写代码,Omnekey可以生成定制的广告和文案,Kore.作为一个虚拟客户服务,Jasper可以生成营销材料,Jasper已经写了近50亿字,缩短了80%的原稿生成时间。Insilico使用AI来加快药物设计,Absci使用AI来预测抗体的治疗。


  生成AI将重塑几乎所有行业,许多公司可以使用一个优秀的生成AIAPI,即将上市。一些专业领域的企业需要使用自己的专有数据来构建定制模型,他们需要制定使用规范和优化模型,以满足企业的安全、隐私和安全要求。


  这一行业需要一个类似于台积电的代工厂来构建自定义的大型语言模型。今日,我们宣布推出NVIDIAAIFoundations,它是一种云服务,用于构建、优化和运行定制LLM(大型语言模型)和生成AI,并使用其专有数据进行实践。NVIDIAAIFoundations包括语言、视觉和生物模型制作服务。NVIDIANemo用于构建定制的语言文本转文本生成模型,用户可以引入自己的模型,也可以从Nemo那里进行。、GPT-43、GPT-预训练模型,如530等数十亿参数。NVIDIAAI专家将全程与您合作,从建立专有模型到运营。


  “生成模型,如NVIDIA的43B基本模型,通过基于数十亿个句子和数万亿个单词的练习来学习。随着模型的收敛,它开始理解单词与其基本概念之间的关系,这些关系是通过模型嵌入空间中的权重来捕捉的。Transformer模型采用了一种叫做自我注意力的技术:一种机制,旨在学习一系列单词中的依赖和关系,其结果是获得一种模型,可以为类似ChatGPT的感觉奠定基础。这些生成模型需要大量的数据步骤训练和专业分布训练。


  Picasso是一项针对希望使用许可内容或专有内容来训练自定义模型客户的视觉语言模型制作服务。GettyImages将利用Picasso服务构建Edify图片和Edify视频生成模型,这些模型基于其丰富的内容库进行实践,其中包括大量的专业图像和视频模板,以负责任的方式获得许可,企业可以使用简单的文本或图像提醒来建立自定义的图像和视频。Shutterstock正在开发一个Edify-3D生成模型,由于它的专业图像、3D和视频素材库而练习。Shutterstock将有助于简化3D材料的建立过程,用于创意制作、数字孪生和虚拟合作,使企业能够更快、更容易地完成这些任务。我宣布,我们与Adobe的长期合作将迎来重要的扩张,我们将共同构建一系列新一代AI功能,在创意领域创造未来。将生成式AI融入到销售人员和创意专业人员的日常工作流中,新的生成式AI模型将优化图像、视频、3D和动画制作。Adobe正在开发以商业可行性和正确内容归属为重点的方案,以保护艺术家的权利,这一方案得到了Adobe的“内容真实性倡议”的支持。


  我们的第三个语言领域是生物学,药物研发是一个价值近2万亿美元的行业,研发投资高达2500亿美元。NVIDIAClara是一个用于影像、仪器、基因组学分析和药物研发的医疗健康应用框架。目前,该行业正在转向使用生成AI来发现疾病的靶因,设计新的分子或蛋白质药物,以及检测药物对人体的作用。数百家新的AI药物研发初创公司相继出现,一些公司已经发现了新的目标或替代药物,并开始了身体临床试验。BioNe帮助MAmgen、AstraZeneca、InsilicoMedicine和其他公司都是BioNeMO最初的客户。


  NVIDIAAIFoundations是一家用于构建自定义语言模型和生成AI的云服务和代工厂。自十年前AlexNet推出以来,深度学习开辟了一个巨大的新市场,包括自动驾驶、机器人和智能音响,并重塑了我们购物、了解新闻和享受音乐的方式。这只是冰山一角。随着生成AI掀起新一波基于浪潮的浪潮,AI正处于转折点,推理负荷呈台阶函数增长。


  AI可以生成多种数据,设计一个云数据中心来处理生成AI是一个巨大的挑战。一方面,最好在理想的前提下使用加速器,因为它可以使数据中心具有弹性,并且可以应对不可预测的流量峰值和低谷。另一方面,NVIDIA的OneArchitecture平台兼顾了加速功能和弹性,因为没有一个加速器可以以最好的方式处理算法、模型、数据类型和数据大小的多样性。


  今日,我们宣布推出一个全新的推理平台:四种设备-一个系统架构-一个软件栈,每一种设备都优化了某一类工作负载。L4是针对AI视频工作负载推出的,它优化了以下几个方面:视频解码和编码,视频内容审核,视频通话功能等等。现在,大多数云视频都在CPU上处理,一台8-GPUL4服务器将取代100多台用于处理AI视频的双插槽CPU服务器。NVIDIAAI是NVIDIAAI在计算机视觉和推荐系统中处于领先地位的客户,Snapp4将