著名的计算机科学家BillDally他的团队如何帮助他的团队?AI性能逐年翻倍

　　今天，NVIDIA首席科学家BillDally在GTC中国网上大会主题演讲说，NVIDIA研究人员致力于以更快的速度建造AI芯片，并用于带宽较高的系统，以简化编程。

　　他以三个项目为例，讲述了他领导的200人研究团队是如何成功实现的“黄氏定律(Huang’sLaw)”。这则以NVIDIA黄仁勋首席执行官(JensenHuang)名称命名定律，预测GPU将推动AI性能逐年翻倍。

　　Dally讲述：“黄氏定律是一个重要的指标，如果我们真的想提高计算机性能，它将永远适用于可预见的未来。Dally曾负责NVIDIA在AI，关于光线跟踪和高速互连的研究。”

　　NVIDIA助力AI推理性能每年翻倍以上

　　超高能效加速器

　　为了实现这一突破，NVIDIA研究人员专门开发了一种名称MAGNet它生成的工具AI在模拟测试中，推理加速器可以达到每瓦100teraops与目前的商用芯片相比，推理能力高出一个数量级。

　　MAGNet一系列新技术被用来协调和控制通过设备的信息流，最大限度地减少数据传输，而数据传输是当今芯片中最耗能的环节。这种研究原型是模块化的，因此可以灵活地扩展。

　　此外，研究小组还进行了一项研究，旨在用更快的光链路取代现有系统中的电气链路。

　　利用所有光子的潜力

　　BillDally2009年拥有120多项专利NVIDIA曾任斯坦福大学计算机科学系主任。Dally表示：“我们可以连接GPU的NVLink速度翻倍，也许还会翻倍，但是电子信号最终会耗尽。”

　　该团队正在与哥伦比亚大学的研究人员密切合作，讨论如何使用电信供应商在其核心网络中使用的技术通过光纤传输数十个信号。

　　这种名为“密集波分复用”技术有望在只有一毫米大小的芯片上实现Tb/s级数据的传输，是目前互连密度的十倍以上。

　　光链路除了吞吐量较大外，还有助于构建更密集的系统。Dally例子显示，未来将携带160多个GPU的NVIDIADGX系统模型。

　　借助光环，工程师可以在一个系统中携带160多个光环GPU

　　软件方面，NVIDIA研究人员开发了新的编程系统原型Legate。开发者借助Legate，也就是说，在任何规模的系统的系统上单独运行GPU编写程序-甚至适用于Selene等等几千个GPU巨型超级计算机。

　　Legate加速软件库和高级运行时环境集成了一个新的编程速记Legion，目前正在美国国家实验室进行测试。

　　描绘美好未来

　　除上述三项研究外，Dally我还在主题演讲中谈到了它NVIDIA特别针对医疗、无人驾驶汽车、机器人等多个行业打造的平台。与此同时，他还致力于数据科学，AI图形处理。

　　Dally表示：“经过几代人的努力，NVIDIA该产品将通过基于物理渲染的路径跟踪技术实时生成令人惊叹的图像，并可以使用它们AI构建整个场景。”

　　此外，他还首次公开展示NVIDIA的对话式AI框架Riva与GauGAN完美的组合。GauGAN利用生成对抗网络，只需要简单的构图，就可以创造出美丽的风景。在演示中，用户可以通过语音指令立即生成像照片一样栩栩如生的绘画。

　　借助NVIDIARiva，用户可以使用语音命令GauGAN绘画创作

　　在录制主题演讲视频的间隙，Dally在接受采访后，对研究团队在多个领域取得的开创性进展深感自豪。

　　他说：“当前，NVIDIA光线跟踪领域的进展始于光线跟踪NVIDIA我们的产品团队对研究所创建的原型非常兴奋。2011年，我任命我。NVIDIA研究员BryanCatanzaro斯坦福大学教授AndrewNg共同合作一个项目，然后创建CuDNN软件，使深度学习领域的大量研究工作成为可能。”

　　基于网络领域

　　此外，Dally还牵头开展合作，建立NVLink和NVSwitch原始原型。NVLink和NVSwitch如今，在世界上最大的超级计算机中，它已经实现了内部GPU的互连。

　　他说：“产品团队总能快速将研究工作转化为实际成果，这也是NVIDIA现在能够成为全球公认的领先网络公司之一的原因。”

　　谈到对科技的热情，Dally说你就像一个沉浸在糖果故事中的孩子。也许有一天，我还在帮助一个团队学习AI他会突然转向加速器，帮助另一个团队解决机器人领域的复杂问题。

　　他说：“我现在所做的，是一个全世界，或者至少是整个公司最有趣的工作，让我有机会帮助塑造未来。”

　　除大会主题演讲外，GTC中国在线会议还将提供220多个主题演讲和分论坛，均可免费参加，且绝大多数将使用中文。

　　GTC中国在线会议峰会论坛和初创企业展示

　　主题演讲之后，NVIDIA高级专家将聚集在峰会论坛，介绍公司AI，我国数据科学和医疗卫生领域的突破性技术。

　　此外，面向AI以及数据科学领域的孵化项目NVIDIA初创加速计划(NVIDIAInception)将邀请12家领先的中国初创企业参加会议。

　　会议吸引了包括阿里巴巴在内的众多行业龙头企业和机构，AWS，中国电信、戴尔科技、滴滴、新华三、浪潮、快手、联想、微软、平安、腾讯、清华大学和小米。