雷竞技raybet官网在线下载app入口做主营不锈钢机箱机柜钣金外壳加工机箱机柜厂家多年生产经验

服务热线

15303174000
网站导航
雷竞技官网在线入口
当前位置:首页 > 雷竞技官网在线入口

英伟达B200打破摩尔定律老黄顺便公开GPT-4的秘密

来源:雷竞技官网在线入口    发布时间:2024-03-21 02:49:03 点击次数:1 次
 

  时隔两年,英伟达官宣新一代Blackwell架构,为AI带来30倍推理加速。定位直指“新工业革命的引擎” 。

  老黄PPT中拿了一个1.8万亿参数MoE的GPT系列大模型测试结果来证明。

  1.8万亿参数、MoE架构,与初代GPT-4的细节传闻一毛一样,32k序列长度也能对得上。

  不过个秘密之所以能以这种形式半官方确认,很可能说明对OpenAI来说已经无关紧要了。

  很多人相信,最新版gpt-4-turbo经过一轮轮的优化,已经蒸馏到更小规模。

  说回到英伟达GTC大会本身,作为架构更新的大年,老黄的主题演讲亮点颇多:

  我们需要另一种方式来进行计算,这样我们才能够继续扩展,这样我们才能够继续降低计算成本,这样我们才能够接着来进行慢慢的变多的计算。

  老黄这次主题演讲题目为《见证AI的变革时刻》,但必须得说,英伟达才是最大的变革本革。

  我们需要更大的GPU,若无法更大,就把更多GPU组合在一起,变成更大的虚拟GPU。

  4nm制程达到瓶颈,就把两个芯片合在一起,以10TB每秒的满血带宽互联,组成B200 GPU,总计包含2080亿晶体管。

  18个这样的计算节点共有36CPU+72GPU,组成更大的“虚拟GPU”。

  一个像这样的“计算单元”机柜,FP8精度的训练算力就高达720PFlops,直逼H100时代一个DGX SuperPod超级计算机集群(1000 PFlops)。

  与相同数量的72个H100相比,GB200 NVL72对于大模型推理性能提升高达30倍,成本和能耗降低高达25倍。

  将提供无与伦比的规模、可靠性,具有智能管理和全栈弹性,以确保不断的使用。

  在演讲中,老黄还特别提到2016年赠送OpenAI的DGX-1,那也是史上第一次8块GPU连在一起组成一个超级计算机,当时只有0.17 PFlops。

  过去,在90天内训练一个1.8万亿参数的MoE架构GPT模型,需要8000个Hopper架构GPU,15兆瓦功率。

  如今,同样给90天时间,在Blackwell架构下只需要2000个GPU,以及1/4的能源消耗。

  在标准的1750亿参数GPT-3基准测试中,GB200的性能是H100的7倍,提供的训练算力是H100的4倍。

  为每个GPU 提供了1.8TB/s双向吞吐量,确保多达576个GPU之间的无缝高速通信。

  先进的加密计算功能,在不影响性能的情况下保护AI模型和客户数据,对于医疗保健和金融服务等隐私敏感行业至关重要。

  在这些技术加持下,一个GB200 NVL72就最高支持27万亿参数的模型。

  同时,企业使用这一些服务在自己的平台上创建和部署自定义应用,同时保留对其知识产权的完全所有权和控制权。

  这上面的应用都由英伟达全新推出的AI推理微服务NIM支持,可对来自英伟达及合作伙伴的数十个AI模型来优化推理。

  此外,英伟达自己的开发套件、软件库和工具包都可当作NVIDIA CUDA-X™微服务访问,用于检索增强生成 (RAG)、护栏、数据处理、HPC 等。

  比如通过这些微服务,可以轻松构建基于大模型和向量数据库的ChatPDF产品,甚至智能体Agent应用。

  NIM微服务定价非常直观,“一个GPU一小时一美元”,或年付打五折,一个GPU一年4500美元。

  从此,英伟达NIM和CUDA做为中间枢纽,连接了百万开发者与上亿GPU芯片。

  老黄晒出AI界“最强朋友圈”,包括亚马逊、迪士尼、三星等大规模的公司,都已成为英伟达合作伙伴。

  最后总结一下,与往年相比英伟达2024年战略更聚焦AI,而且产品更有针对性。

  新的芯片和软件服务,都在不断的强调推理算力,要逐步打开AI应用部署市场。

  这次大会上,还特别宣布了与苹果在Vision Pro方面的合作,让开发者在工业元宇宙里搞空间计算。

  此前推出的新光刻技术cuLitho软件库也有了新进展,被台积电和新思科技采用,把触手伸向更上游的芯片制造商。

  以及布局下一轮计算变革的前沿领域,英伟达推出云量子计算机模拟微服务,让全球科学家都能充分的利用量子计算的力量,将自己的想法变成现。

  去年GTC大会上,老黄与OpenAI首席科学家Ilya Sutskever的炉边对谈,仍为人津津乐道。

  当时世界还没完全从ChatGPT的震撼中清醒过来,OpenAI是整个行业绝对的主角。

  如今Ilya不知踪影,OpenAI的市场统治力也开始松动。在这个节骨眼上,有资格与老黄对谈的人换成了8位——

  他们已经悉数离开谷歌,其中一位加入OpenAI,另外7位投身AI创业,有模型层也有应用层,有toB也有toC。

  这八位传奇人物既象征着大模型技术真正的起源,又代表着现在百花齐放的AI产业图景。在这样的格局中,OpenAI不过是其中一位玩家。

  要论在整个AI界的影响力、号召力,在这一刻,无论是“钢铁侠”马斯克还是“奥特曼”Sam Altman,恐怕都比不过眼前这位“皮衣客”黄仁勋。

  本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。

关注我们