哈希力量归集文库路径访问: 首页 > AI+产业 > AI芯片

Sam Altman的芯片计划,7万亿美元融资是最容易的部分

宛辰 ☉ 文 来源:极客公园 2024-02-20 @ 哈希力量

【小哈划重点:四年前,OpenAI发表了一篇关于大型语言模型领域的「缩放定律」(Scaling Law)的论文。「缩放定律」表明,对大语言模型进行更多计算能力和数据方面的训练,可以提高其预测下一个单词的准确性...利用「缩放定律」训练大模型还隐含着一个副作用:强行使用更大、更耗电的模型可能会对环境产生灾难性的影响,因为服务器和数据中心的电力消耗会产生温室气体。】

不计成本树立大模型典范,OpenAI提前看到的未来是什么?RNv哈希力量 | 消除一切智能鸿沟

周一在迪拜举行的世界政府峰会上,当被问及「7万亿美元可以购买多少个GPU」时,黄仁勋打趣道:「显然是所有的GPU」。RNv哈希力量 | 消除一切智能鸿沟

在这之前,Sam Altman被爆出正在筹集高达7万亿美元的资金,以增加全球半导体芯片的供应。看上去,OpenAI距离AGI(通用人工智能)只差AI算力了。RNv哈希力量 | 消除一切智能鸿沟

但就像《华尔街日报》一篇报道的标题,筹集数万亿美元可能是Altman芯片计划里最容易的部分。RNv哈希力量 | 消除一切智能鸿沟

毋庸置疑,芯片制造是比金钱复杂得多的挑战,作为资本密集型产业,历来经历过剧烈的周期性波动,芯片制造厂对激进扩张也持谨慎态度。目前,世界上只有三家公司能够大批量生产最尖端的芯片:台积电、三星电子和英特尔。RNv哈希力量 | 消除一切智能鸿沟

Sam Altman到底看到了什么,决定如此重押算力?RNv哈希力量 | 消除一切智能鸿沟

如果把大模型厂商划分为两种,一种是在落地场景中探索大模型。其中的「显眼包」代表包括英伟达、微软、Databricks,三者都强调算力瓶颈会随着模型尺寸变小、下一代芯片架构创新等取得突破来进一步破除,就像互联网带宽限制在2000年基本消失一样,「GPU也会发生同样的情况」。RNv哈希力量 | 消除一切智能鸿沟

另一种大模型厂商的典型代表则是OpenAI,对于大模型技术,要不计成本地做标本、数典范、探索边界。对于OpenAI率先看到的未来,Q*、GPT-5的消息让外界对Transformer能否实现AGI充满想象。这可能也是Sam Altman芯片制造野心的起点。RNv哈希力量 | 消除一切智能鸿沟

据报道,除了投资方,Altman还与芯片制造商比如台积电进行了讨论,讨论与他们合作并使用数万亿美元建设和运营新工厂,以及对能源和其他人工智能基础设施的投资。RNv哈希力量 | 消除一切智能鸿沟

建设一家尖端芯片工厂通常至少需要100亿美元,相比之下,Altman所讨论的7万亿美元规模是极端的。对于Sam的7万亿美元,黄仁勋预判,到2029年全球建设人工智能数据中心的成本将达到2万亿美元,他表示,「你不能假设你会购买更多电脑,你还必须假设计算机会变得更快,因此你需要的总量不会那么多。」RNv哈希力量 | 消除一切智能鸿沟

在OpenAI内部,Sam Altman看到了什么?RNv哈希力量 | 消除一切智能鸿沟

对于这个问题,The information跟踪AI和云计算的两位记者在《The Most Exciting Thing About Altman's Chip Dream》一文作出探讨,由极客公园编译整理:RNv哈希力量 | 消除一切智能鸿沟

01 OpenAI唯一的障碍,算力短缺?RNv哈希力量 | 消除一切智能鸿沟

上周,OpenAI首席执行官Sam Altman抢尽风头。他正试图筹集数万亿美元的资金来开发和制造AI芯片。尽管这一数字多少有点骇人听闻,但姑且先把集体怀疑放在一边,尝试理解Altman融资的意义——无限的计算能力将导致全能的人工智能。RNv哈希力量 | 消除一切智能鸿沟

RNv哈希力量 | 消除一切智能鸿沟

RNv哈希力量 | 消除一切智能鸿沟

图片社交媒体X平台,网友总结7万亿美元的购买力|来源:twitter.comRNv哈希力量 | 消除一切智能鸿沟

换句话说,他认为唯一阻碍超级人工智能的是服务器短缺,而实现超级人工智能,甚至可以帮助我们移民火星或解决全球变暖问题。RNv哈希力量 | 消除一切智能鸿沟

Altman并不是唯一持这种观点的人,但这远非共识。RNv哈希力量 | 消除一切智能鸿沟

四年前,OpenAI发表了一篇关于大型语言模型领域的「缩放定律」(Scaling Law)的论文。「缩放定律」表明,对大语言模型进行更多计算能力和数据方面的训练,可以提高其预测下一个单词的准确性,从而提高大模型的能力。在这个信念下,OpenAI等大模型厂商花了1亿多美元来训练一个模型。RNv哈希力量 | 消除一切智能鸿沟

然而,更多AI从业者认为,在今天的AI模型上投入更多芯片和数据并不是实现超级人工智能的途径。当我们用完高质量的、人类生成的数据来训练AI模型时,基于相对较少的数据,开发出能够像人类一样学习和推理的软件可能会更容易。毕竟,OpenAI的GPT-4和谷歌的Gemini已经接受了世界上大多数公共文本信息的训练,它们还没有达到超级人工智能的水平。RNv哈希力量 | 消除一切智能鸿沟

利用「缩放定律」训练大模型还隐含着一个副作用:强行使用更大、更耗电的模型可能会对环境产生灾难性的影响,因为服务器和数据中心的电力消耗会产生温室气体。RNv哈希力量 | 消除一切智能鸿沟

Altman本人也承认,开发前沿大模型可能需要在能源方面取得重大突破。数据中心公司的管理者也已经开始担心,今年所有以人工智能为重点的新数据中心,是否有足够的电力供应。RNv哈希力量 | 消除一切智能鸿沟

02 OpenAI必须保持算力领先RNv哈希力量 | 消除一切智能鸿沟

目前,我们只能假设Altman和他聪明的同事们知道一些我们不知道的大模型「缩放定律」。RNv哈希力量 | 消除一切智能鸿沟

显然,他们相信,有了更多的服务器,他们可以利用现有的人工智能和最近的技术突破,比如Q*——一个可以推理以前没有训练过的数学问题的模型——来创建正确的「合成」(非人类生成的) 数据。当用完人类生成的数据后,合成数据可以接着被用来训练更好的模型。RNv哈希力量 | 消除一切智能鸿沟

或者,这些模型可以找出现有模型 (如GPT-4) 的缺陷,并提出技术改进建议——换句话说,就是自我改进的人工智能。(此前,谷歌资深工程师卢一峰独家向极客公园解读了OpenAI Q*可能代表的技术路径。)RNv哈希力量 | 消除一切智能鸿沟

Altman已经明确表示,他的团队根本没有从其独家服务器供应商——微软那里获得足够的计算能力来发挥其潜力。私下里,他曾表示,明年谷歌将拥有比OpenAI更强大的计算能力来开发人工智能。这在某种程度上可以理解他想改变现状的紧迫性。RNv哈希力量 | 消除一切智能鸿沟

RNv哈希力量 | 消除一切智能鸿沟

RNv哈希力量 | 消除一切智能鸿沟

被爆出7万亿美元筹资建芯片时,Altman在X社交平台发表观点|来源:twitter.comRNv哈希力量 | 消除一切智能鸿沟

Altman到底需要多少钱才能到达计算的「应许之地」?据报道,他与阿拉伯联合酋长国盛产石油的酋长们提出了7万亿美元的数字,他希望这些酋长能资助新的芯片和服务器。RNv哈希力量 | 消除一切智能鸿沟

一位头部AI芯片厂商的CEO称,建造数据中心、发电厂和芯片代工厂,以产生10倍于微软现有计算能力的计算能力,将耗资1000亿至2000亿美元。RNv哈希力量 | 消除一切智能鸿沟

这位CEO和该领域的其他人士表示,由于劳动力和供应链的限制,资金在加速芯片制造厂、数据中心和发电厂的建设方面所能做的只有这么多。就连英伟达CEO黄仁勋也对7万亿美元的数字表示怀疑。RNv哈希力量 | 消除一切智能鸿沟

如果Altman的计划包括OpenAI开发自己的服务器芯片,那将需要数年时间,而且不能保证成功。RNv哈希力量 | 消除一切智能鸿沟

这就提出了一个问题,为什么他首先要寻找数万亿美元?RNv哈希力量 | 消除一切智能鸿沟

如果Altman与英特尔、AMD、阿联酋和一长串其他公司达成一笔大交易,打造新的人工智能芯片,这将很容易成为这十年来最重要的技术努力之一。但即使什么都没发生,Altman不得不在更小的算力规模上,测试他对自我改进的人工智能假设,这也足以让人感到兴奋。RNv哈希力量 | 消除一切智能鸿沟



收录源追溯链接或暂略


本文收录后固定可引用URL链接
    http://www.haxililiang.com/zhengce/uk/36434.html


☉ 文库同一主题内容智能推荐 ☉
哈希力量 ☉ 人机智能科普文库