





















在构建支持人工智能的基础设施竞赛中,Alphabet Inc.旗下的Google拥有令人羡慕的地位:该公司拥有健康的云计算业务,自主生产芯片,并与Anthropic PBC和Meta Platforms Inc.等公司达成了共享芯片的协议。
然而,Google的成功使其计算资源变得如此宝贵,以至于其自身的AI研究人员也必须排队等候。
去年夏天,谷歌AI实验室的研究员Andrew Dai发现其旗舰AI模型Gemini存在一个盲点。在玩棋盘游戏时,Dai拍下棋盘照片并向Gemini提出一个简单的问题:谁赢了?令他惊讶的是,Gemini和其他竞争对手的模型都卡壳了。他坚信需要构建能够更好地理解图像中发生情况的AI。
戴在采访中说,他和一些同事讨论了他的想法,但他很快得出结论,他无法在谷歌内部获得足够的计算能力来处理这个问题。如果他想做这件事,他必须离开这家公司。
戴(Dai)是当前和前员工中那些说谷歌在人工智能开发中的领导地位已经把计算能力变成了宝贵资源的人之一,这些资源主要提供给具有高优先级项目的人,比如改进Gemini。
人工智能研究人员有时感觉自己正在失去计算能力给付费客户,他们表示。谷歌的搜索和云计算部门也在争夺使用公司的芯片,这些芯片被称为张量处理单元,或TPU。在谷歌的深度学习实验室中,计算能力的获取影响着研究人员追求的项目、他们与谁合作以及他们工作的速度。
“在谷歌内部,每一台TPU都有三个追求者,”华盛顿大学名誉教授、资深AI研究员Oren Etzioni说道。“如果你发现自己处于一个不舒服的境地,即你有一个不切实际的计划,而你正在与一个能带来收入的客户竞争,那将是一个艰难的处境。”
谷歌在声明中表示,公司拥有一套“严格、持续的流程,确保我们的计算资源分配给最重要的优先事项,平衡当今客户和用户的需求,以及我们为推进研究和创新所做的长期投资。” 谷歌母公司Alphabet的首席执行官 Sundar Pichai 表示,在决定将计算能力投入到哪里时,公司领导层专注于确保谷歌 DeepMind 拥有它所需的资源来构建尖端的人工智能模型,“因为它是我们所做一切的基础。”
Alphabet表示,谷歌云服务的积压订单——即尚未记录为收入的已签约工作——与前一季度相比几乎翻了一番,达到超过4600亿美元。“我们在短期内受到计算能力的限制,”皮查伊表示。“我们正在应对这一时刻,并进行投资。”谷歌将在周二在山景城举行的年度开发者大会上推出其最新一系列产品进展。
AI研究人员曾认为谷歌是一个可以自由追求学术热情的地方,几乎就像学术界一样,但薪水更高,资源也更多。公司的研究人员长期以来一直争取更多的计算能力,但直到最近,模型都足够小,不需要太多资源就能运行一个有意义的项目,前员工说。但在2022年,OpenAI的流行聊天机器人ChatGPT的推出促使谷歌投资大型语言模型,这些AI程序可以在几秒钟内生成一份听起来专业的求职信或学期论文。现在谷歌正专注于编写计算机代码的模型,竞争对手表明这可以成为一款热门产品并产生收入。
遵循顶尖人工智能实验室的战略,"你必须构建世界上最优秀的编码模型,因为最终没有人想成为AGI的亚军",戴森表示,他指的是硅谷普遍怀有的构建能够与人类匹敌的人工智能的雄心。这使得谷歌为其他项目投入资源,尤其是那些可能无法产生收入的实验性项目辩护变得更加困难。
戴离开谷歌创立了Elorian,这是一家人工智能初创公司,最近不再保密,专注于视觉推理,戴表示这是将人工智能应用于建筑、汽车和机器人等行业的关键。他是几位声称作为初创公司创始人能更好地获得计算能力的谷歌人工智能研究人员的之一。研究人员表示,创办公司让他们有自由从多个来源寻求计算能力——他们可以使用他们获得的芯片,无需应对谷歌的官僚作风,也不必担心如果公司优先事项发生变化,访问权限可能会消失。
前谷歌DeepMind研究员Ioannis Antonoglou表示,在研发AlphaGo(一款旨在玩围棋策略游戏的AI模型)期间,他能够获得充足的计算资源,该模型通过击败世界顶尖棋手引起了轰动。后来,他参与了构建Gemini(谷歌最重要的战略举措之一)的努力。但他感觉公司没有为训练后阶段投入足够的计算资源,这一阶段使用与特定领域相关的数据进行模型微调,例如法律文件或计算机代码。
“我和我的联合创始人,我们都相信强化学习是下一个前沿,” Antonoglou 说,他与 DeepMind 研究员 Misha Laskin 于 2024 年共同创立了 ReflectionAI,这是一家致力于在开放环境中构建 AI 模型的初创公司。“当时并不清楚谷歌或 DeepMind 会走这条路。”
当人工智能研究人员准备离职时,计算资源是公司可以拉拢的杠杆。前DeepMind研究员Anna Goldie表示,该公司曾向她提供更多计算资源,试图阻止她离开创办初创公司。但她最终还是离开了,与另一位DeepMind研究员Azalia Mirhoseini共同创立了一家公司,名为Ricursive Intelligence(Ricursive Intelligence),该公司于2025年底启动。
戈尔迪表示,她很高兴地发现,她能够在外部找到大量的计算能力,来源广泛。她拒绝透露公司在筹集3.35亿美元后获得了多少计算能力,但她表示,这与她留在谷歌时被提供的计算能力相当。
“我不需要像问我上面10层的人那样去申请,”她说。“我可以和我的联合创始人一起做对公司最有利的事。我可以倾听我的员工并听取他们的想法。”
Tom McGrath,一位于2023年离开Google的研究员表示,在顶尖的人工智能实验室里,有些研究人员从事语言模型的研究,因为这是优先事项,即使他们的真正兴趣在其他地方。
“有计算和促销的胡萝卜,以及通常成为大型训练荣耀一部分的诱惑,”Goodfire公司首席科学家McGrath说,Goodfire公司是一家旨在更好地理解AI模型内部运作的初创公司。“也有不这样做就没有加速器的鞭子。”
这是谷歌部分研究人员的一种新生活方式。为了在人工智能竞赛中赶上进度,2023年谷歌合并了两个人工智能实验室:位于伦敦的DeepMind(DeepMind),其结构更为自上而下;以及谷歌脑(Google Brain),研究人员在那里追求自主项目且监督极少。
Brain 的研究人员每人都会获得用于在内部系统中购买芯片的积分,该系统根据需求波动价格,类似于股票市场,戴和戈尔迪表示。一些研究人员通过集中资源,并在队友休假或睡觉时使用他们的积分,充分利用了他们所拥有的,戈尔迪补充道。“那是一种强大的方式,可以团结起来并促成事情发生,”戈尔迪表示。
谷歌仍然为个别研究人员提供计算资源,但当公司训练大型AI模型时,供应就会受限,戴(Dai)表示。这意味着研究人员实际上在争夺较小蛋糕的份额。
如今,想要更多计算能力的研究人员往往专注于短期研究问题,这些问题可能产生一些能够被整合到下一代Gemini版本中的成果,戴伊表示。“这样一来,领导层就会认为这样做更有意义。”
研究人员并不能总是指望能获得他们承诺的计算能力。2024年,一次大规模的训练运行促使谷歌暂停了一些研究项目约一个季度,戴(Dai)表示。因此,有些人放弃了他们的工作。
创业公司提供了一种“对自己命运的控制要素——让你非常清楚地知道,如果你在未来一年支付这么多计算资源,你就能得到它,”戴先生说道。“没有人会把它从你那里拿走。”
为了在Elorian扩大规模时充分利用他拥有的计算能力,戴先生表示他专注于招聘在有限资源方面有经验的研究员。
“人工智能的游戏向来是双重的,”安东格卢说。“一是,谁拥有最多的计算能力。二是,谁能更好地利用它。”
洛夫为彭博社撰稿.
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。