惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

W
WeLiveSecurity
博客园 - 【当耐特】
Microsoft Azure Blog
Microsoft Azure Blog
WordPress大学
WordPress大学
Stack Overflow Blog
Stack Overflow Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
IT之家
IT之家
Cloudbric
Cloudbric
The Register - Security
The Register - Security
小众软件
小众软件
PCI Perspectives
PCI Perspectives
G
Google Developers Blog
AI
AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Google DeepMind News
Google DeepMind News
Google DeepMind News
Google DeepMind News
宝玉的分享
宝玉的分享
Recent Commits to openclaw:main
Recent Commits to openclaw:main
量子位
TaoSecurity Blog
TaoSecurity Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
F
Full Disclosure
N
Netflix TechBlog - Medium
博客园_首页
Last Week in AI
Last Week in AI
A
Arctic Wolf
B
Blog RSS Feed
J
Java Code Geeks
C
Cybersecurity and Infrastructure Security Agency CISA
I
InfoQ
aimingoo的专栏
aimingoo的专栏
云风的 BLOG
云风的 BLOG
NISL@THU
NISL@THU
MyScale Blog
MyScale Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Jina AI
Jina AI
有赞技术团队
有赞技术团队
S
Schneier on Security
L
Lohrmann on Cybersecurity
P
Privacy & Cybersecurity Law Blog
T
Threat Research - Cisco Blogs
P
Palo Alto Networks Blog
S
Security @ Cisco Blogs
Security Archives - TechRepublic
Security Archives - TechRepublic
Security Latest
Security Latest
Vercel News
Vercel News
博客园 - 司徒正美
Webroot Blog
Webroot Blog
Hacker News: Ask HN
Hacker News: Ask HN
A
About on SuperTechFans

InfoQ - 促进软件开发领域知识与创新的传播

Meta 收购 Manus 这事儿泡汤了 5.5万 Star 开源项目 Ghostty 被迫出走,GitHub 正在终结一代技术人的乌托邦 Slack 长时运行多智能体系统的上下文管理方案 从 T+1 到分钟级:金城银行基于 Apache Doris 构建高可靠、强一致的实时数据平台 谷歌云推出 Agents CLI,简化 AI 智能体开发全流程 Claude官方击穿高薪、高学历的安全防线!Anthropic点名10大高危职业,但有群人暂时稳了 亚马逊云科技终止 WorkMail 服务,并将 App Runner 转入维护模式 OPPO小布记忆:全模态碎片化内容的理解与智能整理实践|AICon上海 模力工场038周AI应用周榜:工具在消失,工作流在出现 Akamai CEO Tom Leighton:Agent 时代来临,云基础设施正从“中心化”转向“分布式边缘” 日均数百亿入库背后:从“人肉调度”到K8s弹性架构,度小满金融基于OceanBase重构入库架构实践 百度文库网盘发布GenFlow 4.0:月活用户超1亿,要把网盘变成全端AI工作台 Altman 投的 Agent 终端 Warp 开源了!斩获3.5万star 哪些客户需要拒, 敢让龙虾决定吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从开发到生产:为什么越来越多的机器学习团队纷纷迁移到 Snowflake | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 探索多智能体工作流:LangGraph Snowflake Cortex AI | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 腾讯云分布式缓存数据库:AI Agent - 从提示词工程到 Harness 工程 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 基于 Streamlit 为 CSV 数据构建分析智能体 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 AI 智能体:告别文档缺漏 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 构建 AI 驱动的数据管道:深度探讨 Snowflake Openflow 与非结构化数据 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 云端太贵、本地不够聪明,英特尔押注“端云混合AI”:智能体PC会替人完成工作 不到10%的存储投入,可能拖垮90%的GPU投资!IBM把AI Agent塞进存储系统,算清企业最容易忽略的一笔账 Snowpark 上手实战 | BUILD 2025_大数据_王玮_InfoQ精选视频 ClickHouse + Langfuse,构建 Agent 可观测基石 腾讯云分布式缓存数据库:Cluster Proxy 共享连接架构深度解析 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来? 英特尔发布至强600系列工作站处理器与锐炫Pro B70 GPU,全新AI工作站来了 腾讯云分布式缓存数据库:从 Redis 到 Valkey - 开源社区如何快速创新 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 印奇这次要“从0重做”智驾模型!首谈阶跃和千里双公司布局:中国AI商业闭环要靠车跑出来 从Cursor返聘归来,90后华裔女高管带Claude开启日更模式:token成本比工程师工资低多了! 从 Coding 到 Agent:QCon 北京 2026 全景复盘,优秀出品人 & 明星讲师名单揭晓 全链路支撑大模型国产化“Day 0适配”,商汤大装置构建全栈能力底座 凌晨,OpenAI 与亚马逊云科技史上最大联合发布来了 HashiCorp Vault 2.0 发布:引入新身份联邦机制,迈入 IBM 生命周期体系 Yelp 实现超 1,000 个 Cassandra 节点零停机升级 写了 17 年开源代码,我为什么认为 Coding Agents 堆功能是在瞎折腾? 基于 Apache Camel 编排智能体与多模态 AI 管道 面向智能体与人类用户的AI记忆系统:架构设计与核心场景实践|AICon上海 Anthropic 推出 Managed Agents,简化 AI 代理部署流程 阿里HappyHorse开启灰测,720P视频生成低至0.44元/秒 讯飞联合清华团队押注量子AI:不看营收、不设KPI,一群“无人区”科学家,抢夺下代AI算力入口 小米万亿模型全面开源:MIT 协议、1M 上下文,但还是打不过 DeepSeek Cortex Code 入门指南:面向数据工程师的实践路径 | 技术实践 openJiuwen社区首发Team Skills,定义Coordination Engineering新范式 用 Snowflake Cortex Agents 释放结构化数据的最大价值 | 技术实践 Grafana 利用 Kafka 对 Loki 进行了架构重构,并发布了一款命令行工具,旨在将可观测性引入编码代理 ClickHouse重构全文索引:对象存储上跑出高性能 Full-Text Search 可观测性和遥测技术如何提升软件工程实践 Dropbox 与 GitHub 合作,将单体库大小从 87GB 缩减至 20GB Agent 的下一站:基于长期记忆系统 EverOS 的自我演进|AICon上海 同一赛道,四种收费:Agent 控制层(Harness)开始分裂 Cloudflare Sandboxes 正式发布,为 AI 代理提供持久化隔离环境 Agent 的“记忆断片”困局,该怎么破?_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选视频 数据分析师如何快速建立在 AI 时代最值钱的能力:一份可落地的行动路线图 摩尔线程最新财报:研发占比超86%,万卡级大规模智算集群落地 当云区域失效:地缘动荡环境下的高可用重构 Slack 重构通知系统,设置参与度提升 5 倍 智能体工程的隐性技术债务 “我把所有模型都换成了DeepSeek V4”:月账单将降 90%,效果还更好 阿里云智能集团高级技术专家刘少伟已确认出席AICon上海站,并分享如何构建企业 Agent 的自动化行动架构 构建生产就绪的 tRPC API:Apollo Federation 的 TypeScript 替代方案 Anthropic推出面向Claude Code的基于智能体的代码审查功能 北京车展直击:斑马智能甩出车载Agent短剧,比亚迪率先落地,AI让智能座舱又热起来了 Snowflake 作为智能体运行时:从静态管道迈向自主数据系统 | 技术实践 Snowflake 上的本体体系:基于 Cortex Code 能力实现从架构到部署 | 技术实践 Cloudflare 公布 MCP 架构方案,应对企业面临的安全与治理风险 复杂的项目管理怎么做到「AI 友好」?飞书项目用「开放」给出答案 Snowflake Cortex Code 的规范驱动开发:将 SDLC 方法论引入 AI 辅助工作流 | 技术实践 Copilot 不让注册了:从“随便用”到“全面限”,agent 把原有订价模型顶穿了 当互联网用AI卷效率时,这家公司先问了一连串“能不能” Meta 开始记录员工每一次点击:AI 要接管工作,先监控会工作的人 Meta“Token榜”逼疯打工人,一夜烧掉公司几万刀!AI时代Token焦虑越来越离谱 智源FlagOS完成DeepSeek-V4-Flash在八款芯片Day0适配,实现三重技术突破 DeepSeek V4 重磅开源!首次打通华为Ascend,也没丢掉英伟达,百万上下文夺回国产模型话语权 李志飞的“新实验”:当超级个体撞上真实组织 GPT-5.5 登顶时刻,Anthropic 亲口承认 Claude 变笨了!网友群嘲:太敷衍 那些没空写的小需求,龙虾真能做吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从 Pandas 到生产:使用任意 IDE 进行可扩展的 ML 数据管道与分布式处理 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 pnpm 11 候选版本发布,带来 ESM 分发、供应链默认设置以及新的存储格式 银行业PDF表格提取方案重构:基于Java的分层方案 GPT-5.5 赢了 Opus 4.7 和 Mythos?奥特曼晒黄仁勋内部信:英伟达全员用上 Codex! Cloudflare 推出 Think:一款面向 AI 代理的持久化运行时 1850亿美元天价支出、75%代码由AI生成!谷歌正式宣告:全面转向智能体工作流 xAI落后太多,马斯克“开大”重金求购Cursor,100亿美金“分手费”都敢签! Pulumi 新增对 Bun 运行时的全面支持 姚顺雨腾讯模型首秀!不卷参数只做 “听话打工人”,Hy3 preview登场 | 附实测 老板让你“忽悠”投资人,你敢发给龙虾吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 Gemini CLI 引入子代理机制,实现任务委派与并行代理工作流 清华系团队星工聚将完成数千万天使轮融资,轮式机器人拿下头部制造企业亿级大单 Pretext.js 绕过 DOM 布局重排,实现 120 FPS 的高级交互体验 靠“AI 云”爆红的 Vercel,栽在一个第三方AI工具手里!IPO前夕遭黑,200万美元赎金谈崩? 高能研讨会|端侧 AI 正在重写实时感知效率上限_AI&大模型_王玮_InfoQ精选视频 2050大会看这篇就够了|报名、交通食宿指引大全 Java 近期资讯:OpenJDK JEP、Jakarta EE 12、Spring Framework、Micrometer、Camel、JBang 金融智能的架构编排:基于 Snowflake Cortex Agents 实现结构化与非结构化数据统一分析 | 技术实践 在AK大神爆火的任务里,摸清国产AI真实水平 百灵Ling-2.6-flash 正式发布:高 Token 效率,以 1/10 消耗实现 SOTA 级 Agent 能力 当 PM 懂AI,当技术懂产品:AI 时代产品力的双向进化|PM x AI产品力领航者大会即将开幕 为 AI 智能体设计记忆机制:揭秘 LinkedIn 的认知记忆智能体 获奖名单公布|2026主题征文第一期|分享你最有价值的龙虾场景与核心 Skill_热门活动_InfoQ写作社区官方_InfoQ写作社区
AI 设计9个月就能媲美Blackwell?OpenAI “辣芯”绕开英伟达正面战场,但老黄的GPU大盘不稳了
褚杏娟 · 2026-06-26 · via InfoQ - 促进软件开发领域知识与创新的传播

北京时间 6 月 25 日,OpenAI 正式展示了该公司与博通联合打造的首款定制人工智能芯片: Jalapeño(墨西哥辣椒)。

博通首席执行官 Hock Tan 在接受路透社采访时表示,该团队打造的这款芯片,性能可媲美英伟达的 Blackwell 芯片,或 Alphabet 旗下谷歌设计的 TPU。

OpenAI 计划在今年年底前部署 Jalapeño,这也是 OpenAI 多代芯片开发计划的第一步。OpenAI 目前已在实验室运行该芯片样品,并在 GPT-5.3-Codex-Spark AI 模型上,芯片的功耗和性能均达到了目标水平。

在合作分工上,OpenAI 负责从自身模型、内核、服务系统和产品需求出发设计芯片;博通负责芯片实现、网络和连接技术;加拿大电子制造商 Celestica 则提供板卡、机架和系统层面的专业能力,帮助实现从芯片到服务器系统、再到大规模生产部署的工业化。据悉,OpenAI 随后会将设计交给 TSMC(台积电)制造。

有网友表示,“几年前我还不会想到 AI 公司会自己设计芯片。这个行业变化的速度说实话非常夸张,也让人开始思考:随着越来越多 AI 实验室开始自研定制硬件,未来几年像英伟达和 AMD 这样的公司会变成什么样子。”

还有网友感叹,“在试图摆脱英伟达的垄断、并自研芯片的同时,把芯片命名为 Jalapeño(墨西哥辣椒),就已说明这场竞争已经激烈到什么程度了。”

不过,不少网友不理解为什么要把这款芯片命名为 Jalapeño,有网友表示“说到命名,OpenAI 可能是史上最糟糕的。”还有人做了一些梗图。

九个月、AI 参与设计,打造全栈控制权

OpenAI 硬件负责人 Richard Ho 表示,Jalapeño 处理器旨在与驱动大量 AI 应用的大模型快速、高效地协同工作。“我们认为,它将在未来各类大模型迭代版本上都具备良好性能。”

Jalapeño 是从零开始为大模型推理设计的芯片。它将服务于 ChatGPT、Codex、API 以及未来的 Agentic 产品等场景,目标是在大规模交互式 AI 产品中,同时兼顾高吞吐、低延迟和高能效。

“软件层面的利润空间无法在吉瓦级的推理计算规模下长期维持。要把每个 token 的成本底线进一步压低,构建定制 ASIC 是必须发生的基础设施转型。”有网友评价道。

OpenAI 硬件项目负责人 Richard Ho 介绍称,Jalapeño 架构优化重点来自 OpenAI 与研究团队的紧密协作,包括对前沿 AI 模型中最关键的内核、内存移动、网络和服务模式的理解。

OpenAI 仍在评估芯片的最终性能,但早期测试表明,Jalapeño 能够在重要工作负载上接近硬件理论极限运行。据悉,该架构减少了数据传输,并平衡了计算、内存和网络资源,使实际利用率更接近理论峰值性能。相比简单堆叠算力,这种设计更强调大模型推理中的真实效率。此外,OpenAI 也表示,芯片的散热性能甚至比预期的还要好。

这也解释了为什么 OpenAI 将其称为“Intelligence Processor”,而不仅仅是“AI 加速器”。

Jalapeño 从初始设计到制造流片仅用了九个月。OpenAI 认为,这是高性能先进半导体领域定制 AI 加速器项目中速度最快的 ASIC 开发周期之一。

设计周期之所以较快,除了 OpenAI 工程团队与博通的深度合作、博通的资深经验外,OpenAI 还在部分设计和优化流程中使用了 OpenAI 的模型。OpenAI 表示,模型正在帮助改进未来其自身运行所需的基础设施。

这表明,AI 不只是芯片的使用者,也开始成为芯片设计流程的一部分。OpenAI 认为,如果 AI 能帮助工程师更快设计出更好的芯片,就有可能降低整个行业的计算成本,并推动先进 AI 更广泛可及。

此前,Hock Tan 就曾透露,Jalapeño 加速器相比典型的 AI 图形处理单元,可以节省约 50%的成本。

Jalapeño 并不是一次性的单芯片项目,而是 OpenAI 与博通共建多代计算平台的第一步。博通表示,预计首批芯片将于今年年底前在微软和其他合作伙伴处投入商业使用,但 OpenAI 表示,真正的批量生产要到明年才会到来。OpenAI 的目标是到 2029 年,利用定制芯片实现 10 吉瓦的计算能力。

“这让 OpenAI 拥有了全栈控制权,”Ho 说道。

OpenAI 认为,Jalapeño 的发布标志着公司正在进一步扩展自身全栈平台能力:从产品、模型,延伸到底层芯片。

“下一场人工智能竞赛的焦点或许在于基础设施,而不仅仅是智能本身。”有网友感叹。

还有网友将 OpenAI 的 Jalapeño 项目和 SpaceX 与 Cursor 之间的交易做对比,并表示这看起来像是完全不同的故事,但它们实际上指向的是同一个结构性转变:Jalapeño”代表的是对支撑智能运行的底层基础设施的掌控,包括芯片、算力以及网络;而 Cursor 则代表的是对智能真正被使用的“工作流层”的掌控。

“随着前沿模型能力不断增强,竞争优势正在从模型本身逐渐转移出去。未来十年中赢得 AI 竞争的公司,可能不再只是那些拥有最聪明模型的公司,而是那些能够掌控模型周边最强“技术栈”的公司。”其总结道。

“世界正在进入由计算驱动的经济。”OpenAI 总裁兼联合创始人 Greg Brockman 表示。Jalapeño 是 OpenAI 长期全栈基础设施战略的一部分,目标是让算力更加充足,从而让 AI 对个人和企业而言更快、更可靠、更可负担,并被用于解决更重要的问题。

在 OpenAI 看来,全栈能力带来的优势在于,不同层级可以围绕同一个目标进行协同优化:让模型更快、更可靠,也更便宜。更好的基础设施可以提升计算效率,更高的计算效率又能支撑更好的训练和推理,进一步推动更强模型和更好产品。随着产品使用增加,OpenAI 又可以将收入继续投入下一代基础设施,形成围绕算力、模型、产品和商业化的飞轮。

芯片成兵家必争之地,OpenAI 暂避英伟达

OpenAI 的第一款芯片产品,实际上避开了与英伟达、谷歌等直接交锋。

目前,很明显的是,训练和推理基础设施正在走向分化。当前,不少推理工作负载仍运行在与训练相似的基础设施上。但随着其加速普及,推理调用量将大幅增长,并逐渐成为主要算力需求来源。相比训练,推理对成本、能效和响应速度更加敏感,也更容易根据具体使用场景进行硬件优化。因此,推理基础设施将越来越偏向专用硬件。

可以看到,OpenAI 目前的发力方向就是该领域。训练继续依赖英伟达等外部芯片,先单独把推理芯片做出来内部使用。

相比之下,英伟达的核心思路不是“一套训练芯片,一套推理芯片”,而是用一套足够通用的 GPU 架构吃掉训练、推理和更广泛的数据中心 AI 工作负载,比如 Hopper、Blackwell 既能训练也能推理。

但英伟达会在营销和产品形态上,把某些产品更明确地推向推理,比如现在官方已经把 Blackwell 平台非常明确地包装成大模型推理平台。它宣称 GB300 NVL72 在 agentic inference 场景下可把每 token 成本大幅压低,并强调“AI inference at scale”。

同样地,Google TPU 是为矩阵乘、张量计算、Transformer 深度学习工作负载定制的 ASIC,核心目标是把训推里最核心的张量计算做得更高效,并与自己的软件栈、数据中心、模型体系深度耦合,以此在成本、功耗、互联上优于通用 GPU。

当然,Google 也有一些面向推理的产品,但基本是在 TPU 体系里做“推理优化”,像 TPU v5e 集训练和推理(服务)于一体,而 v6e-8 配置则是为推理优化的,可以让 8 个芯片服务同一个推理工作负载。

“一旦推理成为你最大的成本账单,你就不再是租用芯片,而是开始自己造芯片了。所有还在出租算力的人,今天可能都该有点紧张了。”有网友说道。此外,OpenAI 未来一系列芯片产品是否公开发售,或许会对主打“提供快速、低成本推理,即使在真正重要的情况下也不会出错”的 Groq 等公司产生影响。

路透社最早在 2023 年报道称,OpenAI 正在探索自研芯片。OpenAI 曾考虑完全自研,并筹集资金实施一项耗资庞大的计划,建设一个被称为“foundries”的芯片制造工厂网络。但由于建设该网络所需的成本和时间过高,该公司目前已经搁置了这一雄心勃勃的计划,转而专注于内部芯片设计工作。

这一措施背后,是 OpenAI 为代表的 AI 实验室们面临算力短缺问题,难以获得足够计算资源来运行最新、最强大 AI 应用的困境。为此,一些头部公司已经转向自研芯片,希望降低成本,并为当前广泛用于 AI 的 Nvidia GPU 提供替代方案。

Meta、Amazon 和 Google 等公司也选择了与博通、Marvell 等企业合作。这些公司能够提供特定的设计服务和知识产权,而这些能力往往很难完全在内部复制。今年 4 月,路透社透露,Anthropic 也在考虑打造自己的 AI 芯片。

未来推理:CPU +多个定制 AI 加速器

毫无疑问,生成式 AI 对半导体行业最直接的影响之一,就是对 CPU、GPU 和 AI 加速器的足球急速上升。

麦肯锡预计,到 2030 年,非生成式 AI 应用带来的逻辑晶圆需求约为 1500 万片。其中约 700 万片将采用 >3 纳米的工艺节点生产,约 800 万片将采用≤3 纳米的工艺节点生产。在此基础上,生成式 AI 将额外带来 120 万- 360 万片、采用 ≤3 纳米工艺节点生产的晶圆需求。

根据当前逻辑晶圆厂规划,到 2030 年,全球预计可生产约 1500 万片采用 ≤7 纳米工艺节点的晶圆。这意味着,生成式 AI 可能造成 100 万至约 400 万片先进逻辑晶圆的潜在供应缺口,尤其集中在≤ 3 纳米的先进制程节点。

麦肯锡测算,为了弥补这一缺口,到 2030 年可能需要新建 3-9 座逻辑晶圆厂。由于先进逻辑晶圆厂投资规模巨大、建设周期长、设备与供应链复杂,这将成为半导体行业必须提前布局的关键问题。

在训练侧,未来架构预计仍将延续当前高性能集群模式,即数据中心内服务器通过高带宽、低延迟网络连接。麦肯锡在报告中表示,当前主流高性能生成式 AI 服务器通常采用两个 CPU 和八个 GPU 的组合。到 2030 年,大多数训练工作负载仍将使用这种 CPU+GPU 架构。同时,GPU 和 AI 加速器也可能向系统级封装设计演进,并与现有架构长期共存。

而在推理侧,情况将明显不同。到 2030 年,更多面向推理的 AI 服务器预计将采用 CPU 与多个定制 AI 加速器的组合。这些 AI 加速器多数将基于 ASIC。由于 ASIC 可以围绕特定 AI 任务进行优化,在大规模推理场景中有望获得更低成本、更高能效和更优性能。

“内存墙”仍是最大不确定性

值得注意的是,博通 CEO Hock Tan 在路透社采访中透露,目前受 AI 带动的内存需求激增影响,博通在定制芯片上的利润率并不如其部分其他芯片产品高,例如网络交换芯片。

Tan 称,AI 芯片需要大量高带宽内存,这对博通定制 AI 芯片产品的利润率构成挑战。他表示,韩国 SK 海力士和三星电子向博通供应内存芯片。

生成式 AI 主要带动了两类 DRAM:一种是连接到 GPU 或 AI 加速器的高带宽内存 HBM,另一种是连接到 CPU 的 DDR 内存。HBM 拥有更高带宽,是当前 AI 训练和高性能推理中不可或缺的关键组件。但与 DDR 相比,HBM 在存储相同数据量时需要更多硅面积,因此也会带来更高制造压力。

SK 海力士是 AI 内存短缺的最大受益者之一,但其 HBM 产能高度紧张,核心客户大概率已经提前锁量。SK 海力士此前表示,2026 年所有 DRAM、HBM 和 NAND 闪存产品均已售罄。Micron 最新财报也显示 AI 内存整体供给紧张可能持续到 2027 年以后,这说明行业整体上 HBM 供给不足。

目前,各大公司一直在扩展内存容量。但内存容量增长并不简单,它正在给硬件和软件设计带来挑战。其中最核心的问题是“内存墙”:内存容量和带宽正在成为系统级计算性能瓶颈。即使计算芯片本身拥有更高峰值性能,如果数据无法足够快地被读取、传输和处理,整体系统性能仍会受限。

目前,行业正在探索多种解决路径。例如,静态随机存取存储器 SRAM 被用于增加近计算内存,但由于成本较高,广泛采用仍受限制。与此同时,未来算法也可能减少每次推理运行所需内存,从而减缓总内存需求增长。

另一个不确定因素来自 AI 加速器架构。相比 CPU+GPU 架构,部分 AI 加速器可能对内存需求更轻。随着推理工作负载增长,到 2030 年 AI 加速器可能更受欢迎,这可能导致内存需求增速低于某些高预期情景。

参考链接:

https://www.reuters.com/world/asia-pacific/openai-unveils-custom-chip-it-designed-with-broadcom-boost-its-ai-infrastructure-2026-06-24/?utm_source=chatgpt.com

https://www.mckinsey.com/industries/semiconductors/our-insights/generative-ai-the-next-s-curve-for-the-semiconductor-industry?utm_source=chatgpt.com

https://www.reuters.com/world/china/nvidia-supplier-sk-hynix-posts-record-q3-profit-meets-forecasts-2025-10-28/?utm_source=chatgpt.com

https://docs.cloud.google.com/tpu/docs/v6e?utm_source=chatgpt.com&hl=zh-cn