惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 叶小钗
O
OpenAI News
V
V2EX
大猫的无限游戏
大猫的无限游戏
博客园 - 聂微东
S
Schneier on Security
C
CXSECURITY Database RSS Feed - CXSecurity.com
小众软件
小众软件
L
LINUX DO - 热门话题
C
Cybersecurity and Infrastructure Security Agency CISA
博客园 - Franky
Security Latest
Security Latest
S
SegmentFault 最新的问题
Project Zero
Project Zero
Spread Privacy
Spread Privacy
K
Kaspersky official blog
J
Java Code Geeks
V
Vulnerabilities – Threatpost
C
Cisco Blogs
C
CERT Recently Published Vulnerability Notes
月光博客
月光博客
T
The Exploit Database - CXSecurity.com
L
Lohrmann on Cybersecurity
人人都是产品经理
人人都是产品经理
博客园 - 三生石上(FineUI控件)
Scott Helme
Scott Helme
WordPress大学
WordPress大学
量子位
T
Threat Research - Cisco Blogs
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
宝玉的分享
宝玉的分享
Hugging Face - Blog
Hugging Face - Blog
AWS News Blog
AWS News Blog
Help Net Security
Help Net Security
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Simon Willison's Weblog
Simon Willison's Weblog
S
Secure Thoughts
博客园 - 【当耐特】
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
V
Visual Studio Blog
Last Week in AI
Last Week in AI
T
Tailwind CSS Blog
腾讯CDC
Cyberwarzone
Cyberwarzone
IT之家
IT之家
GbyAI
GbyAI
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
云风的 BLOG
云风的 BLOG
T
Troy Hunt's Blog
D
Docker

InfoQ - 促进软件开发领域知识与创新的传播

Meta 收购 Manus 这事儿泡汤了 5.5万 Star 开源项目 Ghostty 被迫出走,GitHub 正在终结一代技术人的乌托邦 Slack 长时运行多智能体系统的上下文管理方案 从 T+1 到分钟级:金城银行基于 Apache Doris 构建高可靠、强一致的实时数据平台 谷歌云推出 Agents CLI,简化 AI 智能体开发全流程 Claude官方击穿高薪、高学历的安全防线!Anthropic点名10大高危职业,但有群人暂时稳了 亚马逊云科技终止 WorkMail 服务,并将 App Runner 转入维护模式 OPPO小布记忆:全模态碎片化内容的理解与智能整理实践|AICon上海 模力工场038周AI应用周榜:工具在消失,工作流在出现 Akamai CEO Tom Leighton:Agent 时代来临,云基础设施正从“中心化”转向“分布式边缘” 日均数百亿入库背后:从“人肉调度”到K8s弹性架构,度小满金融基于OceanBase重构入库架构实践 百度文库网盘发布GenFlow 4.0:月活用户超1亿,要把网盘变成全端AI工作台 Altman 投的 Agent 终端 Warp 开源了!斩获3.5万star 哪些客户需要拒, 敢让龙虾决定吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从开发到生产:为什么越来越多的机器学习团队纷纷迁移到 Snowflake | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 探索多智能体工作流:LangGraph Snowflake Cortex AI | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 腾讯云分布式缓存数据库:AI Agent - 从提示词工程到 Harness 工程 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 基于 Streamlit 为 CSV 数据构建分析智能体 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 AI 智能体:告别文档缺漏 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 构建 AI 驱动的数据管道:深度探讨 Snowflake Openflow 与非结构化数据 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 云端太贵、本地不够聪明,英特尔押注“端云混合AI”:智能体PC会替人完成工作 不到10%的存储投入,可能拖垮90%的GPU投资!IBM把AI Agent塞进存储系统,算清企业最容易忽略的一笔账 Snowpark 上手实战 | BUILD 2025_大数据_王玮_InfoQ精选视频 ClickHouse + Langfuse,构建 Agent 可观测基石 腾讯云分布式缓存数据库:Cluster Proxy 共享连接架构深度解析 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来? 英特尔发布至强600系列工作站处理器与锐炫Pro B70 GPU,全新AI工作站来了 腾讯云分布式缓存数据库:从 Redis 到 Valkey - 开源社区如何快速创新 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 印奇这次要“从0重做”智驾模型!首谈阶跃和千里双公司布局:中国AI商业闭环要靠车跑出来 从Cursor返聘归来,90后华裔女高管带Claude开启日更模式:token成本比工程师工资低多了! 从 Coding 到 Agent:QCon 北京 2026 全景复盘,优秀出品人 & 明星讲师名单揭晓 全链路支撑大模型国产化“Day 0适配”,商汤大装置构建全栈能力底座 凌晨,OpenAI 与亚马逊云科技史上最大联合发布来了 HashiCorp Vault 2.0 发布:引入新身份联邦机制,迈入 IBM 生命周期体系 Yelp 实现超 1,000 个 Cassandra 节点零停机升级 写了 17 年开源代码,我为什么认为 Coding Agents 堆功能是在瞎折腾? 基于 Apache Camel 编排智能体与多模态 AI 管道 面向智能体与人类用户的AI记忆系统:架构设计与核心场景实践|AICon上海 Anthropic 推出 Managed Agents,简化 AI 代理部署流程 阿里HappyHorse开启灰测,720P视频生成低至0.44元/秒 讯飞联合清华团队押注量子AI:不看营收、不设KPI,一群“无人区”科学家,抢夺下代AI算力入口 小米万亿模型全面开源:MIT 协议、1M 上下文,但还是打不过 DeepSeek Cortex Code 入门指南:面向数据工程师的实践路径 | 技术实践 openJiuwen社区首发Team Skills,定义Coordination Engineering新范式 用 Snowflake Cortex Agents 释放结构化数据的最大价值 | 技术实践 Grafana 利用 Kafka 对 Loki 进行了架构重构,并发布了一款命令行工具,旨在将可观测性引入编码代理 ClickHouse重构全文索引:对象存储上跑出高性能 Full-Text Search 可观测性和遥测技术如何提升软件工程实践 Dropbox 与 GitHub 合作,将单体库大小从 87GB 缩减至 20GB Agent 的下一站:基于长期记忆系统 EverOS 的自我演进|AICon上海 同一赛道,四种收费:Agent 控制层(Harness)开始分裂 Cloudflare Sandboxes 正式发布,为 AI 代理提供持久化隔离环境 Agent 的“记忆断片”困局,该怎么破?_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选视频 数据分析师如何快速建立在 AI 时代最值钱的能力:一份可落地的行动路线图 摩尔线程最新财报:研发占比超86%,万卡级大规模智算集群落地 当云区域失效:地缘动荡环境下的高可用重构 Slack 重构通知系统,设置参与度提升 5 倍 智能体工程的隐性技术债务 “我把所有模型都换成了DeepSeek V4”:月账单将降 90%,效果还更好 阿里云智能集团高级技术专家刘少伟已确认出席AICon上海站,并分享如何构建企业 Agent 的自动化行动架构 构建生产就绪的 tRPC API:Apollo Federation 的 TypeScript 替代方案 Anthropic推出面向Claude Code的基于智能体的代码审查功能 北京车展直击:斑马智能甩出车载Agent短剧,比亚迪率先落地,AI让智能座舱又热起来了 Snowflake 作为智能体运行时:从静态管道迈向自主数据系统 | 技术实践 Snowflake 上的本体体系:基于 Cortex Code 能力实现从架构到部署 | 技术实践 Cloudflare 公布 MCP 架构方案,应对企业面临的安全与治理风险 复杂的项目管理怎么做到「AI 友好」?飞书项目用「开放」给出答案 Snowflake Cortex Code 的规范驱动开发:将 SDLC 方法论引入 AI 辅助工作流 | 技术实践 Copilot 不让注册了:从“随便用”到“全面限”,agent 把原有订价模型顶穿了 当互联网用AI卷效率时,这家公司先问了一连串“能不能” Meta 开始记录员工每一次点击:AI 要接管工作,先监控会工作的人 Meta“Token榜”逼疯打工人,一夜烧掉公司几万刀!AI时代Token焦虑越来越离谱 智源FlagOS完成DeepSeek-V4-Flash在八款芯片Day0适配,实现三重技术突破 DeepSeek V4 重磅开源!首次打通华为Ascend,也没丢掉英伟达,百万上下文夺回国产模型话语权 李志飞的“新实验”:当超级个体撞上真实组织 GPT-5.5 登顶时刻,Anthropic 亲口承认 Claude 变笨了!网友群嘲:太敷衍 那些没空写的小需求,龙虾真能做吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从 Pandas 到生产:使用任意 IDE 进行可扩展的 ML 数据管道与分布式处理 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 pnpm 11 候选版本发布,带来 ESM 分发、供应链默认设置以及新的存储格式 银行业PDF表格提取方案重构:基于Java的分层方案 GPT-5.5 赢了 Opus 4.7 和 Mythos?奥特曼晒黄仁勋内部信:英伟达全员用上 Codex! Cloudflare 推出 Think:一款面向 AI 代理的持久化运行时 1850亿美元天价支出、75%代码由AI生成!谷歌正式宣告:全面转向智能体工作流 xAI落后太多,马斯克“开大”重金求购Cursor,100亿美金“分手费”都敢签! Pulumi 新增对 Bun 运行时的全面支持 姚顺雨腾讯模型首秀!不卷参数只做 “听话打工人”,Hy3 preview登场 | 附实测 老板让你“忽悠”投资人,你敢发给龙虾吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 Gemini CLI 引入子代理机制,实现任务委派与并行代理工作流 清华系团队星工聚将完成数千万天使轮融资,轮式机器人拿下头部制造企业亿级大单 Pretext.js 绕过 DOM 布局重排,实现 120 FPS 的高级交互体验 靠“AI 云”爆红的 Vercel,栽在一个第三方AI工具手里!IPO前夕遭黑,200万美元赎金谈崩? 高能研讨会|端侧 AI 正在重写实时感知效率上限_AI&大模型_王玮_InfoQ精选视频 2050大会看这篇就够了|报名、交通食宿指引大全 Java 近期资讯:OpenJDK JEP、Jakarta EE 12、Spring Framework、Micrometer、Camel、JBang 金融智能的架构编排:基于 Snowflake Cortex Agents 实现结构化与非结构化数据统一分析 | 技术实践 在AK大神爆火的任务里,摸清国产AI真实水平 百灵Ling-2.6-flash 正式发布:高 Token 效率,以 1/10 消耗实现 SOTA 级 Agent 能力 当 PM 懂AI,当技术懂产品:AI 时代产品力的双向进化|PM x AI产品力领航者大会即将开幕 为 AI 智能体设计记忆机制:揭秘 LinkedIn 的认知记忆智能体 获奖名单公布|2026主题征文第一期|分享你最有价值的龙虾场景与核心 Skill_热门活动_InfoQ写作社区官方_InfoQ写作社区
Oracle XStream 技术揭秘:高吞吐 OLTP 场景下的 CDC 影响评估 | 技术实践
Jakub Puchalski王玮张琰梓 · 2026-05-26 · via InfoQ - 促进软件开发领域知识与创新的传播

2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式!

要点速览

Snowflake Openflow Connector for Oracle 是 Snowflake 全新的原生解决方案,可将运营数据直接流式传输到 Snowflake,无需复杂的第三方中间件。然而,数据库管理员(DBA)有时会担心,启用这类变更数据捕获(CDC)管道会破坏其生产环境的稳定性。

为了验证大规模场景下的性能和稳定性,我们使用真实的 TPC-C 工作负载对该连接器进行了压力测试(以 XStream 模式运行),该负载可持续保持约 37,000 笔复杂事务/秒。

结果如何?

  • Redo 影响:线性增长,而非指数级增长(日志量约增加 47%);

  • CPU 开销:几乎可以忽略,约为 3%(主要由日志 I/O 驱动,而不是 XStream 进程本身);

  • 吞吐量:除非你的数据库已经在磁盘写入方面受到 I/O 限制,否则对事务延迟没有影响。

稳定性与新鲜度之间的冲突

对于 Oracle DBA 来说,使用 CDC 有时听起来像是一种威胁。

你的职责非常明确:保护生产 OLTP 系统。你最不愿看到的情况,是某个外部进程激进地争抢 CPU、导致缓冲区缓存抖动,或阻塞日志写入器(LGWR)。当数据工程师请求启用 XStream Out,以便将数据实时摄取到 Snowflake 时,“不行”可能会成为你的默认回答。

我们理解这种怀疑。在 Snowflake,我们将关键任务型 OLTP 源数据库视为至关重要。我们知道,如果作为记录系统的运营系统宕机,下游分析也就无关紧要了。

然而,AI 对近实时数据的需求不会消失。为了弥合数据工程对数据新鲜度的需求与 DBA 对稳定性的需求之间的差距,我们不再猜测,而是开始测量。

我们针对 Oracle XStream Out 运行了高强度工作负载,以确定它在 AWS 中运行的高吞吐量、中等规模系统上的确切“成本”。以下是数据、我们发现的摩擦点,以及能够确保生产环境安全的架构模式。

测试设置:对生产现实进行压力测试

我们不想测试一个基础的 “Hello World” 场景。我们希望在一个配置适中的数据库上模拟一个真实、嘈杂的企业工作负载,以了解压力点在哪里。

环境:

  • 数据库:AWS RDS Oracle 19c Enterprise Edition(db.m6in.16xlarge);

  • 计算:64 个 vCPU,256 GB RAM;

  • 存储:io2 Block Express(200,000 预置 IOPS),用于处理写入密集型工作负载。

工作负载:

  • 工具:HammerDB TPC-C(用于 OLTP 压力测试的行业标准,包含插入、更新和删除操作的混合负载);

  • 规模:100 个仓库,100 个并发虚拟用户;

  • 吞吐量:持续约 37,000 TPS(每秒事务数);

  • 时长:每个场景持续运行 60 分钟。

测试场景:

我们将基线场景(无 CDC)与三种配置进行了比较:

  1. 补充日志(仅主键);

  2. 补充日志(ALL 列);

  3. 启用完整 XStream Capture。

我们用于本次测试的环境是有意设置成“中端”和中等规模的配置。运行在 AWS RDS 服务上为我们的 Openflow Connector 测试提供了一些便利;不过众所周知,在高度虚拟化的基础设施(例如 AWS RDS)中运行数据库,对于高性能工作负载而言并不是最优选择。这也是为什么 AWS 目前正在其数据中心内广泛推出对 Oracle Exadata 和 Autonomous Database 服务的直接支持。

使用 Oracle Exadata,客户通常可以实现超过 100 万 TPS,而 Exadata X11M 能够以惊人的 31 TB/秒扫描数据,并以超过 100 万 IOPS 的速度写入数据。在这些更企业级的系统上运行 XStream 的 DBA,可以预期获得比我们下面展示的结果更好的性能和更优的结果。

结果:来自 AWR 报告的证据

“Redo 爆炸”神话被打破

Oracle AI Database 和 XStream 并不强制要求启用完整补充日志(LOG DATA (ALL)),但对于 Snowflake Openflow Connector 而言,这会极大简化以完全一致性管理数据的过程,因此我们要求开启该功能。DBA 最常见的担忧是,为 ALL 列启用补充日志会产生 5 倍或 10 倍的日志量。

数据:Redo 使用量并没有出现指数级爆炸;它是线性增长的。该数据来自 HammerDB TPC-C 测试中典型的插入、更新和删除操作混合负载。

  • 基线 Redo:每笔事务约 6.79 KB;

  • 启用 ‘ALL’ 列日志后:每笔事务约 10.96 KB。

这代表日志生成量约增加 47%(约 1.5 倍)。虽然这一增长显著,但它是可确定的。它并不是 FUD(恐惧、不确定性和怀疑)讨论中经常提到的那种难以管理的 500% 激增。此外,在当今监管日益严格的世界中,对于任何受 GDPR、HIPAA 或 SOX 合规政策约束的行业来说,拥有完整、可审计、详细的数据“前镜像”历史记录,都是一个非常好的做法。

容量估算公式:

预计 Redo 量 = 当前量 * 1.5

CPU 开销可以忽略不计

XStream 本身极其轻量。观察到的总 CPU 开销仅约为 3%(使用率从约 33% 上升到约 36%)。

洞察:这一 CPU 增长的大部分来自数据库引擎写入额外的 Redo 内容(补充日志)。实际的 XStream Capture 后台进程几乎没有增加任何计算负载。

吞吐量与 “log sync” 瓶颈

我们的测试将数据库推至约 37,000 TPS。在这一速度下,当 XStream 完全启用时,我们观察到总事务吞吐量下降了 8–9%。

为什么?这一下降与增加的日志量触及存储限制直接相关,而不是因为 XStream 锁定了数据库资源。

  • 基线约束:即使在启用 CDC 之前,我们的测试也已经受 I/O 限制。(这并不罕见,因为与更优的裸金属主机相比,RDS 基础设施的 IOPS 性能通常较差。)我们的 AWR 报告显示,数据库将约 74% 的 DB 时间花在提交和回滚上(具体为 log_file_sync);

  • 好消息:尽管负载很重,每次同步的实际延迟仍然非常优秀,低于 2ms(平均 1.75ms)。磁盘子系统速度很快,只是被数据量压垮了;

  • CDC 影响:启用 XStream 要求向这条已经饱和的通道写入 47% 更多的数据(补充日志);

  • 结果:写入频率本身使日志写入器达到饱和,导致吞吐量下降约 9%。

战略要点:CDC 的成本主要体现在 I/O,而不是 CPU。如果你的生产数据库已经让 Log Writer(磁盘 I/O)达到饱和,启用补充日志会加剧这一瓶颈。然而,如果你有 I/O 余量,对事务吞吐量的影响将会很小。

DBA 最佳实践

基于这些数据,以下是安全启用 Snowflake Oracle Connector 的检查清单:

检查你的 I/O 余量(至关重要)

在启用 CDC 之前,检查当前的 log_file_sync 等待情况。

  • 如果你已经经常看到超过 5–10ms 的等待,请先解决存储 I/O 瓶颈;

  • CDC 增加的是数据量,而不是延迟——但如果通道已满,数据量就会变成延迟。

调整日志大小

传统的 500MB Redo Log 文件将不再够用。

  • 建议:将 Online Redo Log 大小增加到 4GB–8GB;

  • 原因:随着 Redo 量增加 47%,小日志会导致频繁的日志切换(检查点),从而暂停数据库。

“安全阀”:配置 STREAMS_POOL_SIZE

不要让 Oracle AI 源数据库通过 Shared Pool 自动管理这一部分。你必须隔离 XStream 内存。

  • 建议:分配一个专用的 STREAMS_POOL_SIZE(我们建议从 2.5 GB 开始);

  • 原因:这相当于一个断路器。如果复制管道变慢,或事务量激增,该池会被填满。当它填满时,XStream 会暂停。它不会占用你的缓冲区缓存。它不会导致实例崩溃。它只会产生延迟。这会优先保障 OLTP 稳定性,而不是复制延迟。

精准日志,而不是“全局开启”

在我们的场景中,我们记录了所有内容,以证明这一点。在生产环境中,你绝不应该运行 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS。

  • 建议:仅对正在复制的特定表启用补充日志。Snowflake Openflow Connector for Oracle 要求记录 ALL 列,以完整重构负载内容,但这应当精确应用于范围内的表,而不是整个数据库;

  • 命令:ALTER TABLE schema.table ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS。

请注意,这也可能是你重新审视业务需求和义务的好时机,因为对于关键任务数据表而言,可能还存在其他与合规相关的原因,需要启用额外的补充日志。

信任但要验证:监控脉搏

你无法管理无法测量的东西。使用以下特定视图,确保 XStream 保持健康,并遵守其资源边界:

  • V$XSTREAM_CAPTURE:检查 STATE(应为 CAPTURING CHANGES)和 LATENCY_SECONDS。这是你的主要延迟指标;

  • V$STREAMS_POOL_STATISTICS:监控 TOTAL_MEMORY_ALLOCATED。如果它达到你的 STREAMS_POOL_SIZE 上限,你就知道安全阀正在发挥作用(也能知道复制为何可能暂停);

  • V$XSTREAM_OUTBOUND_SERVER:确认连接器已连接,且状态为 SENDING CHANGES。

“零接触选项”:下游捕获(适用于极大规模)

如果你的生产数据库 CPU 长期运行在 80% 以上,或生成很高的 Redo 量(例如每天 1TB 到 20TB+),在主库上运行任何额外进程可能并不适合你。

  • 建议:使用 Downstream Capture 模式;

  • 方式:将你的 Redo Logs 发送到一个辅助的、被动的 Oracle 实例(下游挖掘数据库)。XStream 在那里运行;

  • 结果:生产源库上没有任何 CPU 或内存占用。对生产环境的唯一影响,是传输日志所需的网络带宽;

  • 附带收益:你的下游挖掘数据库只需根据 redo logs 进行规模配置,通常比主数据库小得多;并且该挖掘数据库可以运行最新的 Oracle AI Database 26ai 版本,从而为你的 CDC 客户端提供额外的性能和功能优势;

  • 请注意,在下游捕获模式下,仍然需要按照原始/生产源数据库(应用用户所连接的数据库)的核心数来计算/覆盖许可和定价。

结论

许多数据工程团队希望借助 Snowflake 获得洞察速度。许多运营团队希望借助 Oracle 获得稳定性和原始性能。这些目标并不互相排斥。

本文讨论的场景表明,XStream 是一项成熟、高效的技术。在一个中等规模的 AWS RDS 实例上,XStream 能够处理 37k TPS,且 CPU 开销仅为可以忽略的 3%。相关风险——尤其是 I/O 和日志量方面——是可确定且可管理的。对于使用更优基础设施来运行 Oracle AI 数据库的客户,例如 Exadata,使用基于 XStream 的 CDC 客户端(如 Snowflake Openflow)可以预期获得更好的整体结果。

我们构建 Snowflake Openflow Connector for Oracle,是为了利用这些原生内部机制,并优先考虑架构透明性和运营稳定性。

原文地址:https://medium.com/snowflake/demystifying-oracle-xstream-quantifying-the-impact-of-cdc-on-high-throughput-oltp-systems-2997395dda95

点击链接立即报名注册:Ascent - Snowflake Platform Training - China更多 Snowflake 精彩活动请关注专区