惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

IT之家
IT之家
L
LangChain Blog
博客园 - 聂微东
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
GbyAI
GbyAI
博客园_首页
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
酷 壳 – CoolShell
酷 壳 – CoolShell
D
Docker
V
V2EX
月光博客
月光博客
Recent Commits to openclaw:main
Recent Commits to openclaw:main
S
SegmentFault 最新的问题
雷峰网
雷峰网
Stack Overflow Blog
Stack Overflow Blog
Cyberwarzone
Cyberwarzone
P
Privacy International News Feed
Spread Privacy
Spread Privacy
Project Zero
Project Zero
腾讯CDC
Engineering at Meta
Engineering at Meta
T
Tenable Blog
aimingoo的专栏
aimingoo的专栏
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Jina AI
Jina AI
大猫的无限游戏
大猫的无限游戏
量子位
Blog — PlanetScale
Blog — PlanetScale
D
DataBreaches.Net
T
Troy Hunt's Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
美团技术团队
N
News and Events Feed by Topic
T
Tor Project blog
H
Help Net Security
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Last Week in AI
Last Week in AI
S
Security Affairs
小众软件
小众软件
Scott Helme
Scott Helme
云风的 BLOG
云风的 BLOG
Apple Machine Learning Research
Apple Machine Learning Research
Vercel News
Vercel News
人人都是产品经理
人人都是产品经理
PCI Perspectives
PCI Perspectives
TaoSecurity Blog
TaoSecurity Blog
博客园 - 叶小钗
V
Visual Studio Blog
The Cloudflare Blog
Recent Announcements
Recent Announcements

InfoQ - 促进软件开发领域知识与创新的传播

Meta 收购 Manus 这事儿泡汤了 5.5万 Star 开源项目 Ghostty 被迫出走,GitHub 正在终结一代技术人的乌托邦 Slack 长时运行多智能体系统的上下文管理方案 从 T+1 到分钟级:金城银行基于 Apache Doris 构建高可靠、强一致的实时数据平台 谷歌云推出 Agents CLI,简化 AI 智能体开发全流程 Claude官方击穿高薪、高学历的安全防线!Anthropic点名10大高危职业,但有群人暂时稳了 亚马逊云科技终止 WorkMail 服务,并将 App Runner 转入维护模式 OPPO小布记忆:全模态碎片化内容的理解与智能整理实践|AICon上海 模力工场038周AI应用周榜:工具在消失,工作流在出现 Akamai CEO Tom Leighton:Agent 时代来临,云基础设施正从“中心化”转向“分布式边缘” 日均数百亿入库背后:从“人肉调度”到K8s弹性架构,度小满金融基于OceanBase重构入库架构实践 百度文库网盘发布GenFlow 4.0:月活用户超1亿,要把网盘变成全端AI工作台 Altman 投的 Agent 终端 Warp 开源了!斩获3.5万star 哪些客户需要拒, 敢让龙虾决定吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从开发到生产:为什么越来越多的机器学习团队纷纷迁移到 Snowflake | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 探索多智能体工作流:LangGraph Snowflake Cortex AI | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 腾讯云分布式缓存数据库:AI Agent - 从提示词工程到 Harness 工程 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 基于 Streamlit 为 CSV 数据构建分析智能体 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 AI 智能体:告别文档缺漏 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 构建 AI 驱动的数据管道:深度探讨 Snowflake Openflow 与非结构化数据 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 云端太贵、本地不够聪明,英特尔押注“端云混合AI”:智能体PC会替人完成工作 不到10%的存储投入,可能拖垮90%的GPU投资!IBM把AI Agent塞进存储系统,算清企业最容易忽略的一笔账 Snowpark 上手实战 | BUILD 2025_大数据_王玮_InfoQ精选视频 ClickHouse + Langfuse,构建 Agent 可观测基石 腾讯云分布式缓存数据库:Cluster Proxy 共享连接架构深度解析 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来? 英特尔发布至强600系列工作站处理器与锐炫Pro B70 GPU,全新AI工作站来了 腾讯云分布式缓存数据库:从 Redis 到 Valkey - 开源社区如何快速创新 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 印奇这次要“从0重做”智驾模型!首谈阶跃和千里双公司布局:中国AI商业闭环要靠车跑出来 从Cursor返聘归来,90后华裔女高管带Claude开启日更模式:token成本比工程师工资低多了! 从 Coding 到 Agent:QCon 北京 2026 全景复盘,优秀出品人 & 明星讲师名单揭晓 全链路支撑大模型国产化“Day 0适配”,商汤大装置构建全栈能力底座 凌晨,OpenAI 与亚马逊云科技史上最大联合发布来了 HashiCorp Vault 2.0 发布:引入新身份联邦机制,迈入 IBM 生命周期体系 Yelp 实现超 1,000 个 Cassandra 节点零停机升级 写了 17 年开源代码,我为什么认为 Coding Agents 堆功能是在瞎折腾? 基于 Apache Camel 编排智能体与多模态 AI 管道 面向智能体与人类用户的AI记忆系统:架构设计与核心场景实践|AICon上海 Anthropic 推出 Managed Agents,简化 AI 代理部署流程 阿里HappyHorse开启灰测,720P视频生成低至0.44元/秒 讯飞联合清华团队押注量子AI:不看营收、不设KPI,一群“无人区”科学家,抢夺下代AI算力入口 小米万亿模型全面开源:MIT 协议、1M 上下文,但还是打不过 DeepSeek Cortex Code 入门指南:面向数据工程师的实践路径 | 技术实践 openJiuwen社区首发Team Skills,定义Coordination Engineering新范式 用 Snowflake Cortex Agents 释放结构化数据的最大价值 | 技术实践 Grafana 利用 Kafka 对 Loki 进行了架构重构,并发布了一款命令行工具,旨在将可观测性引入编码代理 ClickHouse重构全文索引:对象存储上跑出高性能 Full-Text Search 可观测性和遥测技术如何提升软件工程实践 Dropbox 与 GitHub 合作,将单体库大小从 87GB 缩减至 20GB Agent 的下一站:基于长期记忆系统 EverOS 的自我演进|AICon上海 同一赛道,四种收费:Agent 控制层(Harness)开始分裂 Cloudflare Sandboxes 正式发布,为 AI 代理提供持久化隔离环境 Agent 的“记忆断片”困局,该怎么破?_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选视频 数据分析师如何快速建立在 AI 时代最值钱的能力:一份可落地的行动路线图 摩尔线程最新财报:研发占比超86%,万卡级大规模智算集群落地 当云区域失效:地缘动荡环境下的高可用重构 Slack 重构通知系统,设置参与度提升 5 倍 智能体工程的隐性技术债务 “我把所有模型都换成了DeepSeek V4”:月账单将降 90%,效果还更好 阿里云智能集团高级技术专家刘少伟已确认出席AICon上海站,并分享如何构建企业 Agent 的自动化行动架构 构建生产就绪的 tRPC API:Apollo Federation 的 TypeScript 替代方案 Anthropic推出面向Claude Code的基于智能体的代码审查功能 北京车展直击:斑马智能甩出车载Agent短剧,比亚迪率先落地,AI让智能座舱又热起来了 Snowflake 作为智能体运行时:从静态管道迈向自主数据系统 | 技术实践 Snowflake 上的本体体系:基于 Cortex Code 能力实现从架构到部署 | 技术实践 Cloudflare 公布 MCP 架构方案,应对企业面临的安全与治理风险 复杂的项目管理怎么做到「AI 友好」?飞书项目用「开放」给出答案 Snowflake Cortex Code 的规范驱动开发:将 SDLC 方法论引入 AI 辅助工作流 | 技术实践 Copilot 不让注册了:从“随便用”到“全面限”,agent 把原有订价模型顶穿了 当互联网用AI卷效率时,这家公司先问了一连串“能不能” Meta 开始记录员工每一次点击:AI 要接管工作,先监控会工作的人 Meta“Token榜”逼疯打工人,一夜烧掉公司几万刀!AI时代Token焦虑越来越离谱 智源FlagOS完成DeepSeek-V4-Flash在八款芯片Day0适配,实现三重技术突破 DeepSeek V4 重磅开源!首次打通华为Ascend,也没丢掉英伟达,百万上下文夺回国产模型话语权 李志飞的“新实验”:当超级个体撞上真实组织 GPT-5.5 登顶时刻,Anthropic 亲口承认 Claude 变笨了!网友群嘲:太敷衍 那些没空写的小需求,龙虾真能做吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从 Pandas 到生产:使用任意 IDE 进行可扩展的 ML 数据管道与分布式处理 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 pnpm 11 候选版本发布,带来 ESM 分发、供应链默认设置以及新的存储格式 银行业PDF表格提取方案重构:基于Java的分层方案 GPT-5.5 赢了 Opus 4.7 和 Mythos?奥特曼晒黄仁勋内部信:英伟达全员用上 Codex! Cloudflare 推出 Think:一款面向 AI 代理的持久化运行时 1850亿美元天价支出、75%代码由AI生成!谷歌正式宣告:全面转向智能体工作流 xAI落后太多,马斯克“开大”重金求购Cursor,100亿美金“分手费”都敢签! Pulumi 新增对 Bun 运行时的全面支持 姚顺雨腾讯模型首秀!不卷参数只做 “听话打工人”,Hy3 preview登场 | 附实测 老板让你“忽悠”投资人,你敢发给龙虾吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 Gemini CLI 引入子代理机制,实现任务委派与并行代理工作流 清华系团队星工聚将完成数千万天使轮融资,轮式机器人拿下头部制造企业亿级大单 Pretext.js 绕过 DOM 布局重排,实现 120 FPS 的高级交互体验 靠“AI 云”爆红的 Vercel,栽在一个第三方AI工具手里!IPO前夕遭黑,200万美元赎金谈崩? 高能研讨会|端侧 AI 正在重写实时感知效率上限_AI&大模型_王玮_InfoQ精选视频 2050大会看这篇就够了|报名、交通食宿指引大全 Java 近期资讯:OpenJDK JEP、Jakarta EE 12、Spring Framework、Micrometer、Camel、JBang 金融智能的架构编排:基于 Snowflake Cortex Agents 实现结构化与非结构化数据统一分析 | 技术实践 在AK大神爆火的任务里,摸清国产AI真实水平 百灵Ling-2.6-flash 正式发布:高 Token 效率,以 1/10 消耗实现 SOTA 级 Agent 能力 当 PM 懂AI,当技术懂产品:AI 时代产品力的双向进化|PM x AI产品力领航者大会即将开幕 为 AI 智能体设计记忆机制:揭秘 LinkedIn 的认知记忆智能体 获奖名单公布|2026主题征文第一期|分享你最有价值的龙虾场景与核心 Skill_热门活动_InfoQ写作社区官方_InfoQ写作社区
Oracle XStream 技术揭秘:高吞吐 OLTP 场景下的 CDC 影响评估 | 技术实践
Jakub Puchalski王玮张琰梓 · 2026-05-26 · via InfoQ - 促进软件开发领域知识与创新的传播

2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式!

要点速览

Snowflake Openflow Connector for Oracle 是 Snowflake 全新的原生解决方案,可将运营数据直接流式传输到 Snowflake,无需复杂的第三方中间件。然而,数据库管理员(DBA)有时会担心,启用这类变更数据捕获(CDC)管道会破坏其生产环境的稳定性。

为了验证大规模场景下的性能和稳定性,我们使用真实的 TPC-C 工作负载对该连接器进行了压力测试(以 XStream 模式运行),该负载可持续保持约 37,000 笔复杂事务/秒。

结果如何?

  • Redo 影响:线性增长,而非指数级增长(日志量约增加 47%);

  • CPU 开销:几乎可以忽略,约为 3%(主要由日志 I/O 驱动,而不是 XStream 进程本身);

  • 吞吐量:除非你的数据库已经在磁盘写入方面受到 I/O 限制,否则对事务延迟没有影响。

稳定性与新鲜度之间的冲突

对于 Oracle DBA 来说,使用 CDC 有时听起来像是一种威胁。

你的职责非常明确:保护生产 OLTP 系统。你最不愿看到的情况,是某个外部进程激进地争抢 CPU、导致缓冲区缓存抖动,或阻塞日志写入器(LGWR)。当数据工程师请求启用 XStream Out,以便将数据实时摄取到 Snowflake 时,“不行”可能会成为你的默认回答。

我们理解这种怀疑。在 Snowflake,我们将关键任务型 OLTP 源数据库视为至关重要。我们知道,如果作为记录系统的运营系统宕机,下游分析也就无关紧要了。

然而,AI 对近实时数据的需求不会消失。为了弥合数据工程对数据新鲜度的需求与 DBA 对稳定性的需求之间的差距,我们不再猜测,而是开始测量。

我们针对 Oracle XStream Out 运行了高强度工作负载,以确定它在 AWS 中运行的高吞吐量、中等规模系统上的确切“成本”。以下是数据、我们发现的摩擦点,以及能够确保生产环境安全的架构模式。

测试设置:对生产现实进行压力测试

我们不想测试一个基础的 “Hello World” 场景。我们希望在一个配置适中的数据库上模拟一个真实、嘈杂的企业工作负载,以了解压力点在哪里。

环境:

  • 数据库:AWS RDS Oracle 19c Enterprise Edition(db.m6in.16xlarge);

  • 计算:64 个 vCPU,256 GB RAM;

  • 存储:io2 Block Express(200,000 预置 IOPS),用于处理写入密集型工作负载。

工作负载:

  • 工具:HammerDB TPC-C(用于 OLTP 压力测试的行业标准,包含插入、更新和删除操作的混合负载);

  • 规模:100 个仓库,100 个并发虚拟用户;

  • 吞吐量:持续约 37,000 TPS(每秒事务数);

  • 时长:每个场景持续运行 60 分钟。

测试场景:

我们将基线场景(无 CDC)与三种配置进行了比较:

  1. 补充日志(仅主键);

  2. 补充日志(ALL 列);

  3. 启用完整 XStream Capture。

我们用于本次测试的环境是有意设置成“中端”和中等规模的配置。运行在 AWS RDS 服务上为我们的 Openflow Connector 测试提供了一些便利;不过众所周知,在高度虚拟化的基础设施(例如 AWS RDS)中运行数据库,对于高性能工作负载而言并不是最优选择。这也是为什么 AWS 目前正在其数据中心内广泛推出对 Oracle Exadata 和 Autonomous Database 服务的直接支持。

使用 Oracle Exadata,客户通常可以实现超过 100 万 TPS,而 Exadata X11M 能够以惊人的 31 TB/秒扫描数据,并以超过 100 万 IOPS 的速度写入数据。在这些更企业级的系统上运行 XStream 的 DBA,可以预期获得比我们下面展示的结果更好的性能和更优的结果。

结果:来自 AWR 报告的证据

“Redo 爆炸”神话被打破

Oracle AI Database 和 XStream 并不强制要求启用完整补充日志(LOG DATA (ALL)),但对于 Snowflake Openflow Connector 而言,这会极大简化以完全一致性管理数据的过程,因此我们要求开启该功能。DBA 最常见的担忧是,为 ALL 列启用补充日志会产生 5 倍或 10 倍的日志量。

数据:Redo 使用量并没有出现指数级爆炸;它是线性增长的。该数据来自 HammerDB TPC-C 测试中典型的插入、更新和删除操作混合负载。

  • 基线 Redo:每笔事务约 6.79 KB;

  • 启用 ‘ALL’ 列日志后:每笔事务约 10.96 KB。

这代表日志生成量约增加 47%(约 1.5 倍)。虽然这一增长显著,但它是可确定的。它并不是 FUD(恐惧、不确定性和怀疑)讨论中经常提到的那种难以管理的 500% 激增。此外,在当今监管日益严格的世界中,对于任何受 GDPR、HIPAA 或 SOX 合规政策约束的行业来说,拥有完整、可审计、详细的数据“前镜像”历史记录,都是一个非常好的做法。

容量估算公式:

预计 Redo 量 = 当前量 * 1.5

CPU 开销可以忽略不计

XStream 本身极其轻量。观察到的总 CPU 开销仅约为 3%(使用率从约 33% 上升到约 36%)。

洞察:这一 CPU 增长的大部分来自数据库引擎写入额外的 Redo 内容(补充日志)。实际的 XStream Capture 后台进程几乎没有增加任何计算负载。

吞吐量与 “log sync” 瓶颈

我们的测试将数据库推至约 37,000 TPS。在这一速度下,当 XStream 完全启用时,我们观察到总事务吞吐量下降了 8–9%。

为什么?这一下降与增加的日志量触及存储限制直接相关,而不是因为 XStream 锁定了数据库资源。

  • 基线约束:即使在启用 CDC 之前,我们的测试也已经受 I/O 限制。(这并不罕见,因为与更优的裸金属主机相比,RDS 基础设施的 IOPS 性能通常较差。)我们的 AWR 报告显示,数据库将约 74% 的 DB 时间花在提交和回滚上(具体为 log_file_sync);

  • 好消息:尽管负载很重,每次同步的实际延迟仍然非常优秀,低于 2ms(平均 1.75ms)。磁盘子系统速度很快,只是被数据量压垮了;

  • CDC 影响:启用 XStream 要求向这条已经饱和的通道写入 47% 更多的数据(补充日志);

  • 结果:写入频率本身使日志写入器达到饱和,导致吞吐量下降约 9%。

战略要点:CDC 的成本主要体现在 I/O,而不是 CPU。如果你的生产数据库已经让 Log Writer(磁盘 I/O)达到饱和,启用补充日志会加剧这一瓶颈。然而,如果你有 I/O 余量,对事务吞吐量的影响将会很小。

DBA 最佳实践

基于这些数据,以下是安全启用 Snowflake Oracle Connector 的检查清单:

检查你的 I/O 余量(至关重要)

在启用 CDC 之前,检查当前的 log_file_sync 等待情况。

  • 如果你已经经常看到超过 5–10ms 的等待,请先解决存储 I/O 瓶颈;

  • CDC 增加的是数据量,而不是延迟——但如果通道已满,数据量就会变成延迟。

调整日志大小

传统的 500MB Redo Log 文件将不再够用。

  • 建议:将 Online Redo Log 大小增加到 4GB–8GB;

  • 原因:随着 Redo 量增加 47%,小日志会导致频繁的日志切换(检查点),从而暂停数据库。

“安全阀”:配置 STREAMS_POOL_SIZE

不要让 Oracle AI 源数据库通过 Shared Pool 自动管理这一部分。你必须隔离 XStream 内存。

  • 建议:分配一个专用的 STREAMS_POOL_SIZE(我们建议从 2.5 GB 开始);

  • 原因:这相当于一个断路器。如果复制管道变慢,或事务量激增,该池会被填满。当它填满时,XStream 会暂停。它不会占用你的缓冲区缓存。它不会导致实例崩溃。它只会产生延迟。这会优先保障 OLTP 稳定性,而不是复制延迟。

精准日志,而不是“全局开启”

在我们的场景中,我们记录了所有内容,以证明这一点。在生产环境中,你绝不应该运行 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS。

  • 建议:仅对正在复制的特定表启用补充日志。Snowflake Openflow Connector for Oracle 要求记录 ALL 列,以完整重构负载内容,但这应当精确应用于范围内的表,而不是整个数据库;

  • 命令:ALTER TABLE schema.table ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS。

请注意,这也可能是你重新审视业务需求和义务的好时机,因为对于关键任务数据表而言,可能还存在其他与合规相关的原因,需要启用额外的补充日志。

信任但要验证:监控脉搏

你无法管理无法测量的东西。使用以下特定视图,确保 XStream 保持健康,并遵守其资源边界:

  • V$XSTREAM_CAPTURE:检查 STATE(应为 CAPTURING CHANGES)和 LATENCY_SECONDS。这是你的主要延迟指标;

  • V$STREAMS_POOL_STATISTICS:监控 TOTAL_MEMORY_ALLOCATED。如果它达到你的 STREAMS_POOL_SIZE 上限,你就知道安全阀正在发挥作用(也能知道复制为何可能暂停);

  • V$XSTREAM_OUTBOUND_SERVER:确认连接器已连接,且状态为 SENDING CHANGES。

“零接触选项”:下游捕获(适用于极大规模)

如果你的生产数据库 CPU 长期运行在 80% 以上,或生成很高的 Redo 量(例如每天 1TB 到 20TB+),在主库上运行任何额外进程可能并不适合你。

  • 建议:使用 Downstream Capture 模式;

  • 方式:将你的 Redo Logs 发送到一个辅助的、被动的 Oracle 实例(下游挖掘数据库)。XStream 在那里运行;

  • 结果:生产源库上没有任何 CPU 或内存占用。对生产环境的唯一影响,是传输日志所需的网络带宽;

  • 附带收益:你的下游挖掘数据库只需根据 redo logs 进行规模配置,通常比主数据库小得多;并且该挖掘数据库可以运行最新的 Oracle AI Database 26ai 版本,从而为你的 CDC 客户端提供额外的性能和功能优势;

  • 请注意,在下游捕获模式下,仍然需要按照原始/生产源数据库(应用用户所连接的数据库)的核心数来计算/覆盖许可和定价。

结论

许多数据工程团队希望借助 Snowflake 获得洞察速度。许多运营团队希望借助 Oracle 获得稳定性和原始性能。这些目标并不互相排斥。

本文讨论的场景表明,XStream 是一项成熟、高效的技术。在一个中等规模的 AWS RDS 实例上,XStream 能够处理 37k TPS,且 CPU 开销仅为可以忽略的 3%。相关风险——尤其是 I/O 和日志量方面——是可确定且可管理的。对于使用更优基础设施来运行 Oracle AI 数据库的客户,例如 Exadata,使用基于 XStream 的 CDC 客户端(如 Snowflake Openflow)可以预期获得更好的整体结果。

我们构建 Snowflake Openflow Connector for Oracle,是为了利用这些原生内部机制,并优先考虑架构透明性和运营稳定性。

原文地址:https://medium.com/snowflake/demystifying-oracle-xstream-quantifying-the-impact-of-cdc-on-high-throughput-oltp-systems-2997395dda95

点击链接立即报名注册:Ascent - Snowflake Platform Training - China更多 Snowflake 精彩活动请关注专区