惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Microsoft Security Blog
Microsoft Security Blog
WordPress大学
WordPress大学
Stack Overflow Blog
Stack Overflow Blog
D
DataBreaches.Net
罗磊的独立博客
博客园 - 司徒正美
Last Week in AI
Last Week in AI
The Cloudflare Blog
大猫的无限游戏
大猫的无限游戏
Microsoft Azure Blog
Microsoft Azure Blog
B
Blog RSS Feed
The GitHub Blog
The GitHub Blog
宝玉的分享
宝玉的分享
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
小众软件
小众软件
Jina AI
Jina AI
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Hugging Face - Blog
Hugging Face - Blog
B
Blog
博客园 - 【当耐特】
V
V2EX
Apple Machine Learning Research
Apple Machine Learning Research
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
酷 壳 – CoolShell
酷 壳 – CoolShell

InfoQ - 促进软件开发领域知识与创新的传播

Meta 收购 Manus 这事儿泡汤了 5.5万 Star 开源项目 Ghostty 被迫出走,GitHub 正在终结一代技术人的乌托邦 Slack 长时运行多智能体系统的上下文管理方案 从 T+1 到分钟级:金城银行基于 Apache Doris 构建高可靠、强一致的实时数据平台 谷歌云推出 Agents CLI,简化 AI 智能体开发全流程 Claude官方击穿高薪、高学历的安全防线!Anthropic点名10大高危职业,但有群人暂时稳了 亚马逊云科技终止 WorkMail 服务,并将 App Runner 转入维护模式 OPPO小布记忆:全模态碎片化内容的理解与智能整理实践|AICon上海 模力工场038周AI应用周榜:工具在消失,工作流在出现 Akamai CEO Tom Leighton:Agent 时代来临,云基础设施正从“中心化”转向“分布式边缘” 日均数百亿入库背后:从“人肉调度”到K8s弹性架构,度小满金融基于OceanBase重构入库架构实践 百度文库网盘发布GenFlow 4.0:月活用户超1亿,要把网盘变成全端AI工作台 Altman 投的 Agent 终端 Warp 开源了!斩获3.5万star 哪些客户需要拒, 敢让龙虾决定吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从开发到生产:为什么越来越多的机器学习团队纷纷迁移到 Snowflake | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 探索多智能体工作流:LangGraph Snowflake Cortex AI | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 腾讯云分布式缓存数据库:AI Agent - 从提示词工程到 Harness 工程 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 基于 Streamlit 为 CSV 数据构建分析智能体 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 AI 智能体:告别文档缺漏 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 构建 AI 驱动的数据管道:深度探讨 Snowflake Openflow 与非结构化数据 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 云端太贵、本地不够聪明,英特尔押注“端云混合AI”:智能体PC会替人完成工作 不到10%的存储投入,可能拖垮90%的GPU投资!IBM把AI Agent塞进存储系统,算清企业最容易忽略的一笔账 Snowpark 上手实战 | BUILD 2025_大数据_王玮_InfoQ精选视频 ClickHouse + Langfuse,构建 Agent 可观测基石 腾讯云分布式缓存数据库:Cluster Proxy 共享连接架构深度解析 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来? 英特尔发布至强600系列工作站处理器与锐炫Pro B70 GPU,全新AI工作站来了 腾讯云分布式缓存数据库:从 Redis 到 Valkey - 开源社区如何快速创新 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 印奇这次要“从0重做”智驾模型!首谈阶跃和千里双公司布局:中国AI商业闭环要靠车跑出来 从Cursor返聘归来,90后华裔女高管带Claude开启日更模式:token成本比工程师工资低多了!
Google Cloud 在 BigQuery 中引入跨引擎 Apache Iceberg 支持
作者:Renato Losio马可薇 · 2026-05-27 · via InfoQ - 促进软件开发领域知识与创新的传播

这一预览功能使多个工具能够直接操作同一数据集,而不必依赖数据复制或专有格式。谷歌还引入了对元数据、表维护以及同步任务的托管支持,而这些工作在传统 Iceberg 部署中往往需要人工处理。

谷歌高级产品经理 Yuriy Zhovtobryukh 与高级产品市场经理 Angela Soares 解释了这一更新的重要性:

如果你现在正在构建 Lakehouse,那你大概已经用上了 Apache Iceberg。对于需要支持多个计算引擎(例如 Spark 与 BigQuery)访问同一份数据、处理不同工作负载的数据平台团队来说,Iceberg 已经获得了广泛普及。

在最近举行的 Next ’26 大会上,谷歌进一步将 Iceberg 的互操作能力扩展到跨云 Lakehouse 场景,支持在 AWS、Azure、Databricks 以及 Snowflake 之间查询 Iceberg Catalog,并扩展到 AI 工作流。根据谷歌的说法,其整体目标是让企业能够以开放格式存储数据,同时使用不同的数据处理与分析工具操作同一数据集。

谷歌认为,许多使用 Apache Iceberg 的团队,相比完全托管的数据平台,依然面临更高的成本与运维复杂度,尤其是在流式数据处理、复制管道以及多工具治理方面。

为了解决这些问题,谷歌正在将 BigQuery 的底层基础设施扩展到对 Iceberg 表的原生支持,包括托管元数据、自动表维护、事务处理以及变更数据复制(CDC)。Zhovtobryukh 与 Soares 补充道:

此前,在构建 Lakehouse 时,客户通常需要根据主要 ETL 引擎,在 Google 托管的 Iceberg REST Catalog 表与 BigQuery 托管表之间做出选择。这意味着,如果客户依赖 Apache Spark 对 Iceberg REST Catalog 表执行 ETL,就无法通过 BigQuery 写入这些表,也无法使用 BigQuery 的存储管理能力。

此次预览还引入了集中式表访问控制,使权限能够在不同查询引擎之间保持一致管理。随着最新功能发布,谷歌云现在已经支持跨 AWS 与 Azure 查询 Iceberg 数据,并能够与 Databricks、Snowflake 等外部平台互操作,同时还支持非结构化数据与 AI 工作流的整合。

BigQuery ObjectRefs 现已正式可用,允许团队将结构化 Iceberg 数据与存储在 Cloud Storage 中的非结构化文件结合起来,用于多模态分析与 AI 工作流。此外,目前仍处于预览阶段的治理层 Knowledge Catalog(原 Dataplex),还可统一管理跨系统的元数据、数据血缘以及访问控制。

业内实践者认为,这种集成有望消除企业采用 Iceberg 时的“隐性成本”。David Colbert 评论称:

团队往往会被 Iceberg 或 Delta 的能力所吸引,但很快就会在 compaction、元数据管理以及编排方面遭遇阻力。Catalog 才是真正关键的部分。开放格式解决的是存储可移植性问题,而控制平面的选择则决定了长期的可选性。

在回顾 Next ’26 上的相关发布时,Precious Pendo 写道

谷歌正在押注:企业 AI 的价值最终将归属于那些掌握数据推理层的人,而不仅仅是掌握存储层的人。AWS 和 Azure 向你收取的是计算与存储费用,而谷歌想向你出售的是上下文与智能能力。

谷歌云并不是唯一聚焦 Iceberg 工作负载的云厂商。AWS 的 EMR、Glue、Athena 与 Redshift 等分析服务,也都已提供对 Iceberg 的原生支持。

在讨论 Apache Iceberg 如何改变现代数据湖时,Red Oak Strategic 云工程师 Shashank Muthuraj 写道:

Apache Iceberg 在不到七年的时间里,就从 Netflix 的一个工程项目发展成为开放式数据 Lakehouse 架构的事实标准。它的技术优势——ACID 事务、隐藏分区、时间旅行以及引擎无关性——确实非常吸引人,但真正值得关注的是整个行业前所未有的一致性支持。

目前,BigQuery 对托管 Iceberg 表的核心支持已经正式可用;而在 Iceberg Summit 2026 上公布的更广泛开放互操作能力与 REST Catalog 功能,则仍处于预览阶段。

原文链接:Google Cloud Introduces Cross-Engine Iceberg Support in BigQuery - InfoQ