惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

罗磊的独立博客
小众软件
小众软件
The Cloudflare Blog
博客园 - 【当耐特】
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
酷 壳 – CoolShell
酷 壳 – CoolShell
WordPress大学
WordPress大学
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
V
Visual Studio Blog
量子位
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
美团技术团队
S
SegmentFault 最新的问题
宝玉的分享
宝玉的分享
博客园 - 叶小钗
月光博客
月光博客
Apple Machine Learning Research
Apple Machine Learning Research
T
Tailwind CSS Blog
博客园 - 聂微东
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
J
Java Code Geeks
Y
Y Combinator Blog
D
Docker
Microsoft Azure Blog
Microsoft Azure Blog

博客园 - 荣锋亮

pg-boss 基于pg 的node 队列job 服务 Omnigres 基于pg的开发平台 zerofs 支持native kernel client multigres pg 版的Vitess drizzle-duckdb duckdb drizzle orm client dumbodb 面向文档db 的版本管理db doltlite sqlite 的版本控制 doltgresql pg 的dolt 服务 TokenHub 基于golang 的llm proxy 服务 duckgres PostHog 开源的通过pg协议暴露duckdb服务能力 jenkins 2.568.1 publish over ssh java.lang.NoSuchMethodError: 'java.lang.Object jenkins.plugins.publish_over_ssh.BapSshHostConfiguration 问题 scriptc vercel 开源的ts 转native 编译器 itty-router 轻量的microrouter drizzle-proxy 格式简单说明 drizzle-proxy 简单说明 supabase wrappers pg 扩展服务 ice 运行简单说明 pgnats pg 的nats 扩展 ice 轻量iceberg rest catalog 服务 zerofs v2.1.0 支持无缝的ha 以及恢复了 liteparse 的可视化引用 VaultS3 与zerofs 集成测试 VaultS3 一个轻量的s3 兼容服务 liteparse-server liteparse rest&grpc服务 smoothdb 兼容postgrest的服务 fluxbase 基于golang 开发的兼容supabase的服务 pg_durable 微软开源的基于pg 的持久运行扩展 liteparse ocr api 规范 基于litserve 以及RapidOCR扩展一个liteparse ocr 服务 apache/fluss 面向实时分析以及ai 的流存储引擎
duckdb iceberg rest catalog连接的一个问题
荣锋亮 · 2026-08-04 · via 博客园 - 荣锋亮

duckdb 轻量高速的特点,以及周边丰富的生态是一个很不错的数据分析工具,icerberg 集成是数据湖周边的官方扩展插件

参考配置

核心是通过attach 配置catalog 服务 (类似如下)

CREATE  PERSISTENT SECRET iceberg_secret (
    TYPE iceberg,
    TOKEN 'demo'
);

ATTACH 'warehouse' AS s3_catalog (
    TYPE iceberg,
    SECRET iceberg_secret,
    ENDPOINT 'http://localhost:5001',
    ACCESS_DELEGATION_MODE 'none' // 此处是核心
);

问题说明

核心是ACCESS_DELEGATION_MODE此参数,一些catalog 服务不会返回存储的认证信息,造成duckdb 查询了aws s3 的信息,ACCESS_DELEGATION_MODE 是一个很重要的参数,当然配置了ACCESS_DELEGATION_MODE 为none ,同时还需要配置s3 的认证信息,类似如下

CREATE OR REPLACE PERSISTENT  SECRET secretv1 (
    TYPE s3,
    KEY_ID 'xxxx',
    SECRET 'xxxx',
    endpoint 'xxxx',
    URL_STYLE 'path',
    USE_SSL 'false',
    REGION 'us-east-1'
);

说明

ACCESS_DELEGATION_MODE 参数还是比较重要的,尤其一些catalog 服务不返回存储信息的时候,没有这个参数服务总会去访问aws s3 服务

参考资料

https://duckdb.org/docs/lts/core_extensions/iceberg/iceberg_rest_catalogs