惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
L
LINUX DO - 最新话题
Recorded Future
Recorded Future
月光博客
月光博客
博客园 - 【当耐特】
博客园 - 叶小钗
宝玉的分享
宝玉的分享
量子位
雷峰网
雷峰网
博客园 - 三生石上(FineUI控件)
The Cloudflare Blog
Vercel News
Vercel News
L
LangChain Blog
B
Blog
Y
Y Combinator Blog
爱范儿
爱范儿
GbyAI
GbyAI
S
Security @ Cisco Blogs
T
The Blog of Author Tim Ferriss
A
About on SuperTechFans
博客园 - Franky
P
Palo Alto Networks Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
云风的 BLOG
云风的 BLOG
C
Cisco Blogs
Scott Helme
Scott Helme
I
Intezer
T
The Exploit Database - CXSecurity.com
MyScale Blog
MyScale Blog
T
Tor Project blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
T
Troy Hunt's Blog
N
News and Events Feed by Topic
大猫的无限游戏
大猫的无限游戏
F
Fortinet All Blogs
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
S
Security Affairs
Cyberwarzone
Cyberwarzone
PCI Perspectives
PCI Perspectives
小众软件
小众软件
D
DataBreaches.Net
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
Know Your Adversary
Know Your Adversary
Forbes - Security
Forbes - Security
S
Securelist
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
C
Cyber Attacks, Cyber Crime and Cyber Security
The Last Watchdog
The Last Watchdog

博客园 - 哥本哈士奇(aspnetx)

Neo4j 多跳查询实战:从社交网络场景理解图遍历 Git 本地版本管理学习笔记 看完《低智商犯罪》,学习Cypher构建知识图谱 LangChain DeepAgents 学习笔记 LangChain Deepagent 版本0.6.1中间件一个bug Neo4j笔记(五):查询的处理流程 微软 SQL Server 版本演进史:从诞生到 SQL Server 2025 提升 Text2SQL 准确率 SQLServer Management Studio(SSMS) 22 Copilot 最佳实践学习笔记 SQLServer RAG笔记4:从服务层到前端交互 SQLServer RAG笔记5:为SQLServer 2025配置Ollama SQL Server RAG 笔记3:SQLServer2025 向量数据库 详解传统RAG、Text2SQL、Graph RAG:适用场景与问题示例汇总 SQL Server RAG 笔记2:图数据库服务层与前端可视化构建 SQL Server RAG 笔记1:图数据库构建 Neo4j 笔记(四):一篇文章如何入库的 数据仓库笔记 第六篇:PSA 层 SCD2 处理方式 数据仓库笔记 第五篇:Data Mart 层(数据集市) 数据仓库笔记 第四篇:Star Schema 层(维度建模) 数据仓库笔记 第三篇:常用缓慢变化维处理方式介绍 数据仓库笔记 第二篇:PSA 层(持久化暂存区)详解 数据仓库笔记 第一篇:数据仓库的定义、历史与意义 Neo4j 笔记(三):数据建模与程序连接实战 Neo4j 基础教程(二):Cypher CRUD 完全指南 Neo4j 基础教程(一):安装与快速入门 Power BI学习笔记第20篇:面试题汇总 · 第三篇:高级应用与最佳实践篇 Power BI学习笔记第19篇:面试题汇总 · 第二篇:数据建模与 DAX 篇 Power BI学习笔记第18篇:面试题汇总 · 第一篇:基础概念篇 Power BI学习笔记第15篇:企业级报表开发与最佳实践 Power BI学习笔记第13篇:高级可视化与自定义图表 Power BI学习笔记第14篇:Power Query 高级数据处理 Power BI学习笔记第12篇:DAX 高级计算与性能优化 Power BI学习笔记第11篇:高级数据建模与关系设计 Power BI学习笔记第10篇:实战案例 — 销售数据分析仪表板 Power BI学习笔记第08篇:报表交互与筛选器 Power BI学习笔记第09篇:Power BI Service 发布与共享 Power BI学习笔记第07篇:可视化图表设计与最佳实践 Power BI学习笔记第06篇:DAX 进阶:时间智能与复杂计算 Power BI学习笔记第05篇:DAX 基础:计算列与度量值 Power BI学习笔记第04篇:数据建模与关系管理 Power BI学习笔记第03篇:Power Query 数据清洗与转换 Power BI学习笔记第02篇:数据获取与连接数据源 Power BI学习笔记第01篇:Power BI 简介与环境搭建 Power BI Dashboard 常用布局方案推荐 Power BI 示例一览 OpenClaw 核心八大 MD 文件 Microsoft Agent Framework 智能体调用工具 Microsoft Agent Framework 创建智能体 一个简单案例理解OpenClaw的做梦过程 SQLAlchemy 学习笔记 LangChain RAG索引与查询 - 学习笔记 LangChain使用deep agent并且加载SKILL 本地系统对接大模型智能体的若干尝试 财务分析报告 - 常用Power BI DAX公式详解 用SKILL实现请假流程信息收集 使用小龙虾来操作猿编程的遥控车 使用OpenClaw的Skills对接本地系统 OpenClaw必装Skill全指南 Dify Agentic RAG 笔记 # 简单的神经网络计算过程 - 正负判断 使用Gradio构建AI前端 - RAG的QA模块 使用Gradio构建AI前端 - RAG召回测试 Streamlit + LangChain 1.0 简单实现智能问答前后端 利用AI Agent,辅助销售团队制定培训和考试内容 实现AI和BI整合的初步思路和探索-Part3 实现AI和BI整合的初步思路和探索-Part2 实现AI和BI整合的初步思路和探索 以《出师表》作为例子,对比通用分块和父子分块的区别 LangChain RAG 学习笔记:从文档加载到问答服务 记录无法修改OneDrive文件的解决方法 Power BI制作指标达成跟踪器 Power BI学习笔记-周报销售数据分析
Raw Data Vault vs Business Data Vault
哥本哈士奇(aspnetx) · 2026-07-06 · via 博客园 - 哥本哈士奇(aspnetx)

Raw Data Vault vs Business Data Vault

核心定位与分层关系

标准Data Vault 2.0四层链路:
Staging(落地层) → Raw Vault(原始层) → Business Vault(业务层) → Information Mart(集市/应用层)

  • Raw Vault:源系统真相存储层,全量留存原始数据,零业务加工,是企业唯一可信审计基线
  • Business Vault:业务标准化加工层,基于Raw Vault统一应用企业业务规则,产出可直接给报表/分析使用的标准化DV模型

核心区别总表

对比维度 Raw Data Vault(RDV) Business Data Vault(BDV)
核心目标 1. 完整留存源系统原貌、全历史可追溯
2. 多源数据统一集成、完整血缘审计
3. 隔离源系统变更,保护底层基线
1. 统一落地企业业务规则、清洗、换算、口径
2. 构建全局一致的业务标准实体
3. 预计算常用时间/关联视图,简化上层查询
允许的转换(Hard Rule) 硬性技术转换,不改变业务含义:
1. 拆分为Hub/Link/Sat标准DV结构
2. 类型统一(字符串数字转数值)
3. 生成哈希主键、load_ts、record_source
4. 基础格式校验、空值标记
禁止:清洗、换算、过滤、合并、业务计算
执行软性业务规则(Soft Rule)
1. 脏数据清洗、去重、统一编码(性别/状态码)
2. 币种统一、折扣/毛利等业务指标计算
3. 多源同实体合并(CRM+ERP客户统一)
4. 时效对齐、分层汇总、业务口径转换
数据真实性 源系统原样100%保留,有错、重复、脏数据全部落地,不删除不修正 输出业务标准视图,源系统缺陷按业务规则修复,不再保留原始脏数据
建模对象 完整复制所有源实体的Hub/Link/Sat
数据源拆分Sat(crm客户sat、订单sat)
仅保留业务有价值实体的Hub/Link/Sat
业务域统一Sat(全局标准化客户Sat)
新增专属结构:PIT时点表、Bridge桥接表、快照表
数据粒度 与源系统完全一致,最细原子粒度 粒度可按需聚合、对齐、去冗余,支持汇总层
历史存储规则 纯追加(Append-only),永不更新/删除,每条变更新增一行,完整全量历史 保留历史,但可基于业务口径合并、时效对齐;PIT表预生成任意时间切片视图
业务口径 无统一口径,多源编码、单位、字段含义混乱 全局统一一致业务口径,全企业一套标准
典型表结构 raw.hub_customer、raw.link_order、raw.sat_crm_customer(按源分Sat) biz.hub_customer、biz.sat_global_customer(统一业务属性)、biz.pit_customer、biz.bridge_cust_order
使用人群 数据工程师、数据治理、审计/合规人员 分析师、报表开发、业务用户、数据产品
变更影响 源系统新增字段/表仅新增Sat,不改动现有结构,零下游破坏 业务规则变更仅修改BDV逻辑,底层Raw Vault完全不动,实现逻辑与原始数据解耦

关键概念

1. Raw Vault:只做“结构化收纳”,不做“业务解读”

  1. 只执行Hard Rule(无损技术转换)
    把落地层数据拆解成标准DV三组件,但不修改业务内容:
    • Hub:存储业务自然键(客户ID、订单号)
    • Link:存储实体关联关系
    • Sat:按来源系统拆分,同一客户CRM、财务、电商分别独立Sat,互不合并
  2. 核心价值:审计溯源
    出现数据差异、对账纠纷时,可直接回查Raw Vault,复现源系统原始数据,满足金融、医疗等合规要求。
  3. 约束:绝不过滤、计算、清洗,哪怕源数据乱码、重复、逻辑错误也完整保存。

2. Business Vault:统一“业务语言”,预加工查询加速结构

  1. 执行Soft Rule(业务逻辑转换)
    • 清洗:统一性别编码(0/1、男/女、M/F统一成标准枚举)
    • 换算:所有外币统一为本位币、统一税率计算毛利
    • 整合:多系统客户合并为单一全局客户实体,消除多源冗余
  2. 独有专用模型(Raw Vault不存在)
    • PIT(Point-in-Time时点表):预对齐Hub与多个Sat的变更时间,快速查询“某一天客户完整属性”,避免多层自关联Sat,大幅优化报表性能
    • Bridge桥接表:预连接多实体链路(客户-订单-商品),简化复杂多表关联查询
    • 业务衍生Sat:存储计算指标(客单价、累计消费、客户分层标签)
  3. 价值:业务隔离
    业务口径、计算逻辑全部收拢在BDV,若未来财务/运营规则变更,仅重跑BDV即可,底层Raw原始数据不受任何影响。

实操示例:客户模型对比

Raw Vault客户模型

erDiagram raw_hub_customer ||--o{ raw_sat_crm_customer : "" raw_hub_customer ||--o{ raw_sat_fin_customer : "" raw_hub_customer { varchar hk_cust PK "哈希主键" varchar cust_id "客户ID(自然键)" timestamp load_ts "加载时间戳" varchar source "来源系统" } raw_sat_crm_customer { varchar hk_cust FK "引用Hub主键" timestamp load_ts "加载时间戳" varchar name "客户姓名" varchar phone "电话" varchar crm_level "CRM等级" varchar hash_diff "哈希差异列" } raw_sat_fin_customer { varchar hk_cust FK "引用Hub主键" timestamp load_ts "加载时间戳" decimal credit_limit "信用额度" varchar invoice_addr "发票地址" varchar hash_diff "哈希差异列" }

  • 特点:CRM、财务数据分开存储(按源系统拆分Sat),字段编码未统一,无客户等级换算。

Business Vault客户模型

erDiagram biz_hub_customer ||--o{ biz_sat_global_customer : "" biz_hub_customer ||--o{ biz_pit_customer : "" biz_hub_customer { varchar hk_cust PK "哈希主键" varchar cust_id "客户ID(自然键)" timestamp load_ts "加载时间戳" } biz_sat_global_customer { varchar hk_cust FK "引用Hub主键" timestamp load_ts "加载时间戳" varchar std_name "标准化姓名" varchar std_phone "标准化电话" varchar std_address "标准化地址" decimal credit_limit "信用额度" varchar customer_tier "客户等级(业务计算)" decimal total_consume "累计消费(业务计算)" } biz_pit_customer { varchar hk_cust FK "引用Hub主键" date pit_date "时点日期" timestamp sat1_load_ts "Sat1加载时间戳" timestamp sat2_load_ts "Sat2加载时间戳" }

  • 特点:多源属性合并标准化至单一全局Sat;新增业务计算字段customer_tiertotal_consume;PIT表支持任意时间切片查询。

设计分层的核心收益

  1. 变更解耦
    源系统频繁迭代 → Raw Vault仅新增Sat,不影响上层;
    业务规则频繁调整 → 仅重算BDV,底层原始审计数据永久不变。
  2. 合规与分析分离
    Raw Vault负责审计、对账、问题溯源;
    Business Vault负责日常报表、自助分析、指标产出。
  3. 性能分层
    Raw Vault保存海量细粒度原始变更,查询复杂;
    BDV预构建PIT/Bridge,提前完成多表关联、时间对齐,报表查询速度大幅提升。
  4. 多业务视角兼容
    同一套Raw Vault,可搭建多套不同口径的Business Vault(财务口径、运营口径),互不干扰。

总结

  • Raw Vault = 企业数据的“原始档案库”:原样收纳、只结构化、不解读、全历史审计;
  • Business Vault = 企业数据的“标准化加工车间”:统一业务规则、整合多源、预生成高效业务查询结构。