惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
T
Troy Hunt's Blog
Scott Helme
Scott Helme
T
Threat Research - Cisco Blogs
T
Tenable Blog
L
LINUX DO - 热门话题
V
Visual Studio Blog
I
Intezer
Blog — PlanetScale
Blog — PlanetScale
Cisco Talos Blog
Cisco Talos Blog
A
Arctic Wolf
C
Cyber Attacks, Cyber Crime and Cyber Security
F
Fortinet All Blogs
aimingoo的专栏
aimingoo的专栏
Know Your Adversary
Know Your Adversary
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
N
Netflix TechBlog - Medium
SecWiki News
SecWiki News
I
InfoQ
Microsoft Security Blog
Microsoft Security Blog
Project Zero
Project Zero
W
WeLiveSecurity
Microsoft Azure Blog
Microsoft Azure Blog
A
About on SuperTechFans
Recorded Future
Recorded Future
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Vercel News
Vercel News
S
Securelist
Spread Privacy
Spread Privacy
L
LangChain Blog
云风的 BLOG
云风的 BLOG
G
Google Developers Blog
MongoDB | Blog
MongoDB | Blog
Google DeepMind News
Google DeepMind News
Recent Commits to openclaw:main
Recent Commits to openclaw:main
D
Darknet – Hacking Tools, Hacker News & Cyber Security
C
CERT Recently Published Vulnerability Notes
罗磊的独立博客
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
The Last Watchdog
The Last Watchdog
Attack and Defense Labs
Attack and Defense Labs
博客园 - 司徒正美
Help Net Security
Help Net Security
L
Lohrmann on Cybersecurity
人人都是产品经理
人人都是产品经理
Forbes - Security
Forbes - Security
Hacker News - Newest:
Hacker News - Newest: "LLM"
PCI Perspectives
PCI Perspectives
博客园 - 【当耐特】
T
Tor Project blog

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
阿里巴巴云上数据中台之道02——中台建设过程解析
草帽小子 · 2024-04-17 · via 人人都是产品经理

本文深入探讨了数据中台建设的具体路径和实施计划,详细阐述了从现状梳理到项目成果的全过程,引导读者了解如何高效构建企业级数据中台,希望对你在数据管理和战略规划方面有所启发。

本篇主要写建设数据中台的建设路径,具体的项目实施计划,以及实施过程中的注意点。

整个过程包含:

一、现状梳理,明确当前主要问题

二、勾勒自下而上的解决方案

三、制定项目计划

四、项目人员规划

五、项目成果

一、首先进行现状梳理,明确当前主要问题

每一块业务都有对应的ETL开发团队为其提供数据支持,每个团队按自己的思路建设一套数据体系。

指标定义阶段:字段命名不规范、口径不统一、算法不一致。

指标规划阶段:数据部门疲于对业务支持、缺乏全局规划,产品化能力不足。

指标开发阶段:烟囱式数据开发,数据重复,不可信。

指标维护阶段:复杂关系引用导致指标下线牵扯面大。

阿里巴巴云上数据中台之道02——中台建设过程解析

从此可看出,公司业务线较为单一的情况下,不需要盲目上中台服务;数据中台往往建立在解决一定交叉性数据问题的基础上。

二、勾勒自下而上的解决方案

统一数据源:统一ODS数据基础层,并有一个团队负责和管控,其他团队无权复制数据基础层中的数据。

进行数据的统一规划:面向业务提供服务前,由数据团队负责从业务中抽象源于业务而又不同于业务的数据域,再主导统一建设数据中间层。

建设oneservice服务体系:将openAPI升级为缓解业务变化对数据模型冲击的方法论、数据产品,提供统一公用服务的同事,兼容面向个性化应用的服务。

阿里巴巴云上数据中台之道02——中台建设过程解析

三、继而制定项目计划

梳理清楚现状之后,明确问题所在,明确解决方案,接下来需要做具体的实施。

第一步:确定并坚定项目目标

在不影响业务发展的同时,在业务上推进数据价值化,降本提效为基础目标,创造业务价值。

阿里巴巴云上数据中台之道02——中台建设过程解析

第二步:确定指导性的方法论

OneData:公共层建设核心方法论,知道构建与管理数据。

OneService:7x24h无间断、无差异服务

OneEntity:连接孤岛数据,实现数据连接后萃取各类标签进行用户画像。

其中OneEntity体系包含如下:

1)OneEntity统一实体:全域关系打通设想ID-mapping

2)GProfile全域标签:四维标签体系探索,包含自然属性、社会属性、兴趣偏好、行业消费偏好…

3)GRelation全域关系:设想以全域Entity关系打通为基础的等关系图谱

4)GBehavior全域行为:以全域Entity关系聚拢形成全域行为中心

第三步:确定三步走的项目执行计划

第一阶段:完成全局架构

1. 全面接管ODS数据基础层

全面接管ODS数据基础层,是一件十分吃力不讨好的事情,事项十分繁琐。但接管了ODS数据基础层,则是从数据源头上做了一层把关控制,防止重复建设数据体系的现象。

建设离线数ODS数据基础层和实时ODS数据基础层。

2. 升级OneData体系

将OneData体系升级到OneDataII,比较关键的是制定关于数据规范定义、数据模型设计、ETL开发规范3大环节的方法大纲。

阿里巴巴云上数据中台之道02——中台建设过程解析

3. 完成业务数据架构

从源头控制住所有数据,并且也确定了未来如何建设和管理数据的方法论,那接下来如何设计具有前瞻性、可持续性、可扩展性的直接面向业务层的服务呢?

需要对业务数据进行盘点、分析和认知。但是,如果对所有业务都同时进行盘点,不仅耗时长且难以深入,不具备可行性。

于是,可以按照“二八原则”,先对关键业务及其关键数据进行第一批盘点,并从业务视角和技术视角同时进行盘点。

例如,对淘系数据的4100多张报表中的2万多个指标盘点,经过多轮筛选,最终保留6600多个指标,即可保障当时的业务需求,其中1.4万个指标,一部分直接下线,一部分在后续数据公共层建成并切换下线。

第二阶段:抓关键业务的数据建设

在构建好ODS层之后,需要进一步丰富和完善DWD、DWS、ADS数据应用层。总共包含4个方向。

1. 离线数据公共层建设(ODS、DWD、DWS)

最开始建设淘系数据基础层治理项目,接盘ODS层之后,进行深度数据治理。,降低存储和计算资源的消耗,提升数据监控管理力度。

2. 离线数据应用层建设(ADS、报表)

一是面向应用服务的数据宽表的建设:基于数据公共层,向各个业务部门提供方便、快捷的数据服务。

二是给领导们提供关键数据:建设面向COO领导层的重点关注的经营指标。

三是建设各业务线、行业的数据。

3. 数据存储的专项治理

4. 实时数据公共层建设

第三阶段:全面铺开,逐步推进各个项目的数据建设

(下一篇文章中进行展开)

第四步:明确处理好关键矛盾

第五步:紧盯业务并超越业务满意度

一个月内完成第一阶段的全局架构工作,并快速启动第二阶段。第二阶段第一期切入关键应用,并在2个月内完成数据公共层初始化;第二阶段二期在迁移存量应用的同时支持新需求。

把服务双十一和双十二作为阶段性业务目标,让业务人员看到实际效果,技术人员感受到技术进步,数据公共层建设的推进就会由难到易,由慢到快。

第六步:业务和技术,两手都要抓,两手都要硬

数据技术是数据公共层建设的内核力量,包含数据模型、存储治理、数据质量、安全权限、平台运维、研发工具等。

第七步:以产品化思维推进项目

将数据公共层建设视为一个需要长期运营的产品。

第八步:关注预警和加强风险管理

提前进行风险规划,制定保障措施,如:

风险描述:数据规范定义和数据模型设计体系化,需要专业人才和工具保障。

保障措施:

1)制定规则及工作流,完善onedata体系数据规范定义,同时以工具化保障onedata体系工作流

2)数据产品经理和数据模型师培养,输出多名具有建模思想和建模能力、同时熟悉业务的人员

3)公共层可以稳定支持业务后,定期安排数据模型师和ETL研发人员深入业务以更新对源系统和业务的认知

阿里巴巴云上数据中台之道02——中台建设过程解析

四、同时需要项目人员规划

若是需要最终完美的完成项目计划,缺乏其他业务部门或技术部门的配合是万万不可的,因为在实际的项目进程中,需要一个实体团队来负责数据公共层建设,以及协同若干个业务线的技术团队作为虚线加入项目组。

在最初建设时,数据团队只有50个人,而要实现如此庞大的计划,需要更多人员的支持。在建设前期由兼职的18罗汉进行现状梳理,并完成全局架构。

随着项目的兴起,领导团队对项目愈加看重,因而得到了更多人员资源上的支持。

阿里巴巴云上数据中台之道02——中台建设过程解析

五、最后静待项目成果

降本:数据计算成本和存储成本降低,以及因重复建设而造成的人力成本的降低等。

2015年,批量数据计算总时长减少约50%,解约计算成本近亿元;批量数据下线,解约存储空间上百PB,节约存储成本上亿元。

提效:让各业务部门得到了统一、标准的数据服务,并且响应速度很快,提升了使用数据的效率。

业务上,数据价值化。

如上是阿里数据中台第一阶段、第二阶段的建设过程,接下来一篇会继续解析第三阶段:全面铺开的数据中台建设过程。

专栏作家

草帽小子,公众号:一个数据人的自留地,人人都是产品经理专栏作家。《大数据实践之路:数据中台+数据分析+产品应用》书籍作者,专注用户画像领域。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议。

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。