惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Proofpoint News Feed
WordPress大学
WordPress大学
S
Schneier on Security
Recent Commits to openclaw:main
Recent Commits to openclaw:main
AWS News Blog
AWS News Blog
The Cloudflare Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 叶小钗
NISL@THU
NISL@THU
T
Tor Project blog
L
Lohrmann on Cybersecurity
D
Darknet – Hacking Tools, Hacker News & Cyber Security
博客园 - 聂微东
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
月光博客
月光博客
Microsoft Azure Blog
Microsoft Azure Blog
P
Proofpoint News Feed
G
GRAHAM CLULEY
博客园_首页
K
Kaspersky official blog
GbyAI
GbyAI
P
Privacy & Cybersecurity Law Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
AI
AI
爱范儿
爱范儿
Cloudbric
Cloudbric
MongoDB | Blog
MongoDB | Blog
Martin Fowler
Martin Fowler
aimingoo的专栏
aimingoo的专栏
I
InfoQ
腾讯CDC
O
OpenAI News
F
Full Disclosure
P
Privacy International News Feed
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Webroot Blog
Webroot Blog
Forbes - Security
Forbes - Security
MyScale Blog
MyScale Blog
L
LangChain Blog
H
Help Net Security
C
CERT Recently Published Vulnerability Notes
C
Cisco Blogs
人人都是产品经理
人人都是产品经理
S
Security @ Cisco Blogs
T
Tenable Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
N
News and Events Feed by Topic
博客园 - 三生石上(FineUI控件)
Attack and Defense Labs
Attack and Defense Labs
Apple Machine Learning Research
Apple Machine Learning Research

InfoQ - 促进软件开发领域知识与创新的传播

Meta 收购 Manus 这事儿泡汤了 5.5万 Star 开源项目 Ghostty 被迫出走,GitHub 正在终结一代技术人的乌托邦 Slack 长时运行多智能体系统的上下文管理方案 从 T+1 到分钟级:金城银行基于 Apache Doris 构建高可靠、强一致的实时数据平台 谷歌云推出 Agents CLI,简化 AI 智能体开发全流程 Claude官方击穿高薪、高学历的安全防线!Anthropic点名10大高危职业,但有群人暂时稳了 亚马逊云科技终止 WorkMail 服务,并将 App Runner 转入维护模式 OPPO小布记忆:全模态碎片化内容的理解与智能整理实践|AICon上海 模力工场038周AI应用周榜:工具在消失,工作流在出现 Akamai CEO Tom Leighton:Agent 时代来临,云基础设施正从“中心化”转向“分布式边缘” 日均数百亿入库背后:从“人肉调度”到K8s弹性架构,度小满金融基于OceanBase重构入库架构实践 百度文库网盘发布GenFlow 4.0:月活用户超1亿,要把网盘变成全端AI工作台 Altman 投的 Agent 终端 Warp 开源了!斩获3.5万star 哪些客户需要拒, 敢让龙虾决定吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从开发到生产:为什么越来越多的机器学习团队纷纷迁移到 Snowflake | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 探索多智能体工作流:LangGraph Snowflake Cortex AI | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 腾讯云分布式缓存数据库:AI Agent - 从提示词工程到 Harness 工程 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 基于 Streamlit 为 CSV 数据构建分析智能体 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 AI 智能体:告别文档缺漏 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 构建 AI 驱动的数据管道:深度探讨 Snowflake Openflow 与非结构化数据 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 云端太贵、本地不够聪明,英特尔押注“端云混合AI”:智能体PC会替人完成工作 不到10%的存储投入,可能拖垮90%的GPU投资!IBM把AI Agent塞进存储系统,算清企业最容易忽略的一笔账 Snowpark 上手实战 | BUILD 2025_大数据_王玮_InfoQ精选视频 ClickHouse + Langfuse,构建 Agent 可观测基石 腾讯云分布式缓存数据库:Cluster Proxy 共享连接架构深度解析 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来? 英特尔发布至强600系列工作站处理器与锐炫Pro B70 GPU,全新AI工作站来了 腾讯云分布式缓存数据库:从 Redis 到 Valkey - 开源社区如何快速创新 | 腾讯云数据库 DBTalk_腾讯_凌敏_InfoQ精选视频 印奇这次要“从0重做”智驾模型!首谈阶跃和千里双公司布局:中国AI商业闭环要靠车跑出来 从Cursor返聘归来,90后华裔女高管带Claude开启日更模式:token成本比工程师工资低多了! 从 Coding 到 Agent:QCon 北京 2026 全景复盘,优秀出品人 & 明星讲师名单揭晓 全链路支撑大模型国产化“Day 0适配”,商汤大装置构建全栈能力底座 凌晨,OpenAI 与亚马逊云科技史上最大联合发布来了 HashiCorp Vault 2.0 发布:引入新身份联邦机制,迈入 IBM 生命周期体系 Yelp 实现超 1,000 个 Cassandra 节点零停机升级 写了 17 年开源代码,我为什么认为 Coding Agents 堆功能是在瞎折腾? 基于 Apache Camel 编排智能体与多模态 AI 管道 面向智能体与人类用户的AI记忆系统:架构设计与核心场景实践|AICon上海 Anthropic 推出 Managed Agents,简化 AI 代理部署流程 阿里HappyHorse开启灰测,720P视频生成低至0.44元/秒 讯飞联合清华团队押注量子AI:不看营收、不设KPI,一群“无人区”科学家,抢夺下代AI算力入口 小米万亿模型全面开源:MIT 协议、1M 上下文,但还是打不过 DeepSeek Cortex Code 入门指南:面向数据工程师的实践路径 | 技术实践 openJiuwen社区首发Team Skills,定义Coordination Engineering新范式 用 Snowflake Cortex Agents 释放结构化数据的最大价值 | 技术实践 Grafana 利用 Kafka 对 Loki 进行了架构重构,并发布了一款命令行工具,旨在将可观测性引入编码代理 ClickHouse重构全文索引:对象存储上跑出高性能 Full-Text Search 可观测性和遥测技术如何提升软件工程实践 Dropbox 与 GitHub 合作,将单体库大小从 87GB 缩减至 20GB Agent 的下一站:基于长期记忆系统 EverOS 的自我演进|AICon上海 同一赛道,四种收费:Agent 控制层(Harness)开始分裂 Cloudflare Sandboxes 正式发布,为 AI 代理提供持久化隔离环境 Agent 的“记忆断片”困局,该怎么破?_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选视频 数据分析师如何快速建立在 AI 时代最值钱的能力:一份可落地的行动路线图 摩尔线程最新财报:研发占比超86%,万卡级大规模智算集群落地 当云区域失效:地缘动荡环境下的高可用重构 Slack 重构通知系统,设置参与度提升 5 倍 智能体工程的隐性技术债务 “我把所有模型都换成了DeepSeek V4”:月账单将降 90%,效果还更好 阿里云智能集团高级技术专家刘少伟已确认出席AICon上海站,并分享如何构建企业 Agent 的自动化行动架构 构建生产就绪的 tRPC API:Apollo Federation 的 TypeScript 替代方案 Anthropic推出面向Claude Code的基于智能体的代码审查功能 北京车展直击:斑马智能甩出车载Agent短剧,比亚迪率先落地,AI让智能座舱又热起来了 Snowflake 作为智能体运行时:从静态管道迈向自主数据系统 | 技术实践 Snowflake 上的本体体系:基于 Cortex Code 能力实现从架构到部署 | 技术实践 Cloudflare 公布 MCP 架构方案,应对企业面临的安全与治理风险 复杂的项目管理怎么做到「AI 友好」?飞书项目用「开放」给出答案 Snowflake Cortex Code 的规范驱动开发:将 SDLC 方法论引入 AI 辅助工作流 | 技术实践 Copilot 不让注册了:从“随便用”到“全面限”,agent 把原有订价模型顶穿了 当互联网用AI卷效率时,这家公司先问了一连串“能不能” Meta 开始记录员工每一次点击:AI 要接管工作,先监控会工作的人 Meta“Token榜”逼疯打工人,一夜烧掉公司几万刀!AI时代Token焦虑越来越离谱 智源FlagOS完成DeepSeek-V4-Flash在八款芯片Day0适配,实现三重技术突破 DeepSeek V4 重磅开源!首次打通华为Ascend,也没丢掉英伟达,百万上下文夺回国产模型话语权 李志飞的“新实验”:当超级个体撞上真实组织 GPT-5.5 登顶时刻,Anthropic 亲口承认 Claude 变笨了!网友群嘲:太敷衍 那些没空写的小需求,龙虾真能做吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 从 Pandas 到生产:使用任意 IDE 进行可扩展的 ML 数据管道与分布式处理 | BUILD 2025_AI&大模型_王玮_InfoQ精选视频 pnpm 11 候选版本发布,带来 ESM 分发、供应链默认设置以及新的存储格式 银行业PDF表格提取方案重构:基于Java的分层方案 GPT-5.5 赢了 Opus 4.7 和 Mythos?奥特曼晒黄仁勋内部信:英伟达全员用上 Codex! Cloudflare 推出 Think:一款面向 AI 代理的持久化运行时 1850亿美元天价支出、75%代码由AI生成!谷歌正式宣告:全面转向智能体工作流 xAI落后太多,马斯克“开大”重金求购Cursor,100亿美金“分手费”都敢签! Pulumi 新增对 Bun 运行时的全面支持 姚顺雨腾讯模型首秀!不卷参数只做 “听话打工人”,Hy3 preview登场 | 附实测 老板让你“忽悠”投资人,你敢发给龙虾吗?_AI&大模型_InfoQ 中文站_InfoQ精选视频 Gemini CLI 引入子代理机制,实现任务委派与并行代理工作流 清华系团队星工聚将完成数千万天使轮融资,轮式机器人拿下头部制造企业亿级大单 Pretext.js 绕过 DOM 布局重排,实现 120 FPS 的高级交互体验 靠“AI 云”爆红的 Vercel,栽在一个第三方AI工具手里!IPO前夕遭黑,200万美元赎金谈崩? 高能研讨会|端侧 AI 正在重写实时感知效率上限_AI&大模型_王玮_InfoQ精选视频 2050大会看这篇就够了|报名、交通食宿指引大全 Java 近期资讯:OpenJDK JEP、Jakarta EE 12、Spring Framework、Micrometer、Camel、JBang 金融智能的架构编排:基于 Snowflake Cortex Agents 实现结构化与非结构化数据统一分析 | 技术实践 在AK大神爆火的任务里,摸清国产AI真实水平 百灵Ling-2.6-flash 正式发布:高 Token 效率,以 1/10 消耗实现 SOTA 级 Agent 能力 当 PM 懂AI,当技术懂产品:AI 时代产品力的双向进化|PM x AI产品力领航者大会即将开幕 为 AI 智能体设计记忆机制:揭秘 LinkedIn 的认知记忆智能体 获奖名单公布|2026主题征文第一期|分享你最有价值的龙虾场景与核心 Skill_热门活动_InfoQ写作社区官方_InfoQ写作社区
途虎养车基于 Apache Doris 构建统一 OLAP 数据底座,支撑用户画像与 BI 多维分析
SelectDB李冬梅 · 2026-06-26 · via InfoQ - 促进软件开发领域知识与创新的传播

导读 :本文系统阐述了途虎养车在大数据 OLAP 领域的架构演进路径。针对历史架构中多套技术栈并存导致的数据孤岛、多系统接力及运维成本高等痛点,团队以用户标签系统为突破口,推行以 Apache Doris 为核心的统一数据底座建设,逐步实现点查、圈选、BI 报表、即席分析统一承载,实现核心查询场景提速约 20 倍。

本文整理自途虎养车 数据平台开发工程师 王文博 在 Doris Summit 2025 中的演讲。

为什么需要统一 OLAP 数据底座?

途虎养车的核心业务模式是“线上预约 + 线下履约”,用户通过 APP、小程序、官网等线上渠道完成选购、预约和支付,并在线下工场店及合作门店完成安装、保养、美容等服务。目前,平台已服务超过 1.26 亿车主,业务覆盖轮胎、机油保养、汽车美容等多类汽车产品与服务。

随着业务规模持续扩大,平台每天都会产生大量用户行为、订单交易、门店履约、仓储物流和库存变更数据。这些数据来源分散、链路较长,同时对实时性和分析效率要求较高,给 OLAP 平台带来了三方面挑战:

  • 全渠道数据打通难。 线上多入口与线下门店系统共同构成完整服务链路,数据分散在不同系统中。平台需要将用户行为、交易和履约数据统一到同一用户视图下,支撑用户画像、精准营销和经营分析。

  • 供应链分析实时性要求高。 汽车服务业务涉及大量 SKU、仓库、门店和物流节点,库存变化、履约进度和区域供需情况都需要及时分析,以支撑补货决策、库存预警和履约效率优化。

  • 高并发查询与写入压力大。 用户预约、订单支付、库存扣减、营销触达等环节会持续产生高频数据流。在促销活动或业务高峰期,平台既要保障数据及时入仓,也要支撑用户标签、人群圈选、经营看板和即席分析等低延迟查询需求。

因此,途虎养车 OLAP 平台需要同时具备高吞吐写入、低延迟查询、统一数据口径和高并发服务能力,主要支撑精准营销、BI 固定报表、实时数据大屏和 BI 多维分析四类核心场景。

原有 Hive + HBase + MySQL + Trino 架构遇到哪些问题?

途虎养车 OLAP 平台的演进历程,主要经历了四个关键阶段:

在老架构(早期阶段)下,由于业务部门的烟囱式发展,技术栈呈现出不断叠加、分层和碎片化的特征。当时数据分散于多个异构系统中:原始日志在 HDFS、加工表在 Hive、维表在 MySQL、实时数据在 HBase。

从数据加工的全局流程看,一份数据产生后需复制多份,在多条流水线上传递:先进入 Hive 离线加工,一部分结果导入 HBase 供实时查询,另一部分数据又同步回 MySQL,最后还要为 Trino(Presto) 的即席分析做准备。

这种多系统接力模式带来了以下技术瓶颈:

  • 技术栈臃肿:团队需同时维护 Hive、HBase、MySQL、Trino 等多个组件,运维成本高。

  • 数据一致性难以保障:数据在不同系统中存在多份副本,数据链路长,极易造成数据口径不一致,引发数据信任危机。

  • 开发效率低:业务侧提一个既要多维分析又要高并发点查的需求,开发同学需要在多个异构系统间编写数据同步链路,难以快速响应业务。

为什么选择 Apache Doris?

因此,团队开始推动 OLAP 架构向统一数据底座演进,希望用一套更简洁的架构同时承载离线分析、实时写入、高并发查询和多维分析等核心场景。经过调研和验证,团队最终选择 Apache Doris 作为统一 OLAP 引擎,逐步替代原先分散在多套系统中的分析能力。

Apache Doris 能够支撑这一演进,主要基于以下几方面能力:

第一,统一的查询与存储能力 。Doris 采用 MPP 分布式架构和列式存储,能够同时支持大规模明细数据分析和高并发低延迟查询。对于用户圈选、画像查询、经营分析等场景,业务可以直接通过标准 SQL 访问统一数据源,减少在不同系统之间切换和同步的成本。

第二,完善的实时数据接入能力 。Doris 支持 Stream Load、Routine Load、Flink CDC 等多种实时或准实时导入方式,可以将用户行为、订单、库存等数据及时写入 OLAP 平台,满足业务对分钟级甚至秒级数据时效的要求。

第三,较低的迁移和使用成本 。Doris 兼容 MySQL 协议,并支持标准 SQL,原有报表、分析工具和数据开发流程可以较平滑地迁移到新架构中,降低了数据开发、分析人员和业务系统的改造成本。

第四,更简洁的系统架构。 相比多套组件接力的模式,Doris 主要由 FE 和 BE 节点组成,整体架构更清晰。通过统一存储、统一计算和统一 SQL 接口,团队减少了跨系统数据同步链路,也降低了后续运维和问题排查复杂度。

基于这些能力,途虎养车将 Doris 作为新一代 OLAP 统一数据底座,优先在用户标签系统中落地验证,并在验证效果稳定后,进一步扩展到 BI 报表、多维分析和实时数据应用等场景。

用户画像系统如何基于 Doris 重构?

面对复杂的旧系统,团队选择从用户标签系统(用户画像)切入,作为 Doris 的首个落地项目。该场景对数据读写覆盖全面:既需要高并发点查(获取单用户标签),又需支持灵活的多维圈选,且对实时性有一定要求。

原有架构运行时的局限性

在旧架构下,一个完整的人群圈选与画像查询需求,被拆分为三套异构系统的接力,存在明显的性能与开发痛点:

  • MySQL 难以支撑海量点查:查询单个用户标签时请求打到 MySQL。当数据量突破亿级后,其在高并发点查下的延迟明显上升,且易因慢 SQL 影响业务库的稳定性。

  • HBase 不擅长复杂圈选:进行复杂多维筛选时(例如:筛选出“深圳地区、车龄 > 5 年、购买过轮胎”的车主),HBase 只擅长按 Key 查询,灵活的多维筛选需开发同学编写大量代码模拟,开发效率极低。

  • Hive 与 Trino 响应时滞长:对圈出的人群进行深入多维探索时,离线分析方案耗时通常在分钟级,无法支持交互式分析。

基于 Doris 的一体化架构设计

新架构的核心演进方向是收拢数据源与计算引擎,用一个 Apache Doris 系统承接原先三套系统的所有场景,在计算层面推行“统一数据源、统一计算引擎、统一 SQL 语言”的一体化策略。

重构具体路径

  • 统一数据导入: 通过 Broker Load 进行离线批数据导入,通过 Stream Load 进行实时数据接入,从入口端解决数据分散问题。

  • 针对不同查询场景配置差异化表模型:

  • 画像点查场景:采用 Duplicate 明细模型,利用前缀索引实现毫秒级响应。

  • 人群圈选场景:采用 Aggregate 聚合模型,对常用维度进行预聚合,查询速度较老架构提升数十倍。

  • 统一对外服务接口: 顶层构建统一数据应用服务,无论是画像点查、人群圈选还是复杂即席分析,后端统一走标准 SQL 路由至 Doris 响应,架构大幅简化。

重构收益

  • 性能优化:核心人群圈选查询由原先超过 60 秒缩短至 3 秒以内;单用户画像点查延迟控制在 10 毫秒左右;数据更新由 T+1 升级为分钟级实时处理。

  • 运维降本:减少了异构组件间的数据传输和版本同步链条,降低了分布式集群的整体运维复杂度。

  • 业务价值:数据平台由成本中心转变为业务增长引擎,营销转化率提升约 15%,显著提升整体 ROI。

以上指标来自生产环境核心查询场景统计,具体收益会随数据规模、查询复杂度和集群配置变化。

BI 多维分析如何从 Trino 迁移到 Doris?

在标签系统成功落地后,团队将该架构优势扩展至更大规模的 BI 多维分析场景,逐步将原有的 HDFS + Trino 架构迁移至 Doris 统一架构。

从架构视角看,原有方案在面对大吞吐多维分析时,不可避免地受到网络传输带宽的瓶颈制约。新架构通过 Doris 实现存算本地化,计算任务在数据存储节点本地执行,减少了大规模数据在网络中的传输开销。

团队通过 Broker Load 功能实现了 Hive 历史数据的平滑同步,并通过统一的 SQL 网关将查询接口迁移至 Doris,整个迁移过程对上层业务无感知。

迁移至 Doris 之后, P90 查询延迟从 52 秒大幅降至 7 秒,延迟降低约 86%,整体性能提升约 7 倍,带来了实实在在的效率提升

目前,BI 多维分析系统与用户标签系统已在生产环境稳定运行。同时,实时数仓和实时大屏的升级工作也在有序推进,向全域实时的最终目标演进。

未来规划:从统一 OLAP 底座走向智能数据基础设施

后续,团队将继续围绕数据存储成本、业务使用效率和平台运维能力三个方向推进优化,使数据平台从支撑查询分析进一步升级为智能数据基础设施。

  • 湖仓一体架构深化:深度集成 Apache Hudi / Iceberg 等主流开源湖仓格式。利用对象存储降低海量历史冷数据的存储开销,结合 Doris 内核优势实现热数据的高并发即席分析,并支持冷热数据自动分层流转。

  • 业务语义智能交互:推进 Text-to-SQL 与向量检索技术结合,构建基于大语言模型(LLM)的智能问答引擎。通过业务语义层封装,支持非技术人员直接利用自然语言进行数据探查与指标归因分析。

  • 平台自动化运维(AIOps):将专家经验固化为平台原生功能。引入基于负载预测的资源弹性调度、慢查询自动限流与物化视图自动构建,降低分布式集群的运维与持有成本。

整体来看,途虎养车后续的 OLAP 平台建设将不再局限于单一查询引擎的性能优化,而是围绕湖仓协同、语义增强和自动化治理持续演进,逐步构建面向全业务的数据分析与决策基础设施。