惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

K
Kaspersky official blog
Engineering at Meta
Engineering at Meta
D
DataBreaches.Net
Stack Overflow Blog
Stack Overflow Blog
Microsoft Security Blog
Microsoft Security Blog
Y
Y Combinator Blog
B
Blog RSS Feed
GbyAI
GbyAI
P
Proofpoint News Feed
aimingoo的专栏
aimingoo的专栏
MyScale Blog
MyScale Blog
D
Docker
阮一峰的网络日志
阮一峰的网络日志
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Recorded Future
Recorded Future
美团技术团队
The Register - Security
The Register - Security
V
Visual Studio Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
Tailwind CSS Blog
爱范儿
爱范儿
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
T
The Blog of Author Tim Ferriss
博客园 - 司徒正美
量子位
B
Blog
F
Fortinet All Blogs
Martin Fowler
Martin Fowler
博客园 - 【当耐特】
MongoDB | Blog
MongoDB | Blog
A
About on SuperTechFans
I
InfoQ
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
有赞技术团队
有赞技术团队
雷峰网
雷峰网
大猫的无限游戏
大猫的无限游戏
J
Java Code Geeks
L
LangChain Blog
Latest news
Latest news
S
SegmentFault 最新的问题
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
Blog — PlanetScale
Blog — PlanetScale
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Cisco Talos Blog
Cisco Talos Blog
F
Full Disclosure
C
Cisco Blogs
D
Darknet – Hacking Tools, Hacker News & Cyber Security
W
WeLiveSecurity
T
Tenable Blog
T
Tor Project blog

博客园 - Rickie

DeepSeek-V3 解读:优化效率与规模 一步一步构建RAG智能问答系统 Milvus向量数据库入门实践 LangChain轻松入门和开发实践 Hugging Face 轻松入门 PyTorch深度学习零基础入门 Spring Security OAuth2+JWT开发实践 Spring Security开发实践 Redis 7.x 入门和开发实战 RedisInsight :Redis 官方可视化工具 Hadoop v3.1 大数据技术快速入门 《Apache RocketMQ 深入浅出》系列文章 Kafka v2.3 快速入门与实践 一步一步编译最新版Apache Doris 0.15版本的详细过程 COLA 4.x和DDD项目实践精粹 阿里开源COLA 4.0源码编译和部署过程 Java实体映射工具MapStruct 与BeanUtils性能比较 阿里DDD项目最佳实践-COLA 架构总览 Java实体映射工具MapStruct详解
Apache Doris 轻松入门和快速实践
Rickie · 2021-12-16 · via 博客园 - Rickie

Doris 最早是解决百度凤巢统计报表的专用系统,随着百度业务的飞速发展对系统进行了多次迭代,逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年,百度把 Doris 进行了 MPP 框架的升级,并将新系统命名为 Palo。2017 年以百度 Palo 的名字在 GitHub 上进行了开源。2018 年贡献给 Apache 基金会时,由于与国外数据库厂商重名,因此选择用回最初的名字,这就是 Apache Doris 的由来。

Apache Doris是一个现代化的MPP分析型数据库产品,仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。

Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!

Doris 的定位是面向在线报表和分析的数据仓库系统,可以对标于商业的MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。

专栏大纲

Doris(原百度 Palo)是一款基于大规模并行处理技术的分布式 SQL 数据库,由百度在 2017 年开源,2018 年 8 月进入 Apache 孵化器。Doris是基于MPP架构的OLAP引擎,主要整合了Google Mesa(数据模型)、Apache Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。

Doris可以满足企业级用户的多种分析需求,包括OLAP多维分析,定制报表,实时数据分析,Ad-hoc数据分析等。

具体的业务场景包括:

  • 数据仓库建设

  • OLAP/BI分析

  • 用户行为分析

  • 广告数据分析

  • 系统监控分析

  • 探针分析 APM(Application Performance Management)

《Apache Doris 轻松入门和快速实践》技术专栏包括Apache Doris架构介绍、环境搭建、入门操作实例和演示项目源代码。技术专栏从实战出发,通过基础介绍入门-环境搭建-项目实践,让初学者快速掌握Apache Doris分析型OLAP数据库开源产品。其中示例项目KFD演示通过Flink处理Kafka中的消息记录,处理之后的数据再写入到Kafka和Elasticsearch中,最后以Routine Load方式再将处理好的数据导入到Doris中。

技术专栏主要包含如下内容:

  • Apache Doris入门:基于 MPP 技术的SQL分析型数据库

  • 如何通过源码编译Apache Doris?手把手教你完成整个编译过程

  • Apache Doris 部署所需的软硬件环境以及节点规划

  • Apache Doris 配置和启动运行FE节点详细过程

  • Apache Doris 配置和启动运行BE节点详细过程

  • Apache Doris 查看FE运行情况,以及扩容和缩容FE实例

  • Apache Doris 查看BE运行情况,以及扩容和缩容BE实例

  • 快速部署Apache Doris演示环境

  • 快速体验Apache Doris:基础使用入门、创建账号和数据库

  • 快速体验Apache Doris:创建单分区表、导入数据、简单查询操作

  • 快速体验Apache Doris:创建复合分区表、导入数据、简单查询

  • 快速体验Apache Doris:修改表结构

  • 快速体验Apache Doris:创建Rollup上卷表

  • Apache Doris 数据模型:Aggregate聚合模型的基本概念和入门演示

  • Apache Doris 数据模型:Uniq 唯一模型的基本概念和入门演示

  • Apache Doris 数据模型:Duplicate 明细模型的基本概念和入门演示

  • Apache Doris 中 BITMAP 基本原理、数据类型和内置函数

  • Apache Doris 中BITMAP 聚合函数的使用入门

  • Apache Doris 中BITMAP_INTERSECT和INTERSECT_COUNT的使用入门和留存计算

  • Apache Doris 动态分区表详细使用入门

  • 项目实践:实现Kafka消息记录导入Apache Doris数据表【1】

  • 项目实践:实现Kafka消息记录导入Apache Doris数据表【2】

  • 项目实践:实现Kafka消息记录导入Apache Doris数据表【3】

  • 项目实践KFD:Flink应用通过Kafka Connector组件消费Kafka数据

  • 项目实践KFD:Flink消费Kafka数据进行统计处理

  • 项目实践KFD:Flink统计处理之后的数据sink到Kafka

  • 项目实践KFD:Flink对于迟到数据处理的开发实践

  • 项目实践KFD:改进Flink输出到Kafka消息队列的数据格式

  • 项目实践KFD:处理过的访问数据通过Routine Load导入到Doris

  • 项目实践KFD:Flink统计处理之后的数据sink到Elasticsearch

  • 一步一步编译最新版Apache Doris 0.15版本的详细过程

  • 一步一步编译最新版Apache Doris 0.15中的扩展插件Flink Doris Connector

  • Apache Doris集群从0.14到0.15版本平滑升级实战

  • 基于Flink Doris Connector扩展插件的项目开发实践(1)

  • 基于Flink Doris Connector扩展插件的项目开发实践(2)

  • 基于Flink Doris Connector扩展插件的项目开发实践(3)

  • ...