惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Hacker News: Ask HN
Hacker News: Ask HN
WordPress大学
WordPress大学
H
Help Net Security
小众软件
小众软件
N
Netflix TechBlog - Medium
C
Check Point Blog
量子位
Last Week in AI
Last Week in AI
GbyAI
GbyAI
Martin Fowler
Martin Fowler
M
MIT News - Artificial intelligence
博客园 - 聂微东
Engineering at Meta
Engineering at Meta
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
J
Java Code Geeks
D
DataBreaches.Net
Project Zero
Project Zero
P
Proofpoint News Feed
T
Threat Research - Cisco Blogs
Security Latest
Security Latest
Cisco Talos Blog
Cisco Talos Blog
Recorded Future
Recorded Future
I
Intezer
L
Lohrmann on Cybersecurity
Cyberwarzone
Cyberwarzone
博客园_首页
C
Cyber Attacks, Cyber Crime and Cyber Security
L
LangChain Blog
P
Palo Alto Networks Blog
V
V2EX
D
Darknet – Hacking Tools, Hacker News & Cyber Security
T
The Exploit Database - CXSecurity.com
The Hacker News
The Hacker News
Blog — PlanetScale
Blog — PlanetScale
G
GRAHAM CLULEY
T
The Blog of Author Tim Ferriss
C
Cisco Blogs
The Register - Security
The Register - Security
L
LINUX DO - 热门话题
P
Privacy & Cybersecurity Law Blog
Scott Helme
Scott Helme
F
Full Disclosure
博客园 - 司徒正美
Recent Announcements
Recent Announcements
IT之家
IT之家
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Attack and Defense Labs
Attack and Defense Labs
Cloudbric
Cloudbric
Help Net Security
Help Net Security
The Last Watchdog
The Last Watchdog

祈雨的笔记

安全多方计算MPC spark原理解析 kueue执行源码分析 spark on k8s执行源码分析 spark-operator源码解析 系统压测遇到的缓存击穿问题 我的世界PC与安卓联机 蚂蚁金服流量投放平台的AIG改造 G1大对象致Old区占用率高 日志打印导致接口响应率下跌分析 Groovy加载类导致OOM分析 ERROR日志打印导致CPU满载 记OceanBase死锁超时 应用发版期间服务响应超时 Ark Serverless初探 系统优化复盘一二三 The user specified as a definer does not exist Kong网关初探 API网关选型调研 CPU火焰图常用工具 配置中心选型调研 root操作Nginx导致用户组错误 基于Proxifier使用代理 FastJSON字段智能匹配踩坑 Nacos初探 记一次Nginx服务器CPU满荷载故障 基于券系统分库分表的思考 limit不参与SQL成本计算致索引失效 Linux常用性能监控命令 golang低版本http2偶现400 hostname in certificate didn't match 常见对称加密原理以及应用 tcp_tw_recycle引起的TCP握手失败 记一次mysql执行DDL导致锁表 mysql磁盘占用查看 mysql对text字段update致磁盘增长 elasticsearch报错index read-only TIME_WAIT与Http的Keep-Alive 记一次TIME_WAIT导致连接数报警 记一次生产事故OOM问题排查 redis分布式锁RedissonLock的实现细节 webservice复杂加密签名(2)java调用 webservice复杂加密签名(1)SoapUI mysql延时关联 利用中间人拦截实现APP内H5窜改 MySQL表字符集不同导致关联查询索引失效 通过SSH隧道远程办公 数据落盘方案 BeanDefinitionRegistryPostProcessor扩展 mysql空间索引 HTTPS攻击 spring循环依赖过程解析 elasticsearch性能优化 mysql IS NULL 使用索引 mysql字符集utf8mb4失效踩坑 常用加密算法 xml与javaBean转换 初探InnoDB MVCC源码实现 mysql索引原理 redis之list源码分析 redis之key过期源码分析 redis之string源码分析 redis之hash源码分析 线程池之ThreadPoolExecutor mysql数据页结构 Using temporary与Using filesort mysql回表致索引失效 springboot(28)HTTP连接池 定时任务之ScheduledThreadPoolExecutor elasticsearch常用script聚合 elasticsearch实现like查询 elasticsearch实现乐观锁 elasticsearch准实时原理 springboot(27)自定义缓存读写机制CachingConfigurerSupport optimizer tracing arthas常用命令 HTTP和HTTPS详解 redis集群选举机制 kafka消息重试 一点压力测试的经验 kafka架构概念 explain分析sql语句字段的解释 JVM问题分析处理手册 logstash过滤器(2)date logstash过滤器(3)dissect logstash编码器(1)json logstash编码器(2)multiline logstash表达式 logstash输入(1)通用选项 logstash输入(3)file logstash过滤器(1)通用选项 logstash输入(2)stdin logstash安装 记一次前端vConsole导致JSON序列化错误排查 解决多个异步操作嵌套问题 fastjson反序列化失败autoType is not support RTMP串流服务 POI自动调整列宽错误 Nginx+Lua实现动态黑名单 使用curl命令模拟POST和GET请求
elasticsearch聚合统计-分组聚合
祈雨的笔记 · 2018-09-21 · via 祈雨的笔记

直方图聚合

1
2
3
4
5
6
7
8
9
10
11
12
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 5
}
}
}
}

返回值表示,[15,20)区间内的值有1个,[20,25)区间内的值有0个,[25,30)区间内的值有1个,[30,35)区间内的值有1个。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
{
"aggregations": {
"test_histogram": {
"buckets": [
{
"key": 15,
"doc_count": 1
},
{
"key": 20,
"doc_count": 0
},
{
"key": 25,
"doc_count": 1
},
{
"key": 30,
"doc_count": 1
}
]
}
}
}

1、直方图筛选规则

举个例子,有一个price字段,这个字段描述了商品的价格,现在想每隔5就创建一个桶,统计每隔区间都有多少个文档(商品)。

如果有一个商品的价格为32,那么它会被放入30的桶中,计算的公式如下:

1
2
3
4
5
rem = value % interval
if (rem < 0) {
rem += interval
}
bucket_key = value - rem

通过上面的方法,就可以确定文档属于哪一个桶。

不过也有一些问题存在,由于上面的方法是针对于整型数据的,因此如果字段是浮点数,那么需要先转换成整型,再调用上面的方法计算。问题来了,正数还好,如果该值是负数,就会出现计算出错。比如,一个字段的值为-4.5,在进行转换整型时,转换成了-4。那么按照上面的计算,它就会放入-4的桶中,但是其实-4.5应该放入-6的桶中。

2、extended_bounds

extended_bounds可以强制直方图聚合从指定最小值开始创建分组,直到最大值,即使没有任何文档存在。

extended_bounds不会过滤分组,即使实际上的分组不在extended_bounds的最小值最大值区间内,直方图聚合依然以实际的最小值或最大值创建分组。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 5,
"extended_bounds":{
"min": 0,
"max": 20
}
}
}
}
}

3、排序

按直方图分组的key排序:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 5,
"order": {
"_key": "asc"
}
}
}
}
}

按直方图分组的value排序:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 5,
"order": {
"_count": "desc"
}
}
}
}
}

4、偏移

分组默认从0开始以interval为间隔步进,可以通过offset修改分组的开始位置。

1
2
3
4
5
6
7
8
9
10
11
12
13
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 5,
"offset": 8
}
}
}
}

日期直方图聚合

1
2
3
4
5
6
7
8
9
10
11
12
13
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_date_histogram": {
"date_histogram": {
"field": "field1",
"interval": "1M",
"format": "yyyy-MM-dd"
}
}
}
}

interval支持的表达式有:year、month、week、day、hour、quarter、minute、second。

日期范围聚合

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_date_range": {
"date_range": {
"field": "field1",
"format": "yyyy-MM-dd",
"ranges": [
{
"from": "now-10M/M",
"to": "now"
}
]
}
}
}
}

范围聚合

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_range": {
"range": {
"field": "field1",
"ranges": [
{
"from": 0,
"to": 10
}
]
}
}
}
}

过滤聚合

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_filter": {
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 10
}
}
},
"filter": {
"range": {
"field2": {
"gte": 10
}
}
}
}
}
}

多重过滤聚合

等价于批量过滤聚合。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_filters": {
"aggs": {
"test_histogram": {
"histogram": {
"field": "field1",
"interval": 10
}
}
},
"filters": {
"filters": {
"test_range": {
"range": {
"field2": {
"gte": 10
}
}
},
"test_range2" :{
"range": {
"field2": {
"lte": 20
}
}
}
}
}
}
}
}

空值集合

1
2
3
4
5
6
7
8
9
10
11
GET /testindex/testtype/_search
{
"size": 0,
"aggs": {
"test_missing": {
"missing": {
"field": "field1"
}
}
}
}

索引词聚合

通过制定字段的值统计聚合。

1
2
3
4
5
6
7
8
9
10
11
GET /index/type/_search
{
"size": 0,
"aggs": {
"test_terms": {
"terms": {
"field": "field1"
}
}
}
}

1、规模

通过size参数指定返回的分组数量,size设置为0表示规模大小为Integer.MAX_VALUE

2、排序

通过order自定义分组排序方式,默认根据分组的doc_count值降序排序。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
GET /testindex/testtype/_search
{
"size": 0,
"aggs": {
"test_terms": {
"terms": {
"field": "field1",
"size": 10,
"order": {
"_count": "desc"
}
}
}
}
}

3、过滤

1
2
3
4
5
6
7
8
9
10
11
12
13
14
GET /testindex/testtype/_search
{
"size": 0,
"aggs": {
"test_terms": {
"terms": {
"field": "field1",
"size": 10,
"include": "*",
"exclude": "water.*"
}
}
}
}