惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

aimingoo的专栏
aimingoo的专栏
Jina AI
Jina AI
WordPress大学
WordPress大学
Recent Announcements
Recent Announcements
G
Google Developers Blog
I
InfoQ
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Google DeepMind News
Google DeepMind News
P
Proofpoint News Feed
MyScale Blog
MyScale Blog
M
MIT News - Artificial intelligence
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
C
Check Point Blog
J
Java Code Geeks
T
Tailwind CSS Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Microsoft Security Blog
Microsoft Security Blog
MongoDB | Blog
MongoDB | Blog
V
Visual Studio Blog
人人都是产品经理
人人都是产品经理
量子位
A
About on SuperTechFans
D
DataBreaches.Net
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知

博客园 - buguge

交易成功还要记 3 笔账?我们直接砍到 1 笔—— 网络红包记账的一次自顶向下业务层重构 分享一次针对hardcode的小重构:不要把 package 名写死在代码里 聚合系统设计:如何为银行代付通道抽象出公共的代付接口能力 如何自定义 MyBatis枚举处理器(EnumTypeHandler):分享从 “同包同名 shadow 覆盖” 到 “官方扩展点” 的重构经历 这儿也改状态,那儿也改状态,连AI都理不清楚了… 不妨试试这个状态机good-practice 业务解耦的经典实践:从订单表解耦开票业务说起(以滴滴网约车开票为例) 从 `int` 到 `Duration`:一个缓存 API 的三次演进教会我的事 最差实践(bad-practice):开发者在方法里直接实例化线程池对象,然后...(应用gg了) 【HttpClient最差实践(bad-practice)】开发者在 http 工具方法中直接实例化 HttpClient,然后…… Crypto、Cipher与Password:Java加密开发的三个核心概念 知识VS技能:如何优雅判空? 推敲见文章:从 `try..catch` 看异常日志打印的正确姿势 #解决问题要彻底# 慢SQL治理完成后,如何防止同类问题“死灰复燃”? 从合同甲方是荒谬的“JD”谈起:软件开发不应遗忘的“常识” 别留小尾巴/尽快剪掉小尾巴:从一次“ABA”字段重命名,谈谈“解决问题要彻底” 常见的OOM错误 ( OutOfMemoryError全类型详解) 开发者暴露了一个无需授权访问的裸接口,我问:如果有人暴力请求怎么办? 【SQL性能优化篇】有了!治理慢SQL“WHERE create_time ORDER BY id”的良药---规避“Using filesort”性能杀手 高效查询商户日终余额:一个SQL的优化实践 Hutool 的 `TimedCache` 到期会自动清理吗? ——————hutool cache的"惰性清理"和"定期清理" Fastjson枚举反序列化:当字符串不是枚举常量名时,会发生什么? fastjson-EnumDeserializer类及源码分析 随笔20260309:我们都是围城里的人 `UnexpectedRollbackException: Transaction rolled back because it has been marked as rollback-only` 异常解析 认识2个单词:goal/target —————— 为什么Maven是 "goal" 而不是 "target"? 聚合系统设计:策略模式(Strategy Pattern)在银行通道对接场景中的应用 这样构建对象,太帅了!—— 阶梯式Builder模式与代码整洁之道 注意!字段数据类型不匹配,这个sql会很慢 还在用ArrayList?用HashSet吧!--性能对比 分页查询还在用create_time去做降序?
20260604SR超时问题排查
buguge · 2026-06-05 · via 博客园 - buguge

故障说明:

2026-06-04 09:40 ~ 2026-06-02 10:20 期间,运营后台系统的用户数据查询明显变慢,甚至超时。由大数据StarRocks集群压力过大引发。

导致原因分析(磁盘、网络、实现方式、数据量、使用量)

基于 SR的审计日志

  1. 查询比平时增加,导致内存稳定在 85%左右,持高不下,从而导致查询 pending,最终导致超时
    1. 同一个时间段的查询数据量相比于一周前多
      1. ods_dc_sbh_plat_order 多 336
      2. ads_c_order_detail_all_gv_view 多 108
      3. ads_order_detail_all_gv_view 多79
    2. 同一个时间段每分钟的查询数据量相比于一周前多,具体见 ads大表查询情况
    3. 期间,单查询扫描的数据最大 18G,扫描条数最多 1.2亿(优化中)

当时机器情况

image

image

SR情况

内存稳定在 85% 左右

image

image

ads大表和订单查询情况

table_name

当天时间段

周环比时间段

差值 (A-B)

dmp_ods.ods_dc_sbh_plat_order

594

258

+336

dmp_ads.ads_c_order_detail_all_gv_view

115

7

+108

dmp_ads.ads_order_profit_sum_gv 430 533 -103

dmp_ads.ads_order_detail_all_gv_view

297

218

+79

这期间有大查询,c端运营,扫描的数据量,3G-18G不等

ads大表查询情况

table_name

time

A_count(今日)

B_count(一周前)

A-B差值

dmp_ads.ads_c_order_detail_all_gv_view

09:40

1

0

1

dmp_ads.ads_c_order_detail_all_gv_view

09:41

2

0

2

dmp_ads.ads_c_order_detail_all_gv_view

09:43

2

0

2

dmp_ads.ads_c_order_detail_all_gv_view

09:44

2

0

2

dmp_ads.ads_c_order_detail_all_gv_view

09:50

2

0

2

dmp_ads.ads_c_order_detail_all_gv_view

09:53

1

0

1

dmp_ads.ads_c_order_detail_all_gv_view

09:54

1

0

1

dmp_ads.ads_c_order_detail_all_gv_view

09:55

2

1

1

dmp_ads.ads_c_order_detail_all_gv_view

09:56

3

0

3

dmp_ads.ads_c_order_detail_all_gv_view

09:57

5

0

5

dmp_ads.ads_c_order_detail_all_gv_view

09:59

6

0

6

dmp_ads.ads_c_order_detail_all_gv_view

10:01

3

0

3

dmp_ads.ads_c_order_detail_all_gv_view

10:02

4

0

4

dmp_ads.ads_c_order_detail_all_gv_view

10:03

13

0

13

dmp_ads.ads_c_order_detail_all_gv_view

10:04

5

0

5

dmp_ads.ads_c_order_detail_all_gv_view

10:05

5

0

5

dmp_ads.ads_c_order_detail_all_gv_view

10:06

7

0

7

dmp_ads.ads_c_order_detail_all_gv_view

10:09

6

2

4

dmp_ads.ads_c_order_detail_all_gv_view

10:11

14

0

14

dmp_ads.ads_c_order_detail_all_gv_view

10:13

8

2

6

dmp_ads.ads_c_order_detail_all_gv_view

10:14

9

1

8

dmp_ads.ads_c_order_detail_all_gv_view

10:15

6

1

5

dmp_ads.ads_c_order_detail_all_gv_view

10:16

6

0

6

dmp_ads.ads_c_order_detail_all_gv_view

10:19

2

0

2

dmp_ads.ads_order_detail_all_gv_view

09:40

6

2

4

dmp_ads.ads_order_detail_all_gv_view

09:41

14

0

14

dmp_ads.ads_order_detail_all_gv_view

09:42

7

0

7

dmp_ads.ads_order_detail_all_gv_view

09:43

2

0

2

dmp_ads.ads_order_detail_all_gv_view

09:44

2

0

2

dmp_ads.ads_order_detail_all_gv_view

09:46

0

4

-4

dmp_ads.ads_order_detail_all_gv_view

09:47

1

4

-3

dmp_ads.ads_order_detail_all_gv_view

09:48

2

9

-7

dmp_ads.ads_order_detail_all_gv_view

09:49

0

2

-2

dmp_ads.ads_order_detail_all_gv_view

09:51

5

2

3

dmp_ads.ads_order_detail_all_gv_view

09:53

0

3

-3

dmp_ads.ads_order_detail_all_gv_view

09:54

2

6

-4

dmp_ads.ads_order_detail_all_gv_view

09:55

23

0

23

dmp_ads.ads_order_detail_all_gv_view

09:56

3

2

1

dmp_ads.ads_order_detail_all_gv_view

09:57

0

3

-3

dmp_ads.ads_order_detail_all_gv_view

09:58

0

8

-8

dmp_ads.ads_order_detail_all_gv_view

09:59

24

4

20

dmp_ads.ads_order_detail_all_gv_view

10:00

5

12

-7

dmp_ads.ads_order_detail_all_gv_view

10:01

12

1

11

dmp_ads.ads_order_detail_all_gv_view

10:02

19

1

18

dmp_ads.ads_order_detail_all_gv_view

10:03

11

3

8

dmp_ads.ads_order_detail_all_gv_view

10:04

17

6

11

dmp_ads.ads_order_detail_all_gv_view

10:05

23

4

19

dmp_ads.ads_order_detail_all_gv_view

10:06

11

6

5

dmp_ads.ads_order_detail_all_gv_view

10:07

4

7

-3

dmp_ads.ads_order_detail_all_gv_view

10:08

3

13

-10

dmp_ads.ads_order_detail_all_gv_view

10:09

10

14

-4

dmp_ads.ads_order_detail_all_gv_view

10:10

2

5

-3

dmp_ads.ads_order_detail_all_gv_view

10:11

14

5

9

dmp_ads.ads_order_detail_all_gv_view

10:12

9

9

0

dmp_ads.ads_order_detail_all_gv_view

10:13

17

7

10

dmp_ads.ads_order_detail_all_gv_view

10:14

3

15

-12

dmp_ads.ads_order_detail_all_gv_view

10:15

11

24

-13

dmp_ads.ads_order_detail_all_gv_view

10:16

3

6

-3

dmp_ads.ads_order_detail_all_gv_view

10:17

2

5

-3

dmp_ads.ads_order_detail_all_gv_view

10:18

4

18

-14

dmp_ads.ads_order_detail_all_gv_view

10:19

26

8

18

dmp_ads.ads_order_profit_sum_gv

09:40

2

7

-5

dmp_ads.ads_order_profit_sum_gv

09:41

27

18

9

dmp_ads.ads_order_profit_sum_gv

09:42

12

12

0

dmp_ads.ads_order_profit_sum_gv

09:43

12

7

5

dmp_ads.ads_order_profit_sum_gv

09:44

7

16

-9

dmp_ads.ads_order_profit_sum_gv

09:45

3

11

-8

dmp_ads.ads_order_profit_sum_gv

09:46

7

2

5

dmp_ads.ads_order_profit_sum_gv

09:47

24

14

10

dmp_ads.ads_order_profit_sum_gv

09:48

30

16

14

dmp_ads.ads_order_profit_sum_gv

09:49

23

10

13

dmp_ads.ads_order_profit_sum_gv

09:50

24

15

9

dmp_ads.ads_order_profit_sum_gv

09:51

4

18

-14

dmp_ads.ads_order_profit_sum_gv

09:52

1

30

-29

dmp_ads.ads_order_profit_sum_gv

09:53

16

15

1

dmp_ads.ads_order_profit_sum_gv

09:54

13

28

-15

dmp_ads.ads_order_profit_sum_gv

09:55

12

15

-3

dmp_ads.ads_order_profit_sum_gv

09:56

20

40

-20

dmp_ads.ads_order_profit_sum_gv

09:57

9

20

-11

dmp_ads.ads_order_profit_sum_gv

09:58

3

10

-7

dmp_ads.ads_order_profit_sum_gv

09:59

15

13

2

dmp_ads.ads_order_profit_sum_gv

10:00

4

16

-12

dmp_ads.ads_order_profit_sum_gv

10:01

4

5

-1

dmp_ads.ads_order_profit_sum_gv

10:02

6

16

-10

dmp_ads.ads_order_profit_sum_gv

10:03

7

10

-3

dmp_ads.ads_order_profit_sum_gv

10:04

2

8

-6

dmp_ads.ads_order_profit_sum_gv

10:05

2

10

-8

dmp_ads.ads_order_profit_sum_gv

10:06

16

9

7

dmp_ads.ads_order_profit_sum_gv

10:07

2

11

-9

dmp_ads.ads_order_profit_sum_gv

10:08

0

1

-1

dmp_ads.ads_order_profit_sum_gv

10:09

3

14

-11

dmp_ads.ads_order_profit_sum_gv

10:10

6

5

1

dmp_ads.ads_order_profit_sum_gv

10:11

9

14

-5

dmp_ads.ads_order_profit_sum_gv

10:12

12

15

-3

dmp_ads.ads_order_profit_sum_gv

10:13

22

13

9

dmp_ads.ads_order_profit_sum_gv

10:14

12

22

-10

dmp_ads.ads_order_profit_sum_gv

10:15

20

18

2

dmp_ads.ads_order_profit_sum_gv

10:16

11

6

5

dmp_ads.ads_order_profit_sum_gv

10:17

7

6

1

dmp_ads.ads_order_profit_sum_gv

10:18

12

10

2

dmp_ads.ads_order_profit_sum_gv

10:19

9

7

2

 

队列 Pending情况

最多 Pending 了 94 个查询,其中大资源组41,短查询资源组 53

各个资源组的资源分配情况

image

支持的QPS


新试图 ads_order_detail_all_gv_view_new_refund_all: 7-8

老view:dmp_ads.ads_order_detail_all_gv_view  2-3

恢复方式

 连接上 sr

sby:mysql -h dmp02 -P9030 -uapp_admin_user -p'01wwYcMu' --default-character-set=utf8mb4

SHOW PROC '/current_queries';    把 大查询 kill 掉

KILL QUERY <ConnectionId>;

优化事项

view内存中关联,比如 c 端运营,优化中

空间换时间

  1. ads_order_detail_all_gv_view_new_refund_all 新 view 上线,已上线-20260604
    1. 建立实时的 dwd,保存订单数据+订单扩展表数据+毛利数据
  2. ads_order_detail_all_gv_view_asym 下线,预计下周

时间换资源-进行中

  1. ETL统一收口查询大数据平台,进行中
  2. 完成收口后,针对各个业务就可以限定优先级
    1. 核心业务满资源满队列查
    2. 次核心限制
    3. 内部大查询,比如订单明细,限制资源使用,调大超时时间(比如 30 s -1min),并限制查询频率,超过查询频率或者后端查询中,前端页面转圈圈等待

应急预案

  1. 通知 C端运营先不要查询
  2. 通知运营后台先不要查询订单明细
  3. 找到 大查询,并kill 掉