惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
V2EX
P
Proofpoint News Feed
D
DataBreaches.Net
C
Check Point Blog
L
LangChain Blog
量子位
美团技术团队
Vercel News
Vercel News
人人都是产品经理
人人都是产品经理
N
Netflix TechBlog - Medium
V
Visual Studio Blog
Microsoft Security Blog
Microsoft Security Blog
博客园 - 【当耐特】
MongoDB | Blog
MongoDB | Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Last Week in AI
Last Week in AI
The GitHub Blog
The GitHub Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
U
Unit 42
腾讯CDC
M
MIT News - Artificial intelligence
Microsoft Azure Blog
Microsoft Azure Blog
Blog — PlanetScale
Blog — PlanetScale

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解
基于SQL实现分组的文字排序聚合
大汪的数据之路 · 2026-06-11 · via 博客园_首页

作为数据工程师,对数据进行处理分析时,时常遇到基于SQL实现分组内的文字列的排序聚合是非常常见的场景,比如按照价格高低进行各类别下商品的汇总、按照成绩进行各班的学生的排名等。当下,支持SQL的数据库生态百花齐放,SQL方言也是多种多样,为了方便记忆,以下总结了常见的几类数据产品或者平台的支持情况(代码经过实际测试可跑通):

假设数据集为sales,需要展示每个类别下的按照价格排序的商品清单。

CREATE TABLE sales AS
SELECT
'Electronics' AS category, 'Laptop' AS product, 1000 AS price UNION ALL SELECT 'Electronics', 'Mouse', 20 UNION ALL SELECT 'Electronics', 'Keyboard', 80 UNION ALL SELECT 'Furniture', 'Desk', 300 UNION ALL SELECT 'Furniture', 'Chair', 150

1,Spark

SELECT 
    category,
    concat_ws(',', 
        TRANSFORM(
            SORT_ARRAY(COLLECT_LIST(STRUCT(price, product))),
            s -> s.product
        )
    ) AS products_sorted
FROM sales
GROUP BY category
;

2,Impala

SELECT 
    category,
    regexp_replace(
        group_concat(concat_ws('|', rn, product), ','),
        '[0-9]+\\|', 
        ''
    ) AS products_sorted
FROM (
    SELECT 
        category,
        product,
        cast(row_number() OVER (PARTITION BY category ORDER BY price) AS STRING) AS rn
    FROM sales
) t
GROUP BY category;

3,Oracle

select category
, LISTAGG(product, ', ') WITHIN GROUP (ORDER BY price) AS product_sorted
from sales t
group by category

4,SQL Server

SELECT 
    category,
    STRING_AGG(product, ', ') WITHIN GROUP (ORDER BY price) AS products_sorted
FROM sales
GROUP BY category;

5,PostgreSQL

SELECT 
    category,
    string_agg(product, ', ' ORDER BY price) AS products_sorted
FROM sales
GROUP BY category;

6,MySQL

SELECT 
    category,
    GROUP_CONCAT(product ORDER BY price SEPARATOR ',') AS products_sorted
FROM sales
GROUP BY category;

7、SQLite&DuckDB

SELECT 
    category,
    string_agg(product, ', ' ORDER BY price) AS products_sorted,
    group_concat(product, ', ' ORDER BY price DESC) AS products_sorted1
FROM sales
GROUP BY category;

8,ClickHouse

--方式一,利用子查询先行排序
SELECT 
    category,
    arrayStringConcat(groupArray(product), ',') AS products_sorted
FROM (
    SELECT category, product
    FROM db_test.sales
    ORDER BY category, price ASC
)
GROUP BY category;

--方式二,Lambda表达式
SELECT 
    category,
    arrayStringConcat(
        arrayMap(
            x -> x.2,   -- 提取元组的第二个元素,即 product
            arraySort(
                x -> x.1,   -- 按元组的第一个元素(price)升序排序
                groupArray((price, product))
            )
        ),
        ','
    ) AS products_sorted
FROM db_test.sales
GROUP BY category;

总结:

  • 大数据体系:
    • Spark SQL:需要使用collect_list + sort_array + transform + concat_ws 组合才能实现该功能。
    • Impala SQL:不支持 order by 在 group_concat 内,需要在子查询中利用row_number先行排序 ,代码相对复杂,且该方法只支持Impala 2.3+。
  • 商业产品:
    • Oracle:listagg(expr, sep) within group (order by …)
    • SQL Server:string_agg(expr, sep) within group (order by …),只支持2017+。
  • 开源产品:
    • PostgreSQL:string_agg(expr, sep order by …)
    • MySQL:group_concat(expr order by … separator sep)
  • 嵌入式数据库:
    • SQLite&DuckDB:group_concat(expr, sep order by ...), 或者string_agg(expr, sep order by ...)
  • 分析型数据库:
    • ClickHouse:较旧的版本中需要使用子查询或者arrayStringConcat + groupArray + arraySort + arrayMap,从24.8版本开始支持groupConcat(sep)(expr ORDER BY ...)
  • 国产信创数据库:
    • 达梦DaMeng:可设置兼容模式,一般设置为兼容Oracle,可支持listagg语法
    • 海量Vastbase:原生兼容PostgreSQL,支持string_agg

Oracle listagg是商业数据库比较早的实现该功能的函数,使用方便,最为经典并广为人知。SQL Server前期支持较弱,后期弥补了该功能短板,为了方便用户记忆使用,格式与Oracle格式高度相似。开源数据库中,Mysql和PostgreSQL各自使用了独立的格式,相对商业数据库,变化较大,需要额外的记忆。嵌入式数据库中,无论是OLTP的SQLite,还是OLAP的DuckDB,其格式与PG高度一致,说明PG的影响力非常大,SQLite从3.44.0版本开始支持带order by功能,DuckDB本身定位为分析型数据库,从最早的版本即有完整的功能支持。大数据体系的特点是海量存储和非结构化数据处理,针对结构化数据的复杂处理逻辑,支持相对较弱,可以看出Impala和Spark的SQL实现逻辑最为复杂,嵌套使用了多种函数,代码冗长,很难快速记住。分析型数据库中,ClickHouse早期的逻辑比较复杂,Lambda函数类似Spark SQL,后期应该是为了用户使用方便,做了简化,但语法保持了自己的特色。国产信创数据库方面,目前多为兼容Oracle或者PostgreSQL,暂时应该还未发展出独立的语法体系。

以上只记录了语法格式的差异,而由于各个产品的架构设计不一样,实际使用中性能的差异可能会比较大。当然如果数据量不大,没有到亿级的规模,性能应该都是可以接受的。

进入大模型时代之后,靠记忆来记住不同数据库的语法既耗时也没有必要。只要稍微描述下场景,大模型直接可以写出完整的语句。只要掌握各类数据产品的特点和背景,数据工程师在面对新数据产品的时候,就可以快速利用AI大模型进行各类复杂逻辑的SQL开发。