惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

F
Fortinet All Blogs
Microsoft Security Blog
Microsoft Security Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Vercel News
Vercel News
Application and Cybersecurity Blog
Application and Cybersecurity Blog
C
Check Point Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
W
WeLiveSecurity
The Hacker News
The Hacker News
L
LINUX DO - 热门话题
T
Tenable Blog
Hugging Face - Blog
Hugging Face - Blog
Google Online Security Blog
Google Online Security Blog
博客园 - Franky
P
Proofpoint News Feed
H
Hacker News: Front Page
P
Privacy & Cybersecurity Law Blog
月光博客
月光博客
P
Proofpoint News Feed
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
The GitHub Blog
The GitHub Blog
云风的 BLOG
云风的 BLOG
博客园_首页
www.infosecurity-magazine.com
www.infosecurity-magazine.com
C
CERT Recently Published Vulnerability Notes
Forbes - Security
Forbes - Security
I
InfoQ
Stack Overflow Blog
Stack Overflow Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Attack and Defense Labs
Attack and Defense Labs
N
News and Events Feed by Topic
博客园 - 叶小钗
T
Threat Research - Cisco Blogs
aimingoo的专栏
aimingoo的专栏
D
Darknet – Hacking Tools, Hacker News & Cyber Security
小众软件
小众软件
大猫的无限游戏
大猫的无限游戏
MongoDB | Blog
MongoDB | Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Hacker News - Newest:
Hacker News - Newest: "LLM"
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 司徒正美
O
OpenAI News
G
Google Developers Blog
Martin Fowler
Martin Fowler
罗磊的独立博客
S
SegmentFault 最新的问题
T
Tor Project blog
量子位

博客园 - 干炸小黄鱼

timex 处理时间戳 gorm-gen go 雪花算法 golang每日一库--协程池库ants golang每日一库--json解析库gjson python高级编程-asyncio python高级编程-condition python高级编程-event python装饰器-自动重试 EAP系统 go实现实现 SECS/GEM 协议 设备通信协议 SECS go项目使用Jenkins进行CICD go操作ES mongo db聚合查询 go如何使用mongodb paxos and raft (分布式一致性算法) go使用zookeeper分布式锁以及和redis差异 go使用 seata 示例 Alibaba 分布式事务 Seata go中使用saga go中使用TCC示例 分布式事务TCC 熔断器 Hystrix OR Sentinel k8s下部署consul and etcd Consul OR Etcd 【力扣hot100】双指针-盛水最多的容器 【力扣hot100】滑动窗口-最小覆盖子串 shell脚本合集 分布式id生成器 springboot通用CURD Python PB级检索系统架构设计 rancher 在三台机器搭建k8s集群 python ssh clinet 数据库排序Null值字段靠后/靠前 常规web项目 docker-compose 例子 手搓一个验证码 使用itertools 中的groupby 对字典数组进行分组后排序 使用开源库 geoip2 获取某ip的经纬度地理信息 python中 apscheduler.schedulers.blocking.BlockingScheduler 定时执行任务 简单的python web项目的docker-compose.yml 示例 python和sliver交互 golang sliver二次开发自定义命令(格式乱后面再调) pydantic做参数校验 基于rancher部署k8s 地理位置相关基础数据 flask migrate时报错 Can't locate revision identified by '3d80e4c025df'
Apache ShardingSphere
干炸小黄鱼 · 2026-04-21 · via 博客园 - 干炸小黄鱼

Apache ShardingSphere 是一款开源的分布式数据库生态项目,其核心设计理念是 Database Plus。它并非旨在颠覆或取代现有的关系型数据库(如 MySQL、PostgreSQL),而是站在数据库的上层,像一个“智能管家”一样,为它们提供标准化的增强能力和生态,使其能够轻松应对海量数据和高并发场景。

简单来说,ShardingSphere 是一个强大的数据库中间件,它通过拦截和处理 SQL,为应用层提供一个逻辑上统一、功能上增强的数据库视图,而背后则可以连接和管理多个异构的物理数据库。


🧩 核心产品组成

ShardingSphere 主要由三款产品构成,它们共享同一套核心功能引擎,可以灵活地独立部署或混合使用。

  1. ShardingSphere-JDBC

    • 定位:轻量级的 Java 框架,可以理解为一个增强版的 JDBC 驱动。
    • 特点:以 JAR 包形式嵌入应用中,无中心化架构,性能损耗极小,接近原生 JDBC。
    • 适用场景:Java 技术栈的应用,追求极致性能的场景。
  2. ShardingSphere-Proxy

    • 定位:透明化的数据库代理服务器。
    • 特点:独立部署的服务端,对应用完全透明。它实现了 MySQL 和 PostgreSQL 的网络协议,因此任何能连接这两种数据库的客户端(如命令行工具、Navicat、Python/Go 应用等)都可以直接连接它,无需修改代码。
    • 适用场景:异构语言(非 Java)接入、DBA 运维管理、或希望应用与中间件解耦的场景。
  3. ShardingSphere-Sidecar (规划中)

    • 定位:云原生时代的数据库代理,以 Sidecar 模式部署。
    • 特点:与业务应用容器部署在一起,代理所有数据库访问,实现无侵入的数据库治理,是构建 Database Mesh(数据库网格)的关键组件。

🚀 核心功能

ShardingSphere 提供了一系列开箱即用的功能,极大地简化了分布式数据库的开发和运维。

  • 数据分片 (Data Sharding)
    这是其最核心的功能。它能将一张大表的数据水平拆分到多个数据库或多个表中,从而突破单机数据库的存储和性能瓶颈。应用层只需操作逻辑表,ShardingSphere 会自动处理 SQL 的路由、改写和执行。

  • 读写分离 (Read/Write Splitting)
    自动将写操作(INSERT, UPDATE, DELETE)路由到主库,读操作(SELECT)路由到一个或多个从库,并支持从库间的负载均衡,有效减轻主库压力。

  • 分布式事务 (Distributed Transaction)
    提供跨数据库事务的能力,支持 XA(强一致性)和 BASE(最终一致性)两种事务模型,保证数据在分布式环境下的安全与一致。

  • 数据加密 (Data Encryption)
    对敏感数据(如手机号、身份证号)进行透明加密。应用写入明文,ShardingSphere 自动加密后存入数据库;读取时则自动解密返回给应用,业务代码无需改动。

  • 影子库 (Shadow Database)
    在全链路压测场景下,能根据规则(如 SQL 注释、特定用户)将压测流量自动路由到独立的“影子库”,实现测试数据与生产数据的完全隔离,避免污染生产环境。

  • 数据迁移 (Data Migration)
    提供强大的数据迁移工具,支持在不同数据源之间进行全量或增量数据迁移,方便进行数据库扩容或架构调整。


✨ 主要优势

  • 极致性能:JDBC 端经过长期打磨,效率接近原生驱动。
  • 生态兼容:Proxy 端支持任何使用 MySQL/PostgreSQL 协议的应用,JDBC 端可对接任意实现 JDBC 规范的数据库。
  • 业务零侵入:在很多场景下,应用无需改造或仅需少量配置即可接入,实现平滑迁移。
  • 弹性扩展:具备计算和存储的在线平滑扩展能力,可灵活应对业务变化。
  • 开放生态:采用微内核和可插拔架构,功能组件(如分片算法、加密算法)可以像积木一样灵活组合和定制。

虽然它的核心代码是用 Java 编写的,但它提供了不同的产品形态来支持异构语言。如果你使用的是 Go,主要通过 ShardingSphere-Proxy 来接入。

以下是具体的使用方式和区别:

1. Go 语言如何使用?(核心方案:ShardingSphere-Proxy)

对于 Go 语言,你不需要(也无法)引入 ShardingSphere 的 Java JAR 包。你需要使用的是 ShardingSphere-Proxy

  • 原理:ShardingSphere-Proxy 是一个独立部署的服务端程序。它实现了标准的 MySQL 协议(也支持 PostgreSQL 协议)。
  • 接入方式
    • 你启动一个 ShardingSphere-Proxy 服务。
    • 在 Go 代码中,使用标准的 MySQL 驱动(如 go-sql-driver/mysql 或 GORM)。
    • 关键点:将数据库连接地址(Host)配置为 Proxy 的地址,而不是真实数据库的地址。
  • 体验:对 Go 应用来说,ShardingSphere-Proxy 看起来就是一个普通的 MySQL 数据库。应用无需修改任何业务代码,就能享受到分库分表、读写分离等功能。

Go 代码示例:

import (
    "database/sql"
    _ "github.com/go-sql-driver/mysql"
)

func main() {
    // 连接 ShardingSphere-Proxy (默认端口通常是 3307)
    // 就像连接普通 MySQL 一样
    db, err := sql.Open("mysql", "root:password@tcp(127.0.0.1:3307)/logic_db")
    if err != nil {
        panic(err)
    }
    defer db.Close()
    
    // 后续操作完全透明,Proxy 会自动处理分片路由
    // db.Query("SELECT * FROM t_order WHERE user_id = ?", 1001)
}

2. Java 语言如何使用?(核心方案:ShardingSphere-JDBC)

Java 语言有两种选择,但通常首选 ShardingSphere-JDBC

  • ShardingSphere-JDBC:这是一个轻量级的 JAR 包,直接嵌入在 Java 应用中。
    • 优势:无中心化,性能损耗极低(没有网络跳转),属于“应用内”处理。
    • 劣势:仅限 Java 使用。

3. 两种模式对比

维度 ShardingSphere-JDBC (Java 专用) ShardingSphere-Proxy (支持 Go/任意语言)
支持语言 仅 Java 任意语言 (Go, Python, PHP, C++, Node.js 等)
部署方式 嵌入应用 (JAR 包) 独立服务器 (类似数据库服务)
性能 极高 (无网络转发损耗) (有一次网络转发,损耗略高)
侵入性 需引入依赖,修改代码配置 零侵入 (改个数据库连接地址即可)
适用场景 Java 微服务,追求极致性能 Go/Python 应用,或遗留系统改造

总结

  • Java 开发:推荐用 ShardingSphere-JDBC,性能最好。
  • Go 开发:推荐用 ShardingSphere-Proxy,把它当成一个支持分库分表的 MySQL 代理服务器来用即可。
  • 混合使用:在一个系统中,Java 服务可以用 JDBC,Go 服务可以用 Proxy,它们可以共用同一套分片规则配置(通过注册中心如 ZooKeeper 或 Nacos 同步),互不冲突。