惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
T
Troy Hunt's Blog
P
Proofpoint News Feed
V
Vulnerabilities – Threatpost
C
Cybersecurity and Infrastructure Security Agency CISA
K
Kaspersky official blog
Cyberwarzone
Cyberwarzone
T
Tor Project blog
Cisco Talos Blog
Cisco Talos Blog
S
Securelist
L
Lohrmann on Cybersecurity
Security Latest
Security Latest
T
Threatpost
H
Heimdal Security Blog
W
WeLiveSecurity
A
Arctic Wolf
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
G
GRAHAM CLULEY
IT之家
IT之家
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
TaoSecurity Blog
TaoSecurity Blog
A
About on SuperTechFans
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
N
News and Events Feed by Topic
Hacker News - Newest:
Hacker News - Newest: "LLM"
Last Week in AI
Last Week in AI
T
The Blog of Author Tim Ferriss
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Microsoft Azure Blog
Microsoft Azure Blog
Hugging Face - Blog
Hugging Face - Blog
Google DeepMind News
Google DeepMind News
量子位
Stack Overflow Blog
Stack Overflow Blog
Know Your Adversary
Know Your Adversary
B
Blog RSS Feed
阮一峰的网络日志
阮一峰的网络日志
WordPress大学
WordPress大学
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
AI
AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
GbyAI
GbyAI
Vercel News
Vercel News
C
Cyber Attacks, Cyber Crime and Cyber Security
Latest news
Latest news
D
Darknet – Hacking Tools, Hacker News & Cyber Security
大猫的无限游戏
大猫的无限游戏
Forbes - Security
Forbes - Security

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
踩坑记录:UTF-8、UTF-8-BOM 与 GB2312 读取的乱码真相
wenha · 2026-04-23 · via 博客园_首页

在日常开发中,编码乱码是一个高频且容易让人困惑的问题,尤其是涉及 UTF-8、UTF-8-BOM 与 GB2312 这几种编码格式时,很容易出现“看似不合理”的现象。最近我就遇到了一个典型场景:脚本文件最初用 UTF-8 编码,程序中指定 GB2312 读取时显示乱码;但将脚本改为 UTF-8-BOM 编码后,依然用 GB2312 读取,却能正常显示——这背后其实是 Windows 系统编码兼容机制的“小玄机”,今天就把这个踩坑过程和底层逻辑整理出来,帮大家避开同类问题。

一、问题复现(真实场景)

场景很简单:我有一个包含中英文字符的脚本文件,具体情况如下:

  • 情况1:脚本保存为 UTF-8(无BOM) 编码,程序中明确指定用 GB2312 编码读取并执行 → 中文全部乱码,英文正常。
  • 情况2:脚本保存为 UTF-8-BOM(带BOM) 编码,程序依然指定 GB2312 读取并执行 → 中英文字符均显示正常,无乱码。
    一开始我很困惑:明明都是用 GB2312 读取,为什么换了编码格式就从乱码变正常?难道 UTF-8-BOM 和 GB2312 兼容?直到深入了解编码机制后,才发现这并不是编码兼容,而是 Windows 的“自动纠错”特性在起作用。

sql脚本(UTF-8编码):

C#语言:

using System.Text;

Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);
using (StreamReader sr = new StreamReader(@"C:\tmp\test.sql", Encoding.GetEncoding("GB2312")))
{
    Console.WriteLine("===================GB2312====================");
    Console.WriteLine(sr.ReadToEnd());
    Console.WriteLine("===================GB2312====================");
    sr.Close();
}

using (StreamReader sr2 = new StreamReader(@"C:\tmp\test.sql", Encoding.GetEncoding("UTF-8")))
{
    Console.WriteLine("===================UTF-8====================");
    Console.WriteLine(sr2.ReadToEnd());
    Console.WriteLine("===================UTF-8====================");
    sr2.Close();
}

数据库脚本修改为UTF-8-BOM编码后



二、核心结论(先划重点)

先给大家一个最直接的结论,避免绕弯:
我的程序并不是“真的在用 GB2312 读取文件”,而是被 UTF-8-BOM 的特殊标记“强制切换”了编码:

  1. UTF-8(无BOM):程序严格按照指定的 GB2312 解码,UTF-8 与 GB2312 编码不兼容 → 乱码。
  2. UTF-8-BOM(带BOM):Windows 识别到文件开头的 BOM 标记,自动判定文件为 UTF-8 编码,直接忽略程序中指定的 GB2312,改用 UTF-8 解码 → 正常显示。
    简单说:UTF-8-BOM 并没有让 GB2312 能正确解析 UTF-8,而是“欺骗”了系统,让系统自动切换到了正确的编码方式。

三、底层逻辑解析(为什么会这样?)

1. 先明确两个关键概念

首先要区分清楚 UTF-8 和 UTF-8-BOM 的核心差异:两者本质都是 UTF-8 编码,唯一区别是 文件开头是否包含 BOM 标记。

  • BOM(Byte Order Mark,字节顺序标记):原本是为 UTF-16/UTF-32 设计的,用于标识字节序(大端/小端);而 UTF-8 是按字节编码的,本身没有字节序问题,BOM 在这里仅作为“编码签名”,是一个固定的三字节(EF BB BF)。
  • UTF-8(无BOM):Unicode 标准推荐的格式,文件开头无任何额外字节,直接存储文本内容。
  • UTF-8-BOM(带BOM):非标准推荐格式,仅为兼容 Windows 旧系统/工具而存在,文件开头多了三字节的 BOM 标记。

2. 乱码的本质:编码不匹配

当脚本保存为 UTF-8(无BOM)时,程序按照指定的 GB2312 解码,必然会乱码——因为 UTF-8 和 GB2312 是两种完全不同的编码体系:
UTF-8 是国际通用编码,用 1-4 字节表示一个字符,中文通常用 3 字节;而 GB2312 是中文专用编码,用 1-2 字节表示一个字符,仅覆盖常用中文。两者的编码映射完全不同,用 GB2312 去解析 UTF-8 编码的中文,相当于“用错了解码字典”,自然会出现乱码(比如常见的“”“锟斤拷”等)。

3. 正常的真相:Windows 的编码自动识别

这是整个问题的核心——Windows 有一个特殊的兼容规则:只要检测到文件开头有 BOM 标记(EF BB BF),就会优先将文件识别为 UTF-8 编码,无论程序中手动指定了什么编码。
所以当脚本改为 UTF-8-BOM 后,程序的执行流程变成了这样:

  1. 程序读取文件,首先检测到开头的 BOM 标记(EF BB BF);
  2. Windows 系统自动判定:该文件是 UTF-8 编码;
  3. 系统忽略程序中指定的“GB2312 读取”指令,自动切换为 UTF-8 解码;
  4. 脚本中的中英文字符被正确解码,显示正常。
    这里要注意:这不是程序的 bug,也不是 UTF-8-BOM 与 GB2312 兼容,而是 Windows 为了兼容老程序、减少乱码问题设计的“自动纠错”机制。

四、解决方案(推荐优先级排序)

虽然“UTF-8-BOM + GB2312 读取”能正常运行,但这种方式本质是“投机取巧”,不是标准写法,长期使用可能存在兼容性隐患(比如在非 Windows 系统中,BOM 标记可能被解析为可见字符,导致脚本报错)。因此,推荐以下两种标准解决方案,按优先级排序:

方案 1:编码与读取方式统一(最推荐)

这是从根源上解决问题的方式,也是开发中的标准做法:

  • 文件保存为:UTF-8(无BOM)(Unicode 标准推荐,兼容性最强);
  • 程序修改为:用 UTF-8 编码读取文件。
    这样一来,编码和解码方式完全匹配,无论在 Windows、Linux、macOS 等任何系统中,都能正常显示,不会出现乱码,也符合现代开发的编码规范。

方案 2:继续使用 UTF-8-BOM(兼容现有程序)

如果暂时无法修改程序的读取编码(比如程序是固定配置,无法修改),那么继续使用 UTF-8-BOM 编码也是可行的:
这种方式的优势是“无需修改程序”,能快速解决乱码问题,且在 Windows 系统中完全正常运行;缺点是不符合编码标准,在非 Windows 系统中可能出现异常(比如 Linux 中会将 BOM 标记解析为乱码字符)。

五、快速验证方法(马上能试)

为了让大家更直观地理解,分享两个快速验证的方法,自己动手就能验证上述逻辑:

1. 将脚本保存为 UTF-8(无BOM):

  • 程序指定 UTF-8 读取 → 中英文字符正常显示;
  • 程序指定 GB2312 读取 → 中文乱码,英文正常。

2. 将脚本保存为 UTF-8-BOM:

  • 程序指定 GB2312 读取 → Windows 自动切换为 UTF-8 解码,显示正常;
  • 程序指定 ANSI 读取 → 同样会被自动切换为 UTF-8 解码,显示正常。

六、踩坑总结与注意事项

通过这次踩坑,总结几个关键要点,帮大家避开同类问题:

  • 1.乱码的核心永远是“编码和解码方式不匹配”,没有例外;
  • 2.UTF-8-BOM 不是用来解决乱码的,是用来标记编码的,其“能兼容 GB2312 读取”是 Windows 的特殊机制,不是编码本身兼容;
  • 3.现代开发中,优先使用 UTF-8(无BOM)编码,无论是脚本、配置文件、网页还是代码,都能保证跨平台兼容性;
  • 4.若遇到“指定编码读取却正常”的异常情况,优先排查是否存在 BOM 标记,大概率是系统自动切换了编码;
  • 5.非 Windows 系统(Linux、macOS)不会自动识别 BOM 标记,若脚本需要跨平台运行,务必使用 UTF-8(无BOM)。

编码问题看似复杂,但只要抓住“编码与解码统一”这个核心,就能避开绝大多数坑。希望这篇踩坑记录能帮到遇到同类问题的朋友,也欢迎大家在评论区分享自己遇到的编码乱码解决方案~