惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
V2EX
量子位
博客园 - 司徒正美
IT之家
IT之家
V
Visual Studio Blog
Apple Machine Learning Research
Apple Machine Learning Research
博客园_首页
Google DeepMind News
Google DeepMind News
Last Week in AI
Last Week in AI
Microsoft Security Blog
Microsoft Security Blog
T
Tailwind CSS Blog
aimingoo的专栏
aimingoo的专栏
GbyAI
GbyAI
Vercel News
Vercel News
B
Blog
大猫的无限游戏
大猫的无限游戏
D
DataBreaches.Net
小众软件
小众软件
罗磊的独立博客
博客园 - 叶小钗
雷峰网
雷峰网
Martin Fowler
Martin Fowler
Hugging Face - Blog
Hugging Face - Blog
WordPress大学
WordPress大学

明天的乌云

Plain Harness Engineering in Practice Harness Engineering实践和分享 Agent与人的协作关系 Letting AI Actively Manage Its Own Context 让AI主动管理自己的上下文 时间过得既快又慢 做更好的信息阅读 Claude Code Router远程命令执行漏洞
生僻字
透明人 Tmr Blog · 2025-08-07 · via 明天的乌云

生僻字

发表于 分类于 兔子洞 阅读次数: 本文字数: 254 阅读时长 ≈ 1 分钟

兔子洞系列:生僻字

LLM认字吗

训练数据是否包含生僻字,又是否能覆盖全部汉字?

这是好奇的起因

于是在网上找到个码表,作者竟是deepseek工程师

但只是个巧合,作者很多年前写的,看博客应该不是做模型的,而且也不全

中文字符集的关系

Unicode > GB18030 > GBK > GB2312

其他有趣的链接

2024年你见过哪些中文字“符”街的趣事?

汉字数字化的AI“(有)知(无)能”现象

姓名生僻字处理平台 设备文化程度检测

國際電腦漢字及異體字知識庫

教育部《異體字字典》 臺灣學術網路十四版(正式七版)2024