惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
有赞技术团队
有赞技术团队
S
SegmentFault 最新的问题
宝玉的分享
宝玉的分享
量子位
小众软件
小众软件
The Cloudflare Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
大猫的无限游戏
大猫的无限游戏
C
Check Point Blog
G
Google Developers Blog
博客园 - 叶小钗
H
Help Net Security
Jina AI
Jina AI
Y
Y Combinator Blog
Last Week in AI
Last Week in AI
GbyAI
GbyAI
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Apple Machine Learning Research
Apple Machine Learning Research
MyScale Blog
MyScale Blog
T
Tailwind CSS Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Vercel News
Vercel News

明天的乌云

Plain Harness Engineering in Practice Harness Engineering实践和分享 Agent与人的协作关系 Letting AI Actively Manage Its Own Context 让AI主动管理自己的上下文 时间过得既快又慢 做更好的信息阅读 Claude Code Router远程命令执行漏洞
生僻字
透明人 Tmr Blog · 2025-08-07 · via 明天的乌云

生僻字

发表于 分类于 兔子洞 阅读次数: 本文字数: 254 阅读时长 ≈ 1 分钟

兔子洞系列:生僻字

LLM认字吗

训练数据是否包含生僻字,又是否能覆盖全部汉字?

这是好奇的起因

于是在网上找到个码表,作者竟是deepseek工程师

但只是个巧合,作者很多年前写的,看博客应该不是做模型的,而且也不全

中文字符集的关系

Unicode > GB18030 > GBK > GB2312

其他有趣的链接

2024年你见过哪些中文字“符”街的趣事?

汉字数字化的AI“(有)知(无)能”现象

姓名生僻字处理平台 设备文化程度检测

國際電腦漢字及異體字知識庫

教育部《異體字字典》 臺灣學術網路十四版(正式七版)2024