📊 初始语料: hug(10), pug(5), pun(12), bun(4)
当前词表: 7个基础字符
语料库物理状态
10: h u g </w>
05: p u g </w>
12: p u n </w>
04: b u n </w>
相邻词对频次 (排名)
| Pair | Count | 来源构成 |
|---|---|---|
| p u | 17 | pug(5)+pun(12) |
| u n | 16 | pun(12)+bun(4) |
| n </w> | 16 | pun(12)+bun(4) |
| u g | 15 | hug(10)+pug(5) |
| g </w> | 15 | hug(10)+pug(5) |
| h u | 10 | hug(10) |
| b u | 4 | bun(4) |
🚀 执行动作: 合并 (p, u) -> 生成新 Token pu
新增 Token: [pu]
语料库更新情况
10: h u g </w> (u未变)
05: pu g </w>
12: pu n </w>
04: b u n </w> (u未变)
重新计算频次表
| Pair | Count | 变化说明 |
|---|---|---|
| n </w> | 16 | - |
| g </w> | 15 | - |
| pu n | 12 | 新出现! |
| h u | 10 | - |
| u g | 10 (📉原为15) | pug贡献消失 |
| pu g | 5 | 新出现! |
| u n | 4 (📉原为16) | pun贡献消失 |
🚀 执行动作: 合并 (n, </w>) -> 生成新 Token n</w>
新增 Token: [n</w>]
语料库更新情况
10: h u g </w>
05: pu g </w>
12: pu n</w>
04: b u n</w>
重新计算频次表
| Pair | Count | 备注 |
|---|---|---|
| g </w> | 15 | hug(10)+pug(5) |
| pu n</w> | 12 | 新出现! |
| h u | 10 | - |
| u g | 10 | - |
| pu g | 5 | - |
| u n</w> | 4 | 新出现! |
🚀 执行动作: 合并 (g, </w>) -> 生成新 Token g</w>
pun</w>g</w>…剩余基础字符…
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。