惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

雷峰网
雷峰网
MongoDB | Blog
MongoDB | Blog
D
Docker
Martin Fowler
Martin Fowler
人人都是产品经理
人人都是产品经理
GbyAI
GbyAI
Jina AI
Jina AI
酷 壳 – CoolShell
酷 壳 – CoolShell
M
MIT News - Artificial intelligence
腾讯CDC
阮一峰的网络日志
阮一峰的网络日志
H
Hackread – Cybersecurity News, Data Breaches, AI and More
N
Netflix TechBlog - Medium
B
Blog RSS Feed
云风的 BLOG
云风的 BLOG
Blog — PlanetScale
Blog — PlanetScale
Vercel News
Vercel News
The Cloudflare Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
有赞技术团队
有赞技术团队
G
Google Developers Blog
Stack Overflow Blog
Stack Overflow Blog
I
InfoQ
U
Unit 42

博客园 - PetterLiu

OpenReel开源项目 OpenConnector 技术白皮书 汽车行业高效办公AI实践案例集 微软开源Flint语义驱动的图表项目 工业互联网零信任安全应用进展与挑战 开发思维导论:从大白话创意到AI全自动执行 从微服务到 Agent:我们到底在焦虑什么? Drain3与LogParser-LLM技术优劣势及适用场景对比 人机协作的工程化进化路线与落地案例 长视频如何实现信息压缩与细节 AI 站点可靠性工程 (SRE) Agent 苹果公司"中国+1"布局的逻辑重塑与风险对冲 训练 Agent 最怕什么?不是模型笨,是环境烂。 大语言模型自我验证机制与环境鲁棒性前沿技术研究报告 全球软件产业智能化范式转移与商业价值重构研究报告 基于AJ-Bench智能体自我验证场景案 物业行业 AI 落地避坑指南 AI 驱动的视频内容自动化创作框架ShortGPT 2026年6月份个人回顾 Skill不是长Prompt:如何写出工业级 Skill AI 驱动下的上下文治理与管理范式革命 为什么 FDE 正在成为商业落地的唯一解药 《不懂人性,就别做管理》:软件研发管理的核心洞察解读 四周实现非母语教学APP Agent Mail 产品介绍与 Trae Solo Agent 实测 AI时代团队效能的非线性陷阱与组织重构升级 AI落地三大误区与组织提效路径 AI工程化人才的角色演变与组织冲击 揭秘AI搜索时代的"GEO全链路技能库" AI领域值得关注的人与机构
Token是什么
PetterLiu · 2026-03-30 · via 博客园 - PetterLiu

一、核心定义(1.1 & 1.2)

Token是什么?

  • 通用概念:代表身份或信息的数字凭证/基本单元,应用于计算机、AI、区块链等领域
  • AI领域的通俗理解:AI用来"数文字"的最小单位,相当于"AI世界里的字数"

什么是token

Token怎么算?

语言

换算规则

示例

中文

约1个汉字 ≈ 1个Token

"我想吃火锅" = 6个Token

英文

平均4-5个字母 ≈ 1个Token

"hello" = 1个Token;"beautiful"可能切成2个Token(beauti + ful


二、为什么AI要用Token,不用"字"?(第2部分)

  1. 字/单词数量太庞大 — 汉字几万、英文单词几十万,直接记忆模型会太大跑不动;Token只保留常用片段,数量可控
  2. 单字会破坏语义 — 比如"巧克力""路由器"拆成单字就没意义了;Token会把有含义的片段打包,AI更容易理解
  3. 统一处理效率更高 — 不管中文、英文、符号,都切成统一大小的Token,AI计算、训练、生成文字都更高效
  4. 节省算力和成本 — Token比完整字词更省资源,也方便统一计费和限制对话长度(图中对比了"耗尽资源只能做短对话"vs"省资源支持长对话")

领域

具体内容

AI硬件

GPU/AI芯片、服务器、HBM、液冷

算力基建

智算中心、IDC、算力租赁

光通信

光模块、CPO、高速互联

能源电力

绿电、储能、数据中心供电

云与MaaS

云计算、模型即服务、算力调度

大模型 & AI应用

垂直行业大模型、AI Agent、多模态应用

AI服务

企业数字化、AI工具链、Token计费服务业


四、AI里Token的主要应用场景(第4部分)

  1. 文本输入处理 — 把文字切成Token,AI才能"读"进去、理解语义
  2. AI回答生成 — AI回复是一个一个Token往外生成,拼起来形成完整句子
  3. 控制对话长度 — 限制Token总数,控制AI能记住多少内容、能回答多长
  4. 模型计费与算力控制 — 付费大模型按Token用量收费,同时限制单次对话消耗
  5. 多语言统一处理 — 中文、英文、符号都转成Token,让模型用同一套逻辑处理

五、Token未来趋势(第5部分)

趋势方向

具体内容

① 更高效

优化分词与压缩技术,用更少Token处理更多内容,降低算力与成本

② 多模态统一

文字、图片、音频、视频都转成统一Token,实现AI对多模态信息的一体化处理

③ 上下文更长

模型支持的Token上限持续提升,AI能记住更长对话、处理整篇文档

④ 计费更合理

从单纯按Token数量收费,转向按有效信息、服务质量计费,减少浪费

⑤ 垂直领域定制

医疗、法律、代码等行业出现专用分词规则,专业场景理解更精准