上一篇从独热向量到词向量：彻底搞懂 AI 如何理解语言我们理解了：词向量是给每个词拍一张“证件照”。但现实中的任务，往往是处理一整句话。一句话里有一叠“证件照”，怎么看出这句话到底代表什么？这就是本文要解决的问题。
这篇笔记不是冰冷的技术罗列，而是一次用审计思维对“语义融合”进行的阐述，本文将像分析公司一样分析句子，看看如何将词向量合并，得到代表整句话的句子向量。
你已经有了词向量。每个词都是一张“证件照”——300 维的数字，记录着这个词的“长相”。
但现实任务里，你面对的是一句话。一句话少则三五个词，多则几十个词。每个词都有一张“证件照”，你手里捏着一叠照片，怎么看出全貌呢？
这就是句子向量要解决的问题：把一叠词向量，融合成一个句子向量。
那怎么融合呢？不同的人有不同的思路。接下来我们基于公司的角度，按几种基本方法逐个分析。
最直接的想法：把所有词向量加起来，除以词数。
例句: "我 喜欢 吃 苹果"
v(我) = [0.1, 0.3, ...]
v(喜欢) = [0.5, 0.2, ...]
v(吃) = [0.4, 0.1, ...]
v(苹果) = [0.8, 0.6, ...]
句子向量 = (v(我) + v(喜欢) + v(吃) + v(苹果)) / 4
就像你想了解一家公司的薪资水平，把所有人的工资加一起取平均——简单粗暴。
示例代码如下：
import numpy as np
v_我 = np.array([0.1, 0.3, 0.2, 0.5])
v_喜欢 = np.array([0.5, 0.2, 0.8, 0.1])
v_吃 = np.array([0.4, 0.1, 0.3, 0.6])
v_苹果 = np.array([0.8, 0.6, 0.7, 0.2])
sentence_vec = (v_我 + v_喜欢 + v_吃 + v_苹果) / 4
print(sentence_vec) # [0.45, 0.3, 0.5, 0.35]
优点：快，仅一行代码即可计算结果。
问题：“前台“ 和 ”CEO“ 的权重一样。“我” 和 “喜欢” 对句子语义的贡献，跟 “的”、“了” 一样大。显然不合理。
CEO 说的话要比前台更有分量。
那怎么判断一个词重不重要？分两个维度：
TF-IDF 就是这两个指标的乘积。用它做权重，给每个词的向量加权：
例句: "自然语言处理 是 人工智能 的 一个 分支"
TF-IDF 权重:
"的" → 0.01 （到处都有，几乎无意义）
"是" → 0.02 （常见虚词）
"自然语言处理" → 0.85 （重要实词）
"人工智能" → 0.80 （重要实词）
→ 实词主导句子向量，虚词被压到几乎为零
优点：能区分主次。
问题：
TF-IDF 有进步，但还有问题。
假如你分析两家公司的财务报表，会发现，不管什么行业的公司，都有一些“共性”支出——房租、水电、办公耗材。这些共性信息对你区分两家公司几乎没有帮助。
真正有用的，是剔除共性之后剩下的个性：一家公司研发投入占比奇高，另一家销售费用占比奇高。
SIF 干的就是这件事。
第一步：计算每个词的权重（和 TF-IDF 类似，但更平滑）
\[w_i = \frac{a}{a + f(w_i)} \]
高频词（“的”、“是”）频率高 → 分母大 → 权重接近 0。低频词频率低 → 分母小 → 权重接近 1。
第二步：加权平均
\[\vec{v}_s = \frac{1}{|s|} \sum_{i \in s} w_i \cdot \vec{v}_{w_i} \]
这一步和 TF-IDF 加权很像，只是权重公式不一样。
第三步：移除第一主成分（关键！）
这是 SIF 的灵魂。把所有句子的向量放在一起，找到它们共同的方向（第一主成分），然后把这个方向从每个句子向量里减掉。
你可以这样理解：所有句子共享的那个“共同方向”，就是前面说的“房租”、“水电”等——它存在于每个句子里，但对区分句子的语义没有贡献。减掉它，剩下的才是每个句子真正独特的东西。
论文[1]里的实验数据也证明了这一点：简单平均效果一般，TF-IDF 加权提升有限，SIF 加权 + 移除第一主成分才能带来显著跃升！！！
优点：效果远好于简单平均和 TF-IDF，实现也不复杂。
问题：仍然没考虑词序。
前面的方法都有一个致命缺陷：不区分词序。
“狗咬人”和“人咬狗”，简单平均之后向量完全一样。但语义天差地别。
我们需要一种能按顺序读的方法。就像看一份公司会议纪要，你不会把所有人说的话打散再理解——你会从头到尾阅读，理解事情的来龙去脉。
RNN（循环神经网络）就是这样：
"狗 咬 人"
t=1: RNN 读取 v(狗) → 输出 h₁（当前的“记忆”）
t=2: RNN 读取 v(咬) + h₁ → 输出 h₂（融合了“狗咬”的信息）
t=3: RNN 读取 v(人) + h₂ → 输出 h₃（融合了“狗咬人”的全部信息）
h₃ 就是句子向量。
如果是“人咬狗”，读取顺序不同，最终 h₃ 也不同。
LSTM 是 RNN 的升级版，解决了长句子读到后面“忘记”开头的问题。
BiLSTM（双向 LSTM） 更进一步：一句话正着读一遍，反着读一遍，两边的结果拼在一起。这样每个词都能“看到”前后两个方向的信息。
优点：保留词序，捕捉上下文。
问题：训练慢，长距离依赖还是会衰减。而且——得从头训练一个模型，不像前面几种方法直接用现成的词向量就行。
前面四种方法，都有一个共同的思路：先有静态的词向量，再想办法把它们聚合起来。
但 Transformer 和 BERT 的思路完全不同。
BERT 不是“先有证件照再叠在一起”。而是：把一整句话一次性读进去，让每个词根据上下文动态调整自己的向量，然后直接输出整句话的理解结果。
就像你请麦肯锡来做尽职调查。他们当然也要看员工数据，但工作方式和前面完全不同：
BERT 就是那个“麦肯锡顾问”。它不是直接取平均，而是让每个词在整句话的上下文里重新理解自己。
例句: "我喜欢吃苹果"
[CLS] 我 喜 欢 吃 苹 果 [SEP]
↓ ↓ ↓ ↓ ↓ ↓ ↓
Transformer 编码器（12层自注意力）
↓
每个词得到一个“上下文感知”的向量
↓
取 [CLS] 的向量作为整句话的表示
关键区别：
| 特性 | Word2Vec 词向量 | BERT 词向量 |
|---|---|---|
| “苹果”的向量 | 固定不变 | 在“吃苹果”里偏向水果，在“苹果手机”里偏向电脑 |
| 多义词 | ❌ 一个向量覆盖所有含义 | ✅ 上下文自动消歧 |
| 句子表示 | 需要手动聚合 | 直接取 [CLS] 或池化 |
SBERT（Sentence-BERT） 是专门为句子相似度任务微调过的 BERT。普通的 BERT 直接取 [CLS] 做句子向量效果一般，SBERT 专门优化了这个环节，效果显著更好。
优点：效果最好，词序、上下文、重要度一次性全解决。
问题：需要 GPU，推理慢，模型大。
还有一种完全不同的思路。
前面的方法，都是把句子压缩成一个向量，然后比较向量。WMD 是：不压缩了，直接算两个句子之间的“距离”。
就像你不把两家公司各自总结成一份报告再比较，而是直接算：把甲公司变成乙公司，最少要花多少钱？
句子A：“小明 买 苹果”
句子B：“男孩 购 水果”
WMD 思路：
- “小明” → “男孩”（语义接近，移动成本低）
- “买” → “购” （语义接近，移动成本低）
- “苹果” → “水果”（语义接近，移动成本低）
总移动成本 = 最优词对齐下的最小总距离。
这个方法理论很漂亮，但计算成本较高：
WMD 需要在两个句子的所有词之间找最优的“搬运方案”。这个优化问题的标准解法时间复杂度是 O(n³ log n)，n 是词汇表大小——不是句子长度，是整个词汇表。也就是说，每比较两个句子，都要在几万甚至几十万个词的层面上做优化。
所以 WMD 更多是一个“理论上很优雅”的方法。实际项目里，除非你对速度完全没要求，否则通常会选择更快的替代方案（比如对 WMD 做近似加速，或者直接用 SBERT 算余弦相似度）。
| 审计工作 | 句子向量任务 | 词序感知 | 上下文感知 | 实现难度 | 效果 |
|---|---|---|---|---|---|
| 一家公司 | 一个完整的句子 | ||||
| 员工 | 词语 | ||||
| 员工简历/证件照 | 词向量 | ||||
| 分析公司的方法论 | 句子嵌入方法 | ||||
| - 全员薪资取平均 | 简单平均法 | ❌ | ❌ | ⭐ | ⭐⭐ |
| - 高管权重高，前台权重低 | TF-IDF 加权法 | ❌ | ❌ | ⭐⭐ | ⭐⭐⭐ |
| - 剔除行业共性，只看个性 | SIF 加权法 | ❌ | ❌ | ⭐⭐ | ⭐⭐⭐⭐ |
| - 从头到尾读会议纪要 | RNN / LSTM 方法 | ✅ | 部分 | ⭐⭐⭐ | ⭐⭐⭐ |
| - 请麦肯锡做尽调 | BERT / SBERT 方法 | ✅ | ✅ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| - 直接算两家公司的迁移成本 | WMD 方法 | ❌ | ❌ | ⭐⭐ | ⭐⭐⭐ |
| 一个行业/集团 | 一个段落 | ||||
| 各子公司尽调报告 | 各句子的向量 | ||||
| 合并报表，写行业研报 | 段落向量 |
场景是什么？
│
├── 有 GPU、追求最佳效果
│ └── ✅ SBERT / BGE（直接输出高质量句子向量）
│
├── 无 GPU、用 Word2Vec 词向量
│ └── ✅ SIF 加权平均（效果最好、实现不复杂）
│
├── 快速验证想法
│ └── ✅ 简单平均（一行代码）
│
└── 计算两个句子的相似度
└── ✅ SBERT 或直接上 WMD
好的，我来续写。从“句子语义”自然延伸到“段落语义”，保持你系列文章的风格和类比体系。
句子向量搞定了。但你一定想到了下一个问题：一段话怎么办？
现实中，我们处理的往往不是一句话，而是一段话、一篇文章。一段话里有多个句子，每个句子都有自己的向量——这不就是“词→句”问题的翻版吗？只是层级往上挪了一层。
| 层级 | 基本单元 | 要解决的问题 |
|---|---|---|
| 词 → 句 | 词向量 | 怎么把一叠“证件照”拼成“公司全貌” |
| 句 → 段 | 句子向量 | 怎么把多份“尽调报告”合并成“行业研报” |
好消息是，你不需要重新学一套方法。段落级的处理思路，和句子级几乎一一对应：
简单平均（又回到最初的起点......）
把段落里所有句子的向量取平均。一行代码，但主题句和过渡句被同等对待。
加权平均：首句和尾句更重要
在新闻和议论文里，首句往往是中心句，尾句是总结。加权方案可以很简单：首句权重 × 1.5，尾句 × 1.3，其他 × 1.0。也可以用 TextRank 这类算法自动算重要性。
按顺序读（LSTM）
把句子向量按顺序喂给 LSTM，最后一个隐状态就是段落向量。就像按时间顺序读多份会议纪要，理解事情的前因后果。
直接上 BERT（当前主流）
现代做法是直接把整段话塞进 BERT。BERT 最长支持 512 个 token（约 300-400 个中文词），覆盖绝大多数段落没问题。更长的文章，用 Longformer 等长文本模型，或者做滑动窗口 + 聚合。
你可能会问：既然方法一样，段落级有什么新东西？
句子内部的核心是：词序和重要度。到了段落层面，多了两个新核心内容：句序与逻辑关系。
“狗咬人”和“人咬狗”是词序问题。“因为下雨，所以没去”和“没去，因为下雨”——句序变了，强调的重点完全不同。但简单平均会把这两种情况压缩成同一个向量。
主题转换
一句话通常只有一个主题。一段话可能有起承转合：开头抛观点、中间举例、结尾总结。多个子主题之间怎么融合，目前没有统一的“最优方案”。
从“全员平均薪资”到“麦肯锡尽调”，再到“行业研报”——语言被一层一层压缩成向量，每一步都在追问同一个问题：
怎么把多个东西融合成一个，还不丢失最重要的信息？
词向量问的是“怎么融合字词”。句子向量问的是“怎么融合词语”。段落向量问的是“怎么融合句子”。
方法从简单平均开始，一路走到 BERT。工具变了，思路始终没变：把离散的语言，变成可计算的向量。把向量之间的距离，变成语义上的远近。
📢 声明：本文借助AI辅助工具进行资料整理与初稿生成，所有内容均经过作者本人的详细核对、修改与编排，文责自负。
Arora, S., Liang, Y., & Ma, T. (2017). A Simple but Tough-to-Beat Baseline for Sentence Embeddings. In Proceedings of ICLR 2017. OpenReview.net.
↩︎【SIF 加权平均原论文】提出平滑逆频率（SIF）句子嵌入方法，"SIF 加权 + 移除第一主成分"的出处，无 GPU 场景下性价比最高的句子向量方案。OpenReview | arXiv
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。