Byte Pair Encoding(BPE,字节对编码)是一种数据压缩算法,后来被引入自然语言处理领域,成为构建子词词表的主流方法。它的核心思想很简单:反复找出文本中最频繁出现的相邻符号对,将它们合并成一个新的符号,直到达到预设的词表大小或无法再合并为止。

BPE 最早由 Philip Gage 在 1994 年提出,用于无损数据压缩。它的压缩逻辑是:把高频的字节对替换为不常用的新符号,从而缩短文本长度,并可通过查表还原原文。
后来,研究者将这一机制改造用于分词。改造后的 BPE 不再追求最大压缩率,而是在预设的词表大小处停止,得到的“新符号”就构成了子词单元(subword tokens)。这一做法有效解决了传统词级分词的两个痛点:未登录词(OOV) 问题,以及词表过大的问题。
以处理一个语料为例,典型流程如下:
</w>),表示词边界。举例来说,如果语料中 e 和 s 频繁相邻,BPE 会先合并出 es;之后 es 和 t 又频繁相邻,就再合并出 est,依此类推。最终高频词可能整体成为一个 token,而罕见词则被拆成更常见的子词片段。
BPE 已成为许多大语言模型(如 GPT 系列)的标配分词方案。它的优势在于:
unlikeliest 可能被切成 un-、likely、-est;从理论上看,寻找最优的合并序列本身是计算困难的(APX-complete),但 BPE 采用的贪心策略在实践中表现良好,并有常数近似保证。
下面用一个具体的小语料,完整走一遍 BPE 的训练和编码过程,让你看清它到底怎么用。
假设语料只有 4 个单词,出现次数如下:
| 单词 | 频次 |
|---|---|
| low | 5 |
| lower | 2 |
| newest | 6 |
| widest | 3 |
第 0 步:初始化。每个词拆成单字符,词尾加 </w> 表示结束:
l o w </w> ×5 l o w e r </w> ×2 n e w e s t </w> ×6 w i d e s t </w> ×3
第 1 步:统计相邻对频率。把所有相邻字符对的出现次数加起来(乘上词频):
e s:出现在 newest(6) 和 widest(3) 中 → 9s t:同样 → 9e w:newest 中 → 6w e:lower(2) + newest(6) → 8l o:low(5) + lower(2) → 7o w:low(5) + lower(2) → 7最高频是 e s 和 s t(并列 9)。假设按规则选 e s,合并为新符号 es:
l o w </w> ×5 l o w e r </w> ×2 n e w es t </w> ×6 w i d es t </w> ×3
第 2 步:继续统计合并。此时 es t 频率为 9,成为最高频对,合并为 est:
l o w </w> ×5 l o w e r </w> ×2 n e w est </w> ×6 w i d est </w> ×3
第 3 步:接下来 l o(7)最高,合并为 lo;然后 lo w(7)合并为 low;再 w e(8)合并为 we……如此反复,直到达到预设词表大小(比如 15 个 token)或最高频次降到 1。
最终学到的合并规则(按顺序)大致是:
e s → es es t → est l o → lo lo w → low w e → we ...
这些规则加上初始字符,就构成了 BPE 词表。
训练完后,遇到一个新词(可能没在训练语料里出现过),按学到的合并顺序依次应用规则。
例 1:编码 lowest
初始拆分:l o w e s t </w>
e s → es:得到 l o w es t </w>es t → est:得到 l o w est </w>l o → lo:得到 lo w est </w>lo w → low:得到 low est </w>low est 的合并规则,停止。结果:lowest → low + est 两个 token。虽然 lowest 没在训练语料中出现,但它被拆成了两个熟悉的子词,不会变成 OOV。
例 2:编码 newer
初始:n e w e r </w>
e s → es:不匹配(没有 s)es t → est:不匹配w e → we:得到 n we r </w>结果:newer → n + we + r(实际实现中 </w> 的处理会略有不同,但思路一致)。
在真实模型(如 GPT)里,BPE 由分词器库自动完成,你通常只需调用:
pythonfrom tokenizers import Tokenizer
tokenizer = Tokenizer.from_pretrained("gpt2")
print(tokenizer.encode("lowest").tokens)
# 可能输出类似 ['low', 'est']
或者用 Hugging Face transformers:
pythonfrom transformers import GPT2Tokenizer
tok = GPT2Tokenizer.from_pretrained("gpt2")
print(tok.tokenize("unbelievably"))
# 输出类似 ['un', 'bel', 'iev', 'ably']
可以看到,罕见或未登录的词被切成若干常见片段,每个片段对应词表里的一个 ID,模型再基于这些 ID 做嵌入和计算。
需要注意的是,代码里的 Tokenizer(来自 tokenizers 库)加载的只是分词器本身,不包含 GPT-2 的模型权重。它从 Hugging Face Hub 上拉取的是 GPT-2 的词表文件(vocab.json)和合并规则文件(merges.txt)。
est、low)自然浮现。lowest 没被训练过,但 low 和 est 都在词表里,于是被合理拆解——这正是 BPE 解决 OOV 的方式。BPE 在 LLM 上的应用,贯穿了从训练前的数据准备到推理时的文本生成全过程。它本质上是模型与文本之间的“翻译官”:把人类文字切分成模型词表里有的子词单元(Token),再把模型输出的 Token ID 序列还原成文字。
在 LLM 开始学习之前,BPE 要先完成两件事。
首先,训练一个专属的 BPE 分词器。 这个过程在庞大的语料上进行:从单个字节(或字符)开始,反复统计并合并出现频率最高的相邻单元,直到词表达到预设大小(例如 GPT-2 约为 50,257 个 Token)。训练完成后,会留下一个词表(Token 到 ID 的映射)和一个合并规则列表。
然后,用这个分词器把所有训练文本转成数字。 对于语料中的每一句话,BPE 会按照学到的合并规则,将其切分成 Token 序列,再查表转换成对应的整数 ID。模型实际看到的、用来计算损失的,就是这些 ID 序列。例如,句子 “I heard a dog” 可能被表示为 [1, 2, 3, 4] 这样的数字列表。
当你向 LLM 提问时,BPE 同样在幕后工作。
编码输入:你输入的文本会先经过同一个 BPE 分词器,被切分成 Token 并转为 ID。这里有一个关键细节:编码时必须严格按照训练时合并规则产生的顺序来应用,否则同一个词可能被切分成不同的 Token,导致模型收到的输入分布与训练时不一致。
解码输出:模型根据输入的 ID 序列,逐个预测下一个最可能的 Token ID。这些输出的 ID 会再通过词表查回对应的文本片段,拼接起来还原成人类可读的回复。
BPE 之所以成为 GPT 系列等主流模型的标配,是因为它巧妙平衡了词级和字符级分词的缺点:
unhappiness → un + happi + ness),而不是直接丢弃或标记为未知,保证了模型能处理任何输入。所以,BPE 是 LLM 能够“读懂”和“写出”文本的基础设施。你在使用 LLM 时感受到的某些特性(比如对数字计算不敏感、对罕见拼写处理笨拙),也常常与它切分文本的具体方式有关。
训练 tokenizer 和训练模型权重是相互独立的两个过程,但在使用上必须严格匹配。
训练过程完全独立
Tokenizer 的训练是一个确定性的统计过程,它只分析文本中字符或字节的共现频率,来决定如何合并子词,整个过程不涉及神经网络,也不计算梯度。而模型权重的训练则使用随机梯度下降,通过反向传播来最小化损失函数,是一个随机过程。简单说,tokenizer 的训练发生在模型训练之前,它是数据预处理的一部分,一旦确定下来就作为固定步骤,模型在训练过程中不会去改变它。
使用上必须严格匹配
虽然训练独立,但训练好的模型权重与它当时所用的那个 tokenizer 是绑定的。模型内部的嵌入层(Embedding)每一行都对应着特定 tokenizer 词表里的一个 ID。如果换一个 tokenizer,即使 ID 编号相同,它代表的文本片段也可能完全不同,模型学到的权重就会错位,输出会混乱。
有没有例外?
学术界在研究“零样本 tokenizer 迁移”,试图在不大规模重训的情况下更换 tokenizer。一些方法(如用超网络预测新 token 的嵌入,或用正交匹配追踪进行嵌入移植)可以在少量或无需额外训练的情况下,让模型适应一个新词表,并尽量保持性能。但这些目前仍属于研究探索,并非工程实践中的常规操作。对于标准的模型训练和使用流程,最稳妥的做法始终是:用哪个模型,就严格使用它配套的那个 tokenizer。
总结:BPE 是一种从压缩算法演变而来的子词分词方法,通过迭代合并高频相邻符号来构建词表,在词表规模与语言覆盖之间取得实用平衡,是现代大模型处理文本的基础组件之一。
本文作者:Valkyr
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!