编辑
2026-11-02
tokenizer
00

目录

起源与演变
算法步骤(NLP 分词场景)
为什么重要
演示
一、训练阶段:从字符到子词
二、编码阶段:用学到的规则切新词
三、实际使用中的样子
四、这个例子说明了什么
应用到LLM上
训练阶段:构建词表与文本数字化
推理阶段:编码输入与解码输出
为什么 LLM 离不开 BPE
训练过程独立

Byte Pair Encoding(BPE,字节对编码)是一种数据压缩算法,后来被引入自然语言处理领域,成为构建子词词表的主流方法。它的核心思想很简单:反复找出文本中最频繁出现的相邻符号对,将它们合并成一个新的符号,直到达到预设的词表大小或无法再合并为止。

image.png

起源与演变

BPE 最早由 Philip Gage 在 1994 年提出,用于无损数据压缩。它的压缩逻辑是:把高频的字节对替换为不常用的新符号,从而缩短文本长度,并可通过查表还原原文。

后来,研究者将这一机制改造用于分词。改造后的 BPE 不再追求最大压缩率,而是在预设的词表大小处停止,得到的“新符号”就构成了子词单元(subword tokens)。这一做法有效解决了传统词级分词的两个痛点:未登录词(OOV) 问题,以及词表过大的问题。

算法步骤(NLP 分词场景)

以处理一个语料为例,典型流程如下:

  1. 初始化:将每个单词拆分为单个字符,并在词尾加上结束符(如 </w>),表示词边界。
  2. 统计:计算所有相邻字符对的出现频率。
  3. 合并:选出频率最高的那一对,合并为一个新符号,加入词表。
  4. 重复:用新符号替换原文中对应的字符对,重新统计频率,继续合并,直到达到设定的词表大小或最高频次降为 1。

举例来说,如果语料中 e 和 s 频繁相邻,BPE 会先合并出 es;之后 es 和 t 又频繁相邻,就再合并出 est,依此类推。最终高频词可能整体成为一个 token,而罕见词则被拆成更常见的子词片段。

为什么重要

BPE 已成为许多大语言模型(如 GPT 系列)的标配分词方案。它的优势在于:

  • 平衡词表大小与表达力:既不像字符级那样序列过长,也不像词级那样词表爆炸;
  • 处理罕见词与形态丰富语言:罕见词可被拆解为熟悉的子词单元,例如 unlikeliest 可能被切成 un-、likely、-est;
  • 简单高效:实现直接,编码速度较快。

从理论上看,寻找最优的合并序列本身是计算困难的(APX-complete),但 BPE 采用的贪心策略在实践中表现良好,并有常数近似保证。

演示

下面用一个具体的小语料,完整走一遍 BPE 的训练和编码过程,让你看清它到底怎么用。

一、训练阶段:从字符到子词

假设语料只有 4 个单词,出现次数如下:

单词频次
low5
lower2
newest6
widest3

第 0 步:初始化。每个词拆成单字符,词尾加 </w> 表示结束:

l o w </w> ×5 l o w e r </w> ×2 n e w e s t </w> ×6 w i d e s t </w> ×3

第 1 步:统计相邻对频率。把所有相邻字符对的出现次数加起来(乘上词频):

  • e s:出现在 newest(6) 和 widest(3) 中 → 9
  • s t:同样 → 9
  • e w:newest 中 → 6
  • w e:lower(2) + newest(6) → 8
  • l o:low(5) + lower(2) → 7
  • o w:low(5) + lower(2) → 7
  • 其余较低

最高频是 e s 和 s t(并列 9)。假设按规则选 e s,合并为新符号 es:

l o w </w> ×5 l o w e r </w> ×2 n e w es t </w> ×6 w i d es t </w> ×3

第 2 步:继续统计合并。此时 es t 频率为 9,成为最高频对,合并为 est:

l o w </w> ×5 l o w e r </w> ×2 n e w est </w> ×6 w i d est </w> ×3

第 3 步:接下来 l o(7)最高,合并为 lo;然后 lo w(7)合并为 low;再 w e(8)合并为 we……如此反复,直到达到预设词表大小(比如 15 个 token)或最高频次降到 1。

最终学到的合并规则(按顺序)大致是:

e s → es es t → est l o → lo lo w → low w e → we ...

这些规则加上初始字符,就构成了 BPE 词表。

二、编码阶段:用学到的规则切新词

训练完后,遇到一个新词(可能没在训练语料里出现过),按学到的合并顺序依次应用规则。

例 1:编码 lowest

初始拆分:l o w e s t </w>

  • 规则 e s → es:得到 l o w es t </w>
  • 规则 es t → est:得到 l o w est </w>
  • 规则 l o → lo:得到 lo w est </w>
  • 规则 lo w → low:得到 low est </w>
  • 没有 low est 的合并规则,停止。

结果:lowest → low + est 两个 token。虽然 lowest 没在训练语料中出现,但它被拆成了两个熟悉的子词,不会变成 OOV。

例 2:编码 newer

初始:n e w e r </w>

  • e s → es:不匹配(没有 s)
  • es t → est:不匹配
  • w e → we:得到 n we r </w>
  • 后续规则不再匹配。

结果:newer → n + we + r(实际实现中 </w> 的处理会略有不同,但思路一致)。

三、实际使用中的样子

在真实模型(如 GPT)里,BPE 由分词器库自动完成,你通常只需调用:

python
from tokenizers import Tokenizer tokenizer = Tokenizer.from_pretrained("gpt2") print(tokenizer.encode("lowest").tokens) # 可能输出类似 ['low', 'est']

或者用 Hugging Face transformers:

python
from transformers import GPT2Tokenizer tok = GPT2Tokenizer.from_pretrained("gpt2") print(tok.tokenize("unbelievably")) # 输出类似 ['un', 'bel', 'iev', 'ably']

可以看到,罕见或未登录的词被切成若干常见片段,每个片段对应词表里的一个 ID,模型再基于这些 ID 做嵌入和计算。

需要注意的是,代码里的 Tokenizer(来自 tokenizers 库)加载的只是分词器本身,不包含 GPT-2 的模型权重。它从 Hugging Face Hub 上拉取的是 GPT-2 的词表文件(vocab.json)和合并规则文件(merges.txt)。

四、这个例子说明了什么

  1. 训练是数据驱动的:合并哪些对完全由语料频率决定,高频组合(如 est、low)自然浮现。
  2. 编码是确定性的:按规则顺序贪心应用,同一个词每次切分结果一致。
  3. 泛化能力来自子词:lowest 没被训练过,但 low 和 est 都在词表里,于是被合理拆解——这正是 BPE 解决 OOV 的方式。
  4. 词表大小可控:合并次数就是超参数,决定最终词表规模,在“切得太碎”和“词表太大”之间取平衡。

应用到LLM上

BPE 在 LLM 上的应用,贯穿了从训练前的数据准备到推理时的文本生成全过程。它本质上是模型与文本之间的“翻译官”:把人类文字切分成模型词表里有的子词单元(Token),再把模型输出的 Token ID 序列还原成文字。

训练阶段:构建词表与文本数字化

在 LLM 开始学习之前,BPE 要先完成两件事。

首先,训练一个专属的 BPE 分词器。 这个过程在庞大的语料上进行:从单个字节(或字符)开始,反复统计并合并出现频率最高的相邻单元,直到词表达到预设大小(例如 GPT-2 约为 50,257 个 Token)。训练完成后,会留下一个词表(Token 到 ID 的映射)和一个合并规则列表。

然后,用这个分词器把所有训练文本转成数字。 对于语料中的每一句话,BPE 会按照学到的合并规则,将其切分成 Token 序列,再查表转换成对应的整数 ID。模型实际看到的、用来计算损失的,就是这些 ID 序列。例如,句子 “I heard a dog” 可能被表示为 [1, 2, 3, 4] 这样的数字列表。

推理阶段:编码输入与解码输出

当你向 LLM 提问时,BPE 同样在幕后工作。

编码输入:你输入的文本会先经过同一个 BPE 分词器,被切分成 Token 并转为 ID。这里有一个关键细节:编码时必须严格按照训练时合并规则产生的顺序来应用,否则同一个词可能被切分成不同的 Token,导致模型收到的输入分布与训练时不一致。

解码输出:模型根据输入的 ID 序列,逐个预测下一个最可能的 Token ID。这些输出的 ID 会再通过词表查回对应的文本片段,拼接起来还原成人类可读的回复。

为什么 LLM 离不开 BPE

BPE 之所以成为 GPT 系列等主流模型的标配,是因为它巧妙平衡了词级和字符级分词的缺点:

  • 解决未登录词(OOV):遇到词表里没有的生僻词或新词时,BPE 会把它拆成已知的子词片段(比如 unhappiness → un + happi + ness),而不是直接丢弃或标记为未知,保证了模型能处理任何输入。
  • 控制词表规模:如果以完整单词为单位,词表会爆炸式增长且依然无法覆盖所有词。BPE 通过子词共享,用有限大小的词表(几万到十几万)覆盖了几乎无限的表达。

所以,BPE 是 LLM 能够“读懂”和“写出”文本的基础设施。你在使用 LLM 时感受到的某些特性(比如对数字计算不敏感、对罕见拼写处理笨拙),也常常与它切分文本的具体方式有关。

训练过程独立

训练 tokenizer 和训练模型权重是相互独立的两个过程,但在使用上必须严格匹配。

训练过程完全独立

Tokenizer 的训练是一个确定性的统计过程,它只分析文本中字符或字节的共现频率,来决定如何合并子词,整个过程不涉及神经网络,也不计算梯度。而模型权重的训练则使用随机梯度下降,通过反向传播来最小化损失函数,是一个随机过程。简单说,tokenizer 的训练发生在模型训练之前,它是数据预处理的一部分,一旦确定下来就作为固定步骤,模型在训练过程中不会去改变它。

使用上必须严格匹配

虽然训练独立,但训练好的模型权重与它当时所用的那个 tokenizer 是绑定的。模型内部的嵌入层(Embedding)每一行都对应着特定 tokenizer 词表里的一个 ID。如果换一个 tokenizer,即使 ID 编号相同,它代表的文本片段也可能完全不同,模型学到的权重就会错位,输出会混乱。

有没有例外?

学术界在研究“零样本 tokenizer 迁移”,试图在不大规模重训的情况下更换 tokenizer。一些方法(如用超网络预测新 token 的嵌入,或用正交匹配追踪进行嵌入移植)可以在少量或无需额外训练的情况下,让模型适应一个新词表,并尽量保持性能。但这些目前仍属于研究探索,并非工程实践中的常规操作。对于标准的模型训练和使用流程,最稳妥的做法始终是:用哪个模型,就严格使用它配套的那个 tokenizer。

总结:BPE 是一种从压缩算法演变而来的子词分词方法,通过迭代合并高频相邻符号来构建词表,在词表规模与语言覆盖之间取得实用平衡,是现代大模型处理文本的基础组件之一。

本文作者:Valkyr

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!