从零实现一个字节级 BPE Tokenizer:训练合并规则、编码文本为 token id、解码还原。完成后你会得到一个 512 词表的 Tokenizer,能对任意 Unicode 文本无损编解码——包括中文、emoji、代码,永远不会出现 unk。
Byte Pair Encoding(BPE,字节对编码)是一种数据压缩算法,后来被引入自然语言处理领域,成为构建子词词表的主流方法。它的核心思想很简单:反复找出文本中最频繁出现的相邻符号对,将它们合并成一个新的符号,直到达到预设的词表大小或无法再合并为止。