简体中文
外观
面向 MoonBit 的 HuggingFace tokenizer 兼容实现。
用纯 MoonBit 运行时加载 tokenizer.json，并在 wasm、wasm-gc、js 与 native target 上完成 encode/decode。
同一套实现覆盖 wasm、wasm-gc、js 与 native，无需原生 addon。
直接加载 HuggingFace tokenizer.json，并保持 familiar pipeline 语义。
可选 fixture 测试持续对拍 Python tokenizers，覆盖经典与现代模型族。