Table of Contents

• • Tiktokenizer

Token 是模型的输入和输出单位。

Tiktokenizer

看看一段文本如何被切分成 token，可以用 tokenizer
https://tiktokenizer.vercel.app/
https://github.com/dqbd/tiktokenizer