Defined Term
Token（词元）
LLM 处理文本的最小单位，约 0.75 个英文单词 / 1-2 个中文字
详细定义
Token 是 LLM 处理文本的最小单位。OpenAI 的 cl100k_base tokenizer 对英文平均 1 token ≈ 0.75 个单词，对中文平均 1 token ≈ 1-2 个汉字。FDE 现场的成本核算、上下文窗口管理、限流策略都基于 token 计数。
实例
- GPT-4o 输入价 $2.50 / 百万 token，输出 $10 / 百万 token。
- Claude Sonnet 上下文窗口 200K token ≈ 15 万英文单词。
来自行业的实例
GPT-4o 输入价 $2.50 / 百万 token，输出 $10 / 百万 token。
Claude Sonnet 上下文窗口 200K token ≈ 15 万英文单词。
关联术语
关于 Token（词元） 的常见问题
Token（词元） 的核心定义是什么？
LLM 处理文本的最小单位，约 0.75 个英文单词 / 1-2 个中文字
Token（词元） 在 FDE 工作流中扮演什么角色？
Token 是 LLM 处理文本的最小单位。OpenAI 的 cl100k_base tokenizer 对英文平均 1 token ≈ 0.75 个单词，对中文平均 1 token ≈ 1-2 个汉字。FDE 现场的成本核算、上下文窗口管理、限流策略都基于 token 计数。