什么是 Token?
Token 是大模型处理的最小文本单位:
- 英文:约 4 字符 = 1 Token
- 中文:约 1.5-2 汉字 = 1 Token
- 代码:Token 消耗比自然语言多约 30%
如何统计 Token 数?
方法一:Tiktoken(OpenAI)
pip install tiktoken
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
tokens = enc.encode("你好,世界!")
print(len(tokens)) # 7方法二:TokenCost 计算器
在 TokenCost 首页直接输入 Prompt,自动统计各模型的 Token 消耗和费用预估。
成本计算公式
总成本 = (输入Token / 1,000,000) × 输入单价
+ (输出Token / 1,000,000) × 输出单价
# 示例: GPT-4o, 输入1000 Token, 输出500 Token
= (1000/1M)×¥18.13 + (500/1M)×¥72.50
= ¥0.054/次
= ¥16,200/月 (每天1万次)降低 Token 成本的 5 个技巧
- 精简 Prompt:删除不必要的描述
- 用系统 Prompt 缓存:可省 50-95%
- 选择合适的模型:简单任务用 Flash/mini
- 控制输出长度:用 max_tokens 限制
- 批量处理:Batch API 享 50% 折扣