AI 大模型的「中文税」：中文比英文更费 Token，为什么？

文章通过实证测试分析主流大模型（Claude、GPT-4o、Qwen、DeepSeek）在中英文及古文文本下的token消耗差异，揭示‘中文税’现象根源在于tokenizer词表设计：以英文为默认构建的模型对中文分词低效，而国产模型因原生适配中文反而更省成本；同时探讨古文token更少但推理负担加重的悖论，并延伸至汉字结构信息在字节级编码中意外保留的语义线索，反思技术适配中的历史路径依赖与隐性代价。