导语 2026年3月24日,Token的中文名被官方正式确定为“词元”。“词元”是大模型处理信息的最小信息单元,具有智能时代可计量、可定价、可交易的特征。
2026年3月24日,Token的中文名被官方正式确定为“词元”。
“Token”是大模型处理信息的最小信息单元,具有智能时代可计量、可定价、可交易的特征。其形式可以是单个字符,也可以是多个字符组成的序列。例如,英文场景下的Token可能是完整单词(如“Apple”)或单词的一部分(如“ing”);中文场景下的Token可能是一个字或词组;此外,标点符号、空格等非文字符号也可被抽象为Token。
围绕Token的调用、分发与结算,一套新的价值体系正在加速演进形成,并成为人工智能产业可能变现的重要路径。AI时代,Token经济,或者说“词元经济”正在崛起。
Token和当下热门的 OPC、AI 政策有啥关系?
当下热门的OPC、AI 创业、算力补贴,里面提到的训力券、模型券、语料券,全都是按词元消耗量来补贴和结算的。词元可以说是AI 世界的货币与计量单位。