导语 2026年3月24日,Token的中文名被官方正式确定为“词元”。“词元”是大模型处理信息的最小信息单元,具有智能时代可计量、可定价、可交易的特征。
2026年3月24日,Token的中文名被官方正式确定为“词元”。
“Token”指自然语言处理中用于表示文本的最小处理单元或基本元素。其形式可以是单个字符,也可以是多个字符组成的序列。例如,英文场景下的Token可能是完整单词(如“Apple”)或单词的一部分(如“ing”);中文场景下的Token可能是一个字或词组;此外,标点符号、空格等非文字符号也可被抽象为Token。
“Token”是大模型处理信息的最小信息单元,具有智能时代可计量、可定价、可交易的特征。Token“词元”不仅是智能时代的价值锚点,更是连接技术供给与商业需求的“结算单位”,为商业模式的落地提供了可量化的可能。AI时代,Token经济,或者说“词元经济”正在崛起。