人工智能（AI）和Web3都是最近关注度很高的领域，其中出现了很多大家平时不会接触到的名词，“Token”便是其中之一。尽管叫法相同，但在不同领域其定义和应用都存在区别。

本文简单概括一下“Token”和“Tokenization”在AI、Web3和密码学领域的不同含义。

AI领域中的Token

在AI领域，Token通常指的是文本处理过程中的最小单位。Tokenization是将连续的文本序列拆分为单个标记（tokens）的过程。这些标记可以是单词、短语、句子或其他更小的文本单元。因此NLP技术中 Tokenization 也是“word segmentation” — — 分词。

Tokenization主要关注文本处理中的最小单位和将文本转换为结构化数据，用于提高算法对文本的理解和分析能力。Tokenization在自然语言处理（NLP）任务中广泛应用，如文本分类、机器翻译和命名实体识别。

按照下面的流程图来理解【分词】的任务内容，就是将文本句子切成一个个子单元，然后将子单元数值化（映射为向量），接着将这些向量输入到模型进行编码，最后输出到下游的任务中进一步得到最终的结果。

图源：https://zhuanlan.zhihu.com/p/547152931

其中Tokenization按照切分的粒度，有三种不同的分类方法：

1. 按词粒度来分
2. 按字符粒度来分
3. 按子词粒度（subword）来分

具体可以参考这篇文章：https://zhuanlan.zhihu.com/p/547152931

Web3/Crypto领域中的Token

在Web3/Crypto领域，Token具有更广泛的含义。它指的是基于区块链技术发行的数字资产，可以代表实物或虚拟资产，并具有一定的价值。这些Token可以用于交换价值、代表权益或在去中心化应用程序中进行治理。

Token和Tokenization之间的联系主要体现在数字资产的创建和管理方面。Tokenization是将实物或虚拟资产转化为数字Token的过程。这些Token可以在区块链上进行交易和转移，为数字经济提供了更高的可互操作性和流动性（可交易）。

（在加密领域，token和coin也是两个经常被拿出来对比的概念，區別主要是，coin的有自己的链，主要功能是進行支付和交易，而Token沒有自己的区块链，除了交易之外，還具有許多其他功能，如投票、收息、質押。）

密码学领域中的Token

在密码学领域，Token和Tokenization与数字身份和安全密钥管理有关。Token通常指的是硬件或软件设备，用于生成和存储安全令牌或密码。这些令牌可以用于身份验证、授权和加密通信。Tokenization是将敏感数据（如信用卡号）替换为不可逆转的标记的过程，以提高数据的安全性。

为什么提到密码学？

在密码学（cryptography）和加密货币（crypto）领域中都存在Token的概念，容易混淆，但它们含义绝不相同。

联系

在某种程度上，密码学和加密货币领域中的Token都与安全性和身份验证有关。在密码学中，Token用于生成和验证安全令牌，以保护敏感数据和执行安全操作。在加密货币领域，Token的交易和转移也依赖于区块链的安全性和身份验证机制。

在加密货币领域中，Token的安全性和交易可追溯性依赖于密码学原理和算法。

总结

Token指的是一种特定的标记或符号，用于表示某种信息或资产，而Tokenization是将某种信息转化为一种特定的形式的概念。尽管在不同领域中都有Token的说法，但它们在具体定义和应用上有明显的区别。