人工智能
自然语言处理(Natural Language Processing, NLP)中， 「token」指的是处理文本的最小单元或基本元素。 它可以是一个单词、一个词组、一个标点符号、一个子词或者一个字符
目前很多大模型无论展示能力，还是收费定价，都是以 token 为单位。如deepseek api网站对token的描述及转换标准：
token 是模型用来表示自然语言文本的基本单位，也是我们的计费单元，可以直观的理解为“字”或“词”；通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token。
一般情况下模型中 token 和字数的换算比例大致如下：
- 1 个英文字符 ≈ 0.3 个 token
- 1 个中文字符 ≈ 0.6 个 token
模型只能处理 token 序列，通过 token 来理解上下文、生成输出
访问控制—令牌
通常出现在 OAuth 等授权体系，包含访问范围（scopes）和有效期，用于服务端验证用户是否有权限执行某操作
「token」的引入：Token是在客户端频繁向服务端请求数据，服务端频繁的去数据库查询用户名和密码并进行对比，判断用户名和密码正确与否，并作出相应提示，在这样的背景下，Token便应运而生。
「token」的定义：是服务端生成的一串字符串，以作客户端进行请求的一个令牌，当第一次登录后，服务器生成一个Token便将此Token返回给客户端，以后客户端只需带上这个Token前来请求数据即可，无需再次带上用户名和密码
使用「token」的目的：降低查询数据库的频率以减轻服务器压力
补充：JWT （JSON Web Token）
一种结构化、可签名的用户身份令牌，相比于普通「token」，可读性强、无状态（服务器无需存储），可嵌用户信息：
Header：加密算法
Payload：负载（如userId、权限）
Signature：签名（防篡改）
使用流程：
用户登录成功 → 服务端生成 JWT（包含用户身份及权限，设置有效期）；
客户端保存 JWT（通常放在 Authorization header 中，格式为 Bearer <token>）；
客户端请求接口时附带该 token；
服务端验证签名、检查有效期与其他 claims；
验证成功则执行请求，失败则拒绝访问
优点：
无状态（Stateless）：不需服务端存 session，适用于微服务与跨域场景。
安全可靠：签名校验保证数据可信，通过 HTTPS 或加密使用可进一步保证安全。
应用广泛：常用于认证（ID Token）、授权（Access Token）、信息传递，广泛支持 OAuth 2.0、OpenID Connect、SSO 等
编译原理—标记
在编译原理里，「token」 是词法分析器从源代码中提取出的最小语法单元，如关键词、标识符、运算符、常量、标点符号等
列如 C 代码sum = 3 + 2，会被分成记号序列 sum, = , 3 , + , 2
区块链—数字代币
在以太坊等区块链平台上，由智能合约生成的数字代币（如 ERC-20、NFT），代表资产、投票权、访问权益等形式的数字「token」
参考
https://api-docs.deepseek.com/zh-cn/quick_start/token_usage
https://blog.51cto.com/wyong/1553352
https://zh.wikipedia.org/wiki/NFT
https://blog.postman.com/what-is-jwt/
