🌈
个人主页: Hygge_Code
🔥
热门专栏:从0开始学习Java | Linux学习 | 计算机网络
💫
个人格言: “既然选择了远方，便不顾风雨兼程”
文章目录
- 一文搞懂 Token
-
- 前言
- 一、Token 字面含义
- 二、第一种：AI 大模型里的 Token（重点） 🥝
-
- 1. 通俗定义
- 2. 拆分规则 🍋🟩
- 3. 大模型里Token三大核心作用
-
- （1）决定上下文记忆长度（上下文窗口）🐦🔥
- （2）AI计费唯一标准
- （3）控制生成长度
- 4. Token消耗计算工具
- 5. 如何减少Token消耗 🍂
- 三、第二种：后端开发里的授权 Token（登录令牌）⛔
-
- 1. 通俗定义
- 2. 完整登录流程
- 3. 核心特点
- 四、两个Token对比表
一文搞懂 Token
前言
不管是用Cursor、Claude Code 或 其他AI大模型，还是做后端登录认证、小程序授权，总能频繁看到Token这个词。很多人一脸懵：Token到底是啥？AI里的Token和登录用的Token是同一个东西吗？为什么大模型计费、字数限制都按Token算？
今天这篇文章，零基础也能看懂，彻底把两种主流Token讲明白，看完再也不混淆。
一、Token 字面含义
Token 英文直译：令牌、信物、凭证。 核心作用：一串加密/规则生成的字符串，用来做身份标识、内容拆分、权限校验。
日常开发&AI领域，主要分为两大类：
二、第一种：AI 大模型里的 Token（重点） 🥝
1. 通俗定义
大模型看不懂完整句子，它只会把人类的文字，拆分成最小语义单元，这个拆分后的最小单元，就叫 Token
可以简单理解： Token = 大模型的“识字最小颗粒”
2. 拆分规则 🍋🟩
- 英文：一个token大约相当于4个字符或约0.75个英文单词 hello world → 拆成 2个左右Token
- 中文：一个汉字通常会被编码为1-2个tokn
- 标点、数字、空格都会单独算Token
3. 大模型里Token三大核心作用
（1）决定上下文记忆长度（上下文窗口）🐦🔥
每个大模型都有最大Token限制：
- 比如32K上下文 = 最多一次性处理32000个Token
- 超过限制：自动遗忘最早的聊天记录 这就是为什么聊天久了AI会忘记前面对话的根本原因
（2）AI计费唯一标准
所有厂商（阿里通义、讯飞、OpenAI、豆包API）不收字数费，只收Token费
- 输入提问消耗：Prompt Token
- AI回复消耗：Completion Token 调用接口账单，全部按Token数量结算
（3）控制生成长度
我们设置最大生成长度，本质就是限制最大输出Token数量，防止AI无限刷屏
4. Token消耗计算工具
OpenAI 官方：tiktoken（计算文本Token数量） https://tiktoken.aigc2d.com/
5. 如何减少Token消耗 🍂
系统提示词、用户提示词 和 AI大模型输出的内容都是消耗Token的，因此我们的成本优化主要从这些方面展开
三、第二种：后端开发里的授权 Token（登录令牌）⛔
1. 通俗定义
用户登录成功后，服务器下发的一串唯一加密字符串，就是登录Token
类比现实场景：
- 账号密码 = 身份证（私密，只登录用）
- Token = 小区门禁卡（短期通行凭证）
2. 完整登录流程
3. 核心特点
- JWT Token：前后端分离最常用
- Session-Token：传统网页会话令牌
- 第三方授权Token：微信登录、支付宝授权、OSS上传令牌
四、两个Token对比表
| 核心作用 | 文本拆分、计数、上下文限制 | 用户身份鉴权、接口访问权限 |
| 组成内容 | 文字语义拆分单元 | 加密字符串、包含用户信息、过期时间 |
| 使用者 | 大模型AI | 后端服务器、前端项目 |
| 计量单位 | 数量多少 | 有效/失效、是否篡改 |
| 过期逻辑 | 超出窗口自动截断 | 到时间自动失效，需刷新 |
如果我的内容对你有帮助，请 点赞 ， 评论 ， 收藏 。创作不易，大家的支持就是我坚持下去的动力！ 
