欢迎光临
我们一直在努力

一篇看懂现代 AI 的五大概念:LLM、Token、Context、Prompt、Tool

名人说:博观而约取,厚积而薄发。——苏轼《稼说送张琥》 创作者:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊)

目录

    • 1. LLM:大语言模型的本质是“预测下一个 Token”
    • 2. Token:模型真正处理的不是字,而是 Token
    • 3. Context:模型的“临时记忆体”
    • 4. Prompt:给模型的任务说明书
    • 5. Tool:让模型拥有“手和脚”
    • 6. 链路关系图
    • 启发

很高兴你打开了这篇博客,更多AI知识,请关注我、订阅专栏《AI知识图谱》,内容持续更新中…

大家好,我是流苏

好久没更新了,最近学习了AI相关的知识,本文将用一条主线解释现代 AI 产品的底层演进,也是记录一下笔记:LLM → Token → Context → Prompt → Tool

也就是:大模型先能“生成文字”,再通过上下文理解任务,通过提示词被引导,最后通过工具连接外部世界。

1. LLM:大语言模型的本质是“预测下一个 Token”

LLM 不是神秘的大脑,而是一个超大规模语言建模系统。它的核心工作方式可以粗略理解为:根据已有输入,预测最可能出现的下一个 Token,然后不断重复,直到生成完整回答。

目前,主流大模型大多基于 Transformer 架构,而 Transformer 则源于 2017 年 Google 的论文 Attention Is All You Need。

在这里插入图片描述

关键理解:

LLM 的能力不是“查数据库式回答”,而是基于训练形成的统计与语义模式进行生成(划重点)。因此它擅长语言、代码、总结、推理式表达,但也可能编造,需要工具或检索来校验事实。

一图胜千言: 在这里插入图片描述

2. Token:模型真正处理的不是字,而是 Token

Token 是模型处理文本的基本单位。

模型不直接理解“文字”,而是通过 Tokenizer(分词器) 把文字切成 Token,再映射成数字。

Token 和“字”或“词”不是一一对应关系;一个词可能是一个 Token,也可能被拆成多个 Token。公开整理稿给出的经验换算是:1 Token 约等于 0.75 个英文单词,或 1.5~2 个汉字。

为什么重要:

Token 决定三件事:

  • 成本:API 通常按 Token 计费。
  • 上下文长度:输入、历史记录、工具结果都会占 Token。
  • 输出质量:上下文塞得越乱,模型越容易抓不住重点。
  • 一图胜千言: 在这里插入图片描述

    3. Context:模型的“临时记忆体”

    Context 是模型一次处理任务时能看到的全部信息,包括系统提示词、对话历史、用户当前输入、工具列表、工具返回结果,以及正在生成的内容。

    Context 可以简单理解成模型每次处理任务时接收到的信息总和,也就是“临时记忆体”。

    Context Window 则是这个临时记忆体的容量上限。超过窗口后,模型无法同时看到全部内容,需要压缩、截断或用 RAG 检索相关片段。

    RAG 的基本做法是把长文档切块、向量化存储,提问时只取相关片段放进 Context(这样就提高了效率)。

    实践启发:

    不要把所有资料一股脑塞给 AI。更好的做法是:先明确目标,再提供与目标相关的背景、约束和材料。

    一图胜千言:在这里插入图片描述

    4. Prompt:给模型的任务说明书

    Prompt 是给模型的问题或指令。主要则是两类 Prompt(系统和用户提示词):

    类型谁设置作用
    System Prompt(系统提示词) 开发者/系统 定义角色、规则、边界
    User Prompt(用户提示词) 用户 说明当前具体任务

    整理稿指出,好的 Prompt 通常包含:角色、具体任务、输出格式、示例和约束。([Lizi][2])

    好 Prompt 的基本结构:

    你是谁:你是一个……
    任务是什么:请帮我……
    输入材料:以下是……
    输出格式:请按……
    约束条件:不要……,必须……

    核心观点:

    Prompt 不是“咒语”,而是任务说明。写 Prompt 的本质,是减少模型的不确定性。

    一图胜千言:在这里插入图片描述

    5. Tool:让模型拥有“手和脚”

    LLM 本身只会生成文本,不会真的查天气、发邮件、跑代码或查数据库。

    Tool 本质上类似于函数,让模型能够感知和影响外部世界。值得强调的是:模型自己不执行工具,它只是告诉平台“我要调用什么工具”,真正执行的是平台或应用层。

    典型流程:

    用户提问 → 平台把问题和工具列表给模型 → 模型决定调用某个工具 → 平台执行工具 → 工具返回结果 → 模型基于结果组织回答。

    关键理解:

    Tool 把 AI 从“会说”推进到“能做”。

    一图胜千言: 在这里插入图片描述

    6. 链路关系图

    LLM
    ↓ 处理的基本单位
    Token
    ↓ 组成模型可见信息
    Context
    ↓ 用指令引导模型
    Prompt
    ↓ 连接外部能力
    Tool

    一图胜千言: 在这里插入图片描述

    启发

    现代 AI 产品不是只有“模型”一个东西。

    真正好用的 AI 系统,通常是多个层次叠加出来的:

    层级解决的问题
    LLM 生成与理解语言
    Context 让模型看到相关信息
    Prompt 指导模型如何完成任务
    Tool 让模型连接外部世界

    所以,看一个 AI 产品强不强,不只看它用了什么模型,还要看:上下文组织得好不好、工具接得全不全。

    本篇笔记就记到这里,感谢大家观看,下一篇讲一下MCP、Agent以及Agent Skill。

    创作者:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊)

    赞(0)
    未经允许不得转载:171主机测评 » 一篇看懂现代 AI 的五大概念:LLM、Token、Context、Prompt、Tool
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址