欢迎光临
我们一直在努力

从提示词工程到上下文工程,再到 Harness Engineering:大模型应用到底在进化什么?

目录

  • 提示词工程:先解决“怎么把话说清楚”
  • 上下文工程:解决“模型不知道现场”的问题
  • Harness Engineering:解决“有能力、有信息,但还是做不稳”的问题
  • 为什么今天大家越来越重视 Harness Engineering,而不是只重视提问?
  • 那 Harness Engineering 还遗留了什么问题?
  • 三阶段对比表:一句话看懂它们的区别
  • 我现在的理解:这不是替代关系,而是重心上移
  • 总结
  • 如果你也在学这个方向,最值得先想清楚的点

  • 从提示词工程到上下文工程,再到 Harness Engineering

    这段时间看大模型相关内容,我越来越强烈地感觉到:行业讨论的重心,确实在发生变化。

    最早大家聊得最多的是提示词工程(Prompt Engineering),后来逐渐转向上下文工程(Context
    Engineering)。而现在,如果把
    Agent、工作流、工具调用、记忆、验证机制这些东西放在一起看,我觉得已经在进入一个更高层次的阶段,也就是 Harness
    Engineering。

    我对这个词的理解是:

    我们关注的重点,正在从“怎么问模型”,变成“怎么给模型环境”,再变成“怎么让整个系统稳定完成任务”。

    如果说前两个阶段还是围绕“模型怎么回答”展开,那么Harness Engineering
    关注的,已经是整个系统怎么跑起来、怎么跑稳定、怎么跑得可控。


    一、提示词工程:先解决“怎么把话说清楚”

    在大模型刚火起来的时候,大家最直接的感受就是:

    • 同一个模型,问法不同,结果差很多
    • 任务一复杂,模型就容易跑偏
    • 输出格式不稳定,语气和风格也不稳定

    于是,提示词工程就成了最早的重点。

    它本质上在研究的是:

    如何通过更好的表达方式,让模型更稳定地理解你的意图。

    常见做法包括:

    • 明确角色:你是一个资深工程师/老师/翻译专家
    • 明确目标:请输出方案,而不是泛泛解释
    • 明确约束:控制格式、长度、语气、步骤
    • 给示例:Few-shot,让模型照着例子做
    • 分步引导:先分析,再输出

    在这里插入图片描述

    它解决了什么问题?

    提示词工程解决的是大模型应用最早期的核心矛盾:

    模型能力已经有了,但人还不会“正确调用”它。

    如果把模型理解成一个能力很强、但不完全懂你意图的助手,那么提示词工程就是在训练人怎么下指令。

    举个很简单的类比:

    • 没有提示词工程:你对员工说“你把这个弄一下”
    • 有提示词工程:你会说“请按这3 步做,最后给我一个 Markdown 表格,控制在 200 字内”

    差别其实非常大。

    但它留下了什么问题?

    提示词工程虽然有效,但很快就出现了边界。

    1)提示词再好,也弥补不了信息缺失

    比如你让模型总结一个公司的内部项目,但模型根本不知道你的业务背景,那你 prompt 写得再漂亮也没用。

    2)Prompt 很容易越来越长、越来越脆

    很多人后来写 prompt,已经像写“咒语”了。
    一旦模型版本变了、任务场景变了,这套 prompt 很可能就失效了。

    3)它更像“单轮优化”,不适合复杂任务

    提示词工程很适合这些任务:

    • 改写
    • 分类
    • 提取
    • 总结
    • 格式化输出

    但如果任务变成:

    • 先查资料
    • 再比对
    • 再调用工具
    • 再输出结论

    单靠 prompt 就明显不够了。


    二、上下文工程:解决“模型不知道现场”的问题

    当大家意识到“光会写prompt 不够”之后,重点自然就转向了另一个问题:

    模型回答不好,不一定是不会推理,而是因为它没有拿到足够正确的上下文。

    于是,**上下文工程(Context Engineering)**开始成为核心。

    如果说提示词工程优化的是“你怎么说”,
    那上下文工程优化的就是“你到底给了模型什么信息”。

    它关注的内容通常包括:

    • RAG(检索增强生成)
    • 多文档拼接
    • 历史对话管理
    • 用户画像与长期记忆
    • 工具返回结果注入
    • 上下文压缩与重排
    • 系统提示、业务规则、实时数据的组合

    它解决了什么问题?

    上下文工程解决的是这个矛盾:

    模型通用能力很强,但它缺少你这个场景里的“局部真实世界”。

    比如你要做一个智能客服:

    • 只做提示词工程:最多让它说话更像客服
    • 做了上下文工程:你能把商品知识库、订单状态、退款规则、用户历史对话一起交给它

    这时候模型才真正“知道自己在处理什么”。

    所以,上下文工程让大模型应用从“会聊天”往“能干活”走了一大步。

    为什么它比 prompt 更重要?

    因为在真实业务里,很多时候不是模型笨,而是上下文喂错了。

    一个很实用的判断标准是:

    • 如果模型“理解错你的要求”,多半是prompt 问题
    • 如果模型“说得很像那么回事,但事实不对”,多半是context 问题

    所以后来越来越多人开始意识到:

    在很多真实场景里,决定系统上限的,往往不是 prompt,而是上下文。

    但上下文工程又留下了什么问题?

    1)上下文不是越多越好

    很多系统喜欢把所有资料一股脑塞进去,但结果往往是噪声太多,模型反而抓不住重点。

    2)“给到信息”不等于“把事做成”

    模型拿到了文档、规则、订单信息,不代表它一定能按正确顺序完成任务。

    3)系统复杂度迅速上升

    一旦你开始做这些东西:

    • 检索
    • 重排
    • 历史压缩
    • 记忆管理
    • 工具结果注入

    问题就不再只是“怎么提问”,而是“怎么编排整个系统”。

    4)复杂任务本质上不是信息问题,而是控制问题

    比如这些任务:

    • 帮我完成一次投研分析
    • 帮我修一个 bug
    • 帮我自动化处理工单

    它们并不是把资料喂进去就结束了,而是还需要:

    • 规划步骤
    • 选择工具
    • 中途纠错
    • 结果验证
    • 失败重试

    这时候,问题已经超出了上下文工程。


    三、Harness Engineering:解决“有能力、有信息,但还是做不稳”的问题

    我理解的 Harness Engineering,并不是单纯造一个新词,而是为了描述一个越来越明显的趋势:

    大模型应用正在从“内容生成系统”,走向“任务执行系统”。

    当系统进入这个阶段,工程重点就不再只是 prompt 和 context,而是:

    • 任务如何拆解
    • 工具如何选择
    • 何时检索,何时执行
    • 失败后怎么回退
    • 输出后怎么验证
    • 哪些步骤可以自动做,哪些必须人工确认
    • 如何控制成本、权限和风险

    换句话说,这一层关心的是:

    如何把整个大模型系统驾驭起来,而不是只关心模型会不会回答。

    Harness Engineering 到底在管什么?

    我理解它至少包括 5 类事情。

    1)任务编排

    不是让模型一口气直接生成答案,而是先规划、再执行、再校验。

    2)工具调用

    让模型知道什么时候该查知识库,什么时候该调 API,什么时候该运行代码。

    3)状态管理

    任务做到一半时,系统要知道它当前在哪一步、已经拿到了什么结果、下一步要做什么。

    4)结果验证

    不是模型输出了就算完成,而是要检查:

    • 格式对不对
    • 事实对不对
    • 命令能不能跑
    • 代码测没测过
    • 结果是否满足验收条件
    5)人机边界

    有些动作可以自动化,有些动作必须人工拍板。
    比如发邮件、删数据、发布内容、修改线上配置,这些都需要边界控制。

    它解决了什么问题?

    Harness Engineering 解决的是上下文工程之后的新矛盾:

    即使模型拿到了正确上下文,它依然可能不会稳定地把任务完成。

    还是拿做饭打比方:

    • 提示词工程:你告诉厨师“我要做什么菜”
    • 上下文工程:你把食材、调料、菜谱都备好
    • Harness Engineering:你开始管理整个后厨流程——谁先切菜、谁来炒、怎么验菜、出错了怎么返工

    前两者解决的是“模型能不能回答得像样”,
    后者解决的是“系统能不能持续稳定地交付结果”。


    四、为什么今天大家越来越重视 Harness Engineering,而不是只重视提问?

    我觉得原因很现实。

    1)模型本身越来越强了

    早期 prompt 的边际收益很大,因为模型本身还不够稳。
    但模型越来越强以后,单纯优化措辞带来的收益,已经没有以前那么夸张了。

    2)真正难的不是 Demo,而是落地

    一个 Demo 能跑起来,不代表线上系统能稳定跑。

    线上要面对的是:

    • 脏数据
    • 长尾输入
    • 工具失败
    • 上下文冲突
    • 用户乱操作
    • 成本约束
    • 安全约束

    这些问题都不是靠“神级prompt”能解决的。

    3)Agent 把问题进一步放大了

    一旦引入 Agent,模型就不只是“回答问题”,而是要持续做决策。

    这时候系统最怕的,不是“不会说”,而是:

    • 做错步骤
    • 误调用工具
    • 反复绕圈
    • 该停不停
    • 没有验证就继续往下执行

    所以,Agent 时代真正考验的,越来越像是 Harness Engineering 能力。


    五、那 Harness Engineering 还遗留了什么问题?

    说实话,这一层现在也远没有成熟。

    1)可靠性还不够工程化

    很多 Agent 框架看起来很强,但实际表现并不稳定。
    今天能跑通,明天未必还能稳定复现。

    2)验证成本高

    让模型做事不难,难的是:

    如何低成本验证它真的做对了。

    尤其是开放任务,自动验收本身就是难题。

    3)可观测性不足

    很多时候你只看到“结果不对”,但你并不知道它到底是:

    • 检索错了
    • 规划错了
    • 工具调错了
    • 上下文污染了
    • 还是中间某一步推理偏了

    4)成本控制变得更难

    Prompt、RAG、Memory、Tool Use、Reflection、Retry 一层层叠加之后,系统就很容易越来越贵。

    5)权限与安全边界更敏感

    模型一旦具备执行能力,问题就不再只是“说错一句话”,而可能是“做错一个动作”。

    比如:

    • 错删文件
    • 错发消息
    • 错改配置
    • 错调生产接口

    所以 Harness Engineering 一定会越来越依赖:

    • 权限隔离
    • 审批节点
    • 沙箱执行
    • 高风险动作确认

    六、三阶段对比表:一句话看懂它们的区别

    简版对比表

    阶段它在解决什么问题?它的关键动作是什么?它留下了什么问题?
    提示词工程 模型听不懂、输出不稳定 把指令写清楚 没有业务信息时,再好的 prompt 也没用
    上下文工程 模型不知道真实场景 把知识、数据、历史记录正确喂给模型 给了信息,不代表模型能稳定完成任务
    Harness Engineering 模型做事不稳、流程不可控 设计流程、调工具、做验证、控权限

    进阶对比表

    维度提示词工程(Prompt Engineering)上下文工程(Context Engineering)Harness Engineering
    核心关注点 怎么把话说清楚 怎么把对的信息给进去 怎么把整个系统稳定驱动起来
    主要解决的问题 模型听不懂、输出不稳定 模型缺少业务背景和实时信息 模型有能力也有信息,但任务仍做不稳
    本质 优化指令表达 优化信息供给 优化任务执行与系统控制
    面向对象 单次请求、单轮生成 多源信息、上下文组织 多步任务、Agent、工作流、工具链
    典型方法 角色设定、步骤约束、Few-shot、格式限定 RAG、记忆、上下文压缩、重排、工具结果注入
    适合场景 改写、总结、分类、抽取 智能客服、知识问答、企业助手 自动化执行、代码 Agent、复杂分析、多步骤任务
    典型失败方式 理解偏差、格式跑偏、答非所问 检索不准、上下文污染、信息过载
    一句话概括 让模型“听懂你” 让模型“知道现场” 让模型“把事做成”

    七、我现在的理解:这不是替代关系,而是重心上移

    我现在的理解是:

    • 提示词工程没有消失,它仍然重要
    • 上下文工程也不是终点,它只是把问题推进了一层
    • Harness Engineering 更像是在复杂任务场景下,对整个大模型系统进行控制、约束和调度

    它们不是谁替代谁,而是像一层一层往上叠:

  • 提示词工程:把话说清楚
  • 上下文工程:把信息给正确
  • Harness Engineering:把流程管起来
  • 如果一定要用一句话总结,我会这样说:

    大模型工程化的重心,正在从“生成文本”转向“完成任务”。

    我觉得这可能才是最关键的变化。


    八、总结

    最后用 4 句话收一下:

    • 提示词工程解决的是表达问题
    • 上下文工程解决的是信息问题
    • Harness Engineering 解决的是控制问题
    • 真正可落地的大模型系统,往往三者都需要

    如果现在还停留在“怎么写一个更强的prompt”,那其实只看到了第一层。
    而未来更值得投入的,往往是这些能力:

    • 如何组织上下文
    • 如何编排任务流程
    • 如何验证结果
    • 如何给模型能力,也给模型边界

    我觉得,这才是从“会用模型”走向“能做系统”的分界线。


    九、如果你也在学这个方向,最值得先想清楚的点

  • 你现在遇到的问题,到底是 prompt 问题、context 问题,还是 control 问题?
  • 你做的是单轮生成,还是多步任务执行?
  • 你有没有一套机制,验证模型是真的做对了,而不是“看起来像做对了”?
  • 很多时候,把问题归类清楚,本身就已经解决了一半。

    赞(0)
    未经允许不得转载:171主机测评 » 从提示词工程到上下文工程,再到 Harness Engineering:大模型应用到底在进化什么?
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址