前面几篇,我们已经反复拆了 Agent 的问题:
-
它并不真的自动
-
它不会理解流程,只会模仿流程
-
它在复杂任务中必然失控
-
自然语言并不适合作为控制接口
如果到这里为止,只停在“问题罗列”,那确实像是在在吐槽。
但问题已经足够清楚了,是时候说解决方案了。
一句话先给结论:
Agent 乱来,并不是模型不够强,
而是系统没有设计“不可乱来”的能力。
一、为什么“乱来”不是偶发问题,而是结构性必然?
我们先把话说清楚。
Agent 的“乱来”,并不是指胡说八道,而是指:
-
在信息不完整时自动补全
-
在流程未确认时继续执行
-
在约束不明确时自行选择路径
这些行为,在语言生成模型里是默认能力,而不是异常。
因为模型的核心目标只有一个:
在当前上下文中,生成最“合理”的下一段文本。
注意这里没有任何一条是:
-
判断是否“该继续”
-
判断是否“被允许”
-
判断是否“越界”
也就是说:
Agent 并不知道自己什么时候应该停下来。
二、为什么“提示词工程”永远解决不了这个问题?
很多人试图用更复杂的 Prompt 来约束 Agent,比如:
-
“如果不确定就询问”
-
“不要假设”
-
“严格遵循步骤”
这些在 demo 里有效,但在真实系统中必然失效。
原因很简单:
你在用自然语言,约束一个以自然语言为输出目标的系统。
这在工程上叫做:
自引用控制(Self-referential Control)
结果通常只有两种:
-
模型“看起来遵守”,但实际上绕过
-
模型“理解错约束”,导致行为更诡异
这不是技巧问题,而是控制层级错误。
三、Agent 真正缺失的,不是“规划能力”,而是“约束层”
到这里,我们可以非常明确地说:
Agent 并不缺“会想”,
它缺的是**“不准想”的机制**。
一个成熟系统,必须具备三种能力:
什么时候可以行动
什么时候必须停下
什么时候必须把决定权交还给人
而这三件事,有一个共同点:
它们不应该由模型自行判断。
四、唯一可行的方向:可控 AI 设计
所谓“可控 AI”,并不是一个营销词,而是一个非常朴素的工程立场:
把“能不能做”的判断,
从模型中拿出来。
在这种设计里:
-
模型只负责生成
-
系统负责状态
-
流程由外部 Runtime 管理
-
决策边界是显式的,而不是语言暗示
换句话说:
AI 不再被当成“代理人”,
而是被当成“受控执行单元”。
五、可控设计解决的不是“聪明”,而是“可靠”
很多人抗拒“可控”,是因为觉得:
-
不自由
-
不智能
-
像在给 AI 上枷锁
但工程世界里从来只有一个评价标准:
系统是否可靠。
一个会乱来的 Agent,哪怕再聪明,在以下场景中都是不可接受的:
-
金融
-
医疗
-
法律
-
自动化生产
-
企业级流程
而可控设计解决的核心问题只有一个:
让系统的失败方式是可预期的。
六、为什么这一步是 Agent 发展的分水岭?
如果继续沿着“更强模型 + 更复杂 Prompt”的路线走,Agent 的结果只有一个:
demo 越来越惊艳,落地越来越困难。
而真正能规模化的 Agent,一定具备这些特征:
-
行为路径可审计
-
状态变化可回溯
-
输出责任可归属
-
失败可以被设计
这些,都不是模型能力,而是系统设计能力。
七、写在最后:这是一次路线选择,而不是技术升级
所以这不是:
-
要不要 Agent
-
要不要自动化
而是一个更根本的问题:
我们是继续赌模型“别乱想”,
还是承认它一定会乱想,并提前控制它?
前者靠运气,后者靠设计。
Agent 的未来,不在于“想得更多”,
而在于:
什么时候不让它乱来。
🔚 系列总结一句话
当系统开始可控,
Agent 才第一次有资格被信任。

