欢迎光临
我们一直在努力

大模型越聪明,越需要一套“世界观”约束它|伯克利教授拆解Agent落地的关键

很多团队做AI智能体,都会遇到一个很现实的困境:Demo演示的时候效果惊艳,一旦放到真实业务里,就状况频出。大模型擅长生成逻辑通顺的文本,却常常输出和事实相悖的结论,也就是大家头疼的AI幻觉。

加州大学伯克利分校Frank Coyle教授,亲历过AI行业的潮起潮落,在他的分享《Agents and Ontology》中抛出一个很值得从业者思考的观点:单纯依靠大模型本身,很难打造稳定可用的Agent。想要把智能体从演示玩具变成能扛业务压力的工具,本体论,是绕不开的底层底座。

两条AI技术路线,跨越几十年再度交汇

人工智能发展历程里,一直并行着两套截然不同的技术思路,直到大模型时代,二者才真正走到一起。

一条就是现在大火的Agent智能体。
早在1956年达特茅斯会议,人工智能概念诞生之初,科研人员就已经畅想智能体的形态:感知外部信息,自主做出判断,输出对应的行动。

早期行业把希望寄托在符号AI的专家系统。上世纪80年代专家系统风靡一时,日本第五代计算机项目,甚至让美国整个科技行业倍感压力。但这套体系有天生短板:全部知识都要靠人工逐条录入,极度依赖领域专家,很难大规模扩展。系统只懂已经写进去的规则,没录入的内容就完全束手无策。后续发展遇阻,整个行业跌入AI寒冬。

随着算力飞速提升,大模型横空出世,Agent的概念重新回到大众视野。

另一条路线,就是听起来偏向哲学的本体论Ontology。

概念源头可以追溯到亚里士多德,原本用来探讨世间万物的分类,以及事物之间的关联。上世纪90年代,计算机领域将它工程化。研究者Tom Gruber给出经典定义:本体论,就是把某个领域内达成共识的概念,整理成机器能够读懂的规范化描述。

通俗来讲,就是把业务世界的对象、联系、属性梳理清楚,让计算机读懂现实业务的规则。如今我们熟知的知识图谱、图数据库,就是本体论的工程实践。

大模型,擅长发散生成,创造力充沛,但会产生幻觉;符号本体体系,逻辑严谨确定,不会凭空编造。二者融合,就是常说的神经符号AI。
大模型负责开放场景的创造,本体论作为外部护栏,约束概率模型在既定逻辑框架内运行。

抛开玄学,本体论究竟解决什么问题

不少人看到本体论这个名词就觉得晦涩,其实它的构成十分简单:实体、关系、属性。

  • 实体:客观存在的对象,客户、订单、商品都属于实体;
  • 关系:实体和实体之间的连接,用户产生订单、订单包含商品;
  • 属性:实体自带特征,订单金额、商品价格、用户收货地址。

对比传统关系数据库,就能感受到它的优势。传统表格改动成本很高,如果新增一类业务对象,往往要改动数据表结构,牵一发而动全身。本体图结构,可以灵活新增实体、补充关联,不用推翻原有架构,更贴合真实世界网状的知识形态。

搭建本体一般有两种实现思路,没有绝对好坏:
自顶向下:由行业专家梳理全部概念、约束与关系。优点严谨完备,缺点是周期长、成本高,很难跟上业务快速迭代。
自底向上:从业务日志、原始数据中挖掘实体与关联。更贴合真实业务,但容易缺少全局视角,体系零散。

Frank Coyle更推荐混合模式:专家搭建整体的框架骨架,再用真实业务数据填充细节内容。

而且本体论并不是一切从零开始,行业已经沉淀大量成熟的公开标准:网页结构化标记schema.org、描述社交关系的FOAF、文档元数据Dublin Core,还有维基百科背后的DBpedia知识图谱。日常上网,我们早已在享受本体论带来的能力。

本体的核心价值:自动推理,识别隐藏逻辑矛盾

如果本体仅仅用来存储知识图谱,那还远远没有发挥它的价值。它真正的杀手锏,是推理能力:基于已有信息推导出新结论,同时发现潜藏的逻辑冲突。

RDFS是本体基础推理工具,依靠定义域、值域完成基础推演。举个通俗例子:定义“授课”行为,发起方是教师,接收方是学生。系统读到“A教B”,不需要额外补充信息,就能自动推导A是教师、B是学生,教师和学生都归属于人类,一句话衍生多条有效信息。

OWL网络本体语言,可以实现更加复杂的逻辑约束,三类规则在业务场景实用性极强:

  • 传递性:比如祖先关系,A是B的祖先,B是C的祖先,系统自动得出A是C的祖先,不需要手动录入这条关系;
  • 函数性:限定唯一关系,一个人只有一位亲生父亲。如果同时记录两条不同父亲信息,推理引擎就会标记记录存在冲突;
  • 互斥性:定义互不相容的身份。同一笔订单中,一个人不能同时作为客户和客服。一旦大模型输出退款打给客服这类结果,互斥规则立刻识别错误。
  • 很多大模型输出的文本读起来通顺流畅,底层业务逻辑却完全错乱。这类问题依靠大模型自我校验很难解决;人工逐条审核,又无法适配Agent自动化循环。本体推理恰好补上了这一块短板。

    Agent光鲜之下,三类容易被忽略的风险

    市面上绝大多数Agent,都遵循一套循环链路:思考、调用工具、接收结果、再次思考执行,循环往复完成任务。

    理论上这套循环具备顺序、条件、循环,达到图灵完备,能够处理各类可计算任务。能力上限拉高的同时,隐患也随之而来,Frank Coyle总结出Agent循环三大风险:

    第一是死循环,条件判断出错,Agent反复执行相同操作,永远不会结束任务;
    第二是行为漂移,多轮迭代之后,任务慢慢偏离最初目标,越跑越偏;
    第三是成本失控,每一轮循环都会消耗Token,循环一旦失控,开销会急剧上涨。

    单纯依赖大模型自身,很难根除这些问题。让概率模型自我约束,就好比让醉酒的人自己走直线。Coyle给出的解法,引入一套外部确定约束,也就是本体论,充当Agent的安全护栏。

    双层校验架构:格式守门,逻辑管账

    Coyle提出一套可落地的双层校验方案,简单概括:Pydantic把门,本体论管账。

    第一层,Pydantic负责格式校验。
    Python属于弱类型语言,变量类型灵活多变。Agent调用工具,入参格式必须严格合规。大模型输出工具参数,首先经过类型校验,数字不能变成字符串,字段格式不对直接驳回重生成。这一层拦截所有格式类低级错误。

    格式正确不等于业务逻辑正确。就像“退款打给客服”,语法格式没有问题,但业务逻辑完全违规,这就交给第二层本体论处理。

    工具输出结果,送入本体推理引擎做逻辑核验,重点核查三件事:实体身份是否合理;实体之间关系是否冲突;属性取值是否在允许范围内。例如同一订单不能同时标记“已发货”和“全额退款”,订单状态只能限定在预设集合,不能出现模糊描述。检测到矛盾,就回传给大模型重新生成方案。

    同时他提出一条重要工程原则:Agent尽量做到无副作用。
    Agent可以自由构思方案、模拟调用工具,但是在校验全部通过之前,禁止直接修改数据库、发送消息、发起转账这类会产生真实后果的操作。
    先在虚拟空间跑通全部逻辑,经过本体论审核,再执行真实动作。

    这就是神经符号AI的现实意义:神经网络保留开放世界灵活处理问题的创造力,符号本体守住业务正确性与安全性。

    幻觉不是程序Bug,但生产环境必须加以约束

    演讲结尾,Frank Coyle引用一句话:“没有所谓错误,无所谓输赢,只有创造。”

    用来形容大模型十分贴切。幻觉不完全是代码缺陷,某种程度上正是它创造力的来源。人类也会依靠想象构思未曾发生的事物,再把构想落地。大模型同样拥有这份天马行空的想象能力。

    但想要把Agent从Demo,变成企业信赖的生产力工具,仅有创造远远不够。业务场景需要稳定、可控,规避逻辑错误。

    本体论不是扼杀AI的想象力。它不会干预Agent思考构想的过程,只是在方案落地执行的关口,设立一套现实锚点。
    构思时放开想象,执行时恪守现实规则。想象与约束并存,才是真正可用的智能体。

    赞(0)
    未经允许不得转载:171主机测评 » 大模型越聪明,越需要一套“世界观”约束它|伯克利教授拆解Agent落地的关键
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址