欢迎光临
我们一直在努力

Skill 系列(06):Skill 工程化与治理——路由准确率 38%、压缩节省 76%

从个人用到团队共享

Skill 数量少时不需要治理。3 个 Skill 靠记忆就够了。当企业里有 30-50 个 Skill 时,三个问题会同时出现:

  • 发现问题:给定用户输入,调哪个 Skill?
  • 成本问题:哪些 Skill 最贵,钱花在哪里?
  • 质量漂移:某个 Skill 改了 Prompt,怎么保证没有退化?
  • 本文用真实测量回答这三个问题。


    Demo 设计

    6 个 Skill 的注册表:

    Skill ID
    用途
    领域
    rnd-technical-writer 技术博客写作 content
    competitor-analyzer 竞品分析 strategy
    bug-root-cause Bug 诊断与根因分析 engineering
    meeting-summarizer 会议纪要 + 行动项 productivity
    sql-query-builder 自然语言转 SQL engineering
    marketing-copywriter 营销文案 marketing

    三个实验:

  • Embedding 路由:用描述向量做 cosine 相似度,测 8 条查询的路由准确率
  • Prompt 压缩:冗长版(418 tokens)vs 精简版(99 tokens),LLM-as-Judge 打分
  • 成本报告:4 个 Skill 真实调用,计算 cost/call 和月度投影

  • 运行结果

    Part 1:Embedding 路由

    Query Routed to Score OK?
    ───────────────────────────────────────── ───────────────────── ───── ───
    Write a deep-dive article about Kubern.. rnd-technical-writer 0.448 ✓
    我们的主要竞争对手 Notion 最近有什么动态 competitor-analyzer 0.311 ✓
    Traceback: AttributeError: \’NoneType\’.. sql-query-builder 0.473 ✗
    帮我整理一下今天产品评审会的要点和后续任务 meeting-summarizer 0.463 ✓
    Get all orders placed in the last 7 d.. meeting-summarizer 0.586 ✗
    Write a product description for our .. rnd-technical-writer 0.610 ✗
    分析一下 Python 3.12 的性能改进 sql-query-builder 0.401 ✗
    List all users who haven\’t logged in .. bug-root-cause 0.493 ✗

    Routing accuracy: 3/8 = 38%

    Part 2:Prompt 压缩

    赞(0)
    未经允许不得转载:171主机测评 » Skill 系列(06):Skill 工程化与治理——路由准确率 38%、压缩节省 76%
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址