在近期的社交网络与健身圈，“薄肌理论”挺火的。大家不再盲目追求传统健美那种维度夸张的“大块头”，而是崇尚体脂率控制在 10%~12%、线条干净利落、兼顾心肺活力与穿衣美感的“薄肌”状态。
随之而来的，是无数开发者和创业团队试图用大模型搓一个“AI 薄肌私教”——每天帮用户盯紧热量缺口、规划力量训练容量、调整碳水循环与代谢状态。
但当你真正把这样一个健康/塑形 Agent 推向应用时，很快就会撞上健康指导与医疗诊断之间的监管红线。
-
当用户为了刷低体脂率问出：“教练，我打司美格鲁肽（GLP-1）减脂，昨天忘打了一针，今天练腿前能直接补双倍剂量吗？”
-
或者在空腹有氧后反馈：“我喝了双倍氮泵现在心率 160 且胸口发闷，是不是心律失常？”
如果 AI 教练顺嘴给出了处方剂量建议或临床诊断，产品会触犯医疗器械监管法规；但如果把防线设得太死，用户一提到身体不适，AI 就冷冰冰地回复一句“我只是一个 AI，请立即就医”，原本循序渐进的私教陪伴感就会瞬间归零。
英国数字医疗巨头 Numan（专注于体重管理、激素水平与两性健康的长期数字医疗平台）在构建其核心 AI 健康教练 Nu 时，就正面撞上了这一行业级难题。在尝试了市面上常规的 Agent 开发套路并屡屡碰壁后，Numan 工程团队得出了一个反直觉的结论：决定一个生产级健康教练成败的，根本不是复杂的智能体自动化编排，而是评测标准本身的质量。
一个能生成训练表的 AI，要怎样才能成为一个靠谱的健康助手？
如果你需要在工作流中接入API，自由切换全球200+大模型，魔芋提供合规保障、财务开票、企业级网关、技术支持与定制服务，助力更高效地管理应用AI能力。https://www.konjac.ai/register?aff=qBX9
一、为什么一般的测试方法其实没什么效果
最初，团队采用了一种很常见的测试办法。
准备一批问题，为每道题写好预期答案，再请另一个模型当裁判，给 Nu 的回答打分。
检查知识问答时，这种办法很方便。但教练的工作没那么整齐，用户说一句话，未必就应该立刻收到一份完整答案。
Numan 曾经遇到一批低分。团队回头检查，发现评分标准要求 Nu 在短短两轮交流里，同时完成安慰用户、了解障碍和提出建议。
Nu 还在认真追问，裁判已经认为它做得不够好了。
放到健身场景里，这个问题很好理解。假设用户说“这周又没练”，教练总得先问清楚，是安排不开时间，还是动作不会做，或者训练时出现了不适。
原因不同，后面的处理也会不同。情况都没弄明白，直接再发一张训练表，最多只能证明 AI 打字很快。
团队还发现，平均分会掩盖问题。
大量普通问题回答得很好，少数涉及用药和安全的问题却答错了，总分依然可能很好看。可对碰上错误回答的用户来说，其他题拿了多少分，没有什么安慰作用。
那就多聊几轮再打分，总该行了吧？
他们又试了一种办法，把用户接下来要说的话提前写好，再一轮轮发给 Nu。结果，新的问题来了。
下面是一个说明原理的假设例子。
用户说，这周的运动计划没完成。
AI 问，主要是时间不够，还是安排不合适？
预先写好的用户台词接着说，好的，我就按你推荐的新计划练。
新计划还没出现，用户已经答应了。
只要 Nu 没按预想的方式回答，后面的台词就容易接不上。对话轮数增加了，测试却逐渐脱离了真实交流。
团队得重新考虑，究竟应该怎么考这位教练。
二、先把工作流程搭好，再让测试走同一条路
讲到这里，需要认识两个工具，LangGraph 和 LangSmith。
名字有点绕，用途并不难理解。
LangGraph 用来组织 AI 的工作流程。 用户的问题进来以后，由谁先处理、交给哪个助手、使用什么工具、回答发出前要经过哪些检查，都可以安排在里面。
LangSmith 用来记录和检查 AI 的表现。 它能记录一次回答经历了哪些步骤，帮助团队查找错误，也能保存测试题和结果，比较不同版本的表现。
在 Nu 里面，主管模型负责分派工作，各个专门助手处理自己负责的领域。每个助手都有各自的工作要求和工具，LangGraph 把它们组织到一起。
这里说的“专门助手”，仍然是承担不同任务的 AI，并不意味着它们取得了医生或教练的专业资质。
分工搭好了，测试还得跟上。
一种省事的做法，是把产品里的提示词复制出来，单独问模型几道题。这里的提示词，就是告诉 AI 应该怎样工作的文字要求。
但这种测试有个缺口。
用户实际使用产品时，问题要经过分派，可能调用工具，最后还要检查回复。单独测试模型，会把这些过程省掉。更麻烦的是，产品流程改了，复制出去的测试内容可能还停留在旧版本。
于是 Numan 坚持一件事，用户实际使用哪套流程，评测就经过哪套流程。
这样一来，测试发现的问题才更接近用户会遇到的问题。团队既能检查整个过程，也能单独检查某个助手或安全检查环节。
这套安排还让更换模型变得容易了一些。
主管模型要判断任务交给谁，专门助手要处理具体问题，两者承担的工作不同。Numan 因此使用了两家模型提供商，分别支持主管和专门助手。
想换模型时，就让不同配置做同一批测试题，再到 LangSmith 中比较结果。
据团队自述，一次通常需要数周人工测试的模型提供商迁移，他们用一天完成了。这是他们这次项目的经验，不能理解成所有产品换模型都能一天搞定，但它说明了提前准备好测试的实际价值。
三、用户问到用药，AI 不能只靠临场发挥
流程搭得再顺，健康教练还得面对一个难题。
用户不会替产品区分哪些问题属于生活习惯，哪些问题已经涉及医疗判断。前一句还在聊运动，后一句就可能问到药物。
Nu 的产品定位很明确，提供健康教育和生活方式辅导，不承担诊断、开药或临床决策。
这个范围也不能只写在介绍页上。团队需要检查，Nu 在真实对话里是否按这个范围做事。
他们希望 AI 遇到超出职责的问题时，能够说明限制，并在允许的范围内继续提供帮助。用户需要知道下一步可以做什么，不能每次都只收到一句机械的“无法回答”。
但光靠提醒模型“不要越界”，显然还不够。
Nu 在回复发给用户之前，会增加一道安全检查，对照固定的临床安全规则审查草稿。
发现不合适的内容，就退回主管模型，要求重新生成。反复检查仍然不通过，就替换成安全的备用回复。
这些步骤也放在 LangGraph 的流程里，所以评测时能够一起检查。团队还专门准备了一类测试，观察安全检查是否发现了它应该发现的问题。
健康教练每天也会抽查真实对话，寻找漏掉的错误。
这里没有“加一道检查就万无一失”的保证。检查本身也可能漏判或误判，需要持续验证。人工抽查的作用，就包括帮助团队发现系统没有看见的问题。
在发布新版本前，安全相关的测试也会重新运行。如果某类安全表现比原来差了，系统会自动阻止这次变更发布。
总不能为了让电子教练更会聊天，把原本守得住的事情改坏了。
四、固定考题继续用，再请一个 AI 来扮演用户
前面那些失灵的测试，后来被团队重新分了工。
一类事情，单次回答就能检查。
例如，主管有没有把问题分给合适的助手，回答是否越过职责范围，对话摘要有没有写错，安全检查是否发现了问题。
这类任务继续使用固定测试题，但按不同类别分别打分。某一类表现差，就单独显示出来，不让它混进平均分里。
评分要求也跟着调整，只检查这一轮能够体现的表现，不再要求教练两句话完成所有工作。
另一类事情，则必须把对话聊下去。
Nu 有没有弄清用户为什么做不到？有没有过早给建议？用户反复要求它回答超出职责的问题时，它还能不能坚持？
这类问题很难靠提前写好的用户台词测出来。于是，团队开始试验让另一个成本较低的模型扮演用户。
他们给这个模型人物背景、具体场景、希望 Nu 了解的问题，以及最多交流多少轮。接下来，让它根据 Nu 实际说了什么继续回应。
这样，Nu 提出追问，“用户”就能回答；Nu 误解了情况，“用户”也能继续补充。最后再让裁判模型按类别检查整段对话。
团队还可以设置更难应付的情况，例如把一个超出职责的问题包装成普通聊天，观察 Nu 是否被带偏。
据 Numan 的分享，这种模拟对话帮助他们发现问题、修改提示词，并减少了特定诱导测试中的严重越界行为。同时，原有的用药问题测试还要继续跑，确保新修改没有破坏之前的表现。
不过，这部分目前仍在原型阶段。
在临床人员审核签署相关评分标准之前，模拟评测不会用于决定是否放行发布，也不用于支持安全声明。
能把测试跑起来，距离有资格用测试证明安全，中间还有工作要做。
五、模型答来答去都不对，可能是考题自己打架了
为什么连评分标准也要专门审核？
Numan 遇到过一个很具体的例子。
针对漏服药的问题，团队起草的两套要求发生了冲突。一套要求 Nu 拒绝提供建议，引导用户咨询临床人员；另一套却要求它提供药品说明书中的一般信息，以便继续帮助用户。
于是，Nu 照着一套要求回答，另一套就可能扣分。
模型已经很努力了，奈何考官意见不统一。
这时候，继续修改提示词也解决不了根本的矛盾。团队得先明确，在这种情境下，产品到底允许说什么，又必须把什么交给专业人员。
Numan 由此更重视评分标准的质量。涉及临床和业务边界的要求，需要懂临床、也理解相应限制的人制定并审核，不能只由工程人员决定。
这也解释了他们为什么把“评测优先”放在这么重要的位置。
所谓评测优先，就是先认真定义什么表现算好、哪些错误不能接受，再据此检查和改进 AI。否则，模型可能越来越擅长拿高分，实际表现却没有朝团队期待的方向变化。
有了更可靠的标准，Numan 还想往前走一步。
目前，团队会在更新上线前进行测试，健康教练每天抽查真实对话。他们计划把评分方法也用于真实对话，让系统先标出值得关注的记录，再交给人工优先审查。
如果系统标错了，人也可以据此修改评分要求。
团队还做过一次自动修改提示词的离线实验。针对一项行为测试，在没有人工逐句调整的情况下，得分得到了改善。
这是一个值得继续研究的结果，但还不能据此宣布整个教练已经可以自动变好。单项测试的成绩提高，仍然需要检查有没有影响其他表现。
所以，这位电子教练接下来还有不少功课。
它得学会什么时候继续问，什么时候给建议，什么时候承认自己处理不了。团队也得继续检查，扣给它的每一分，到底有没有道理。
毕竟，教练还在了解情况，考官就催它交训练表，这种考试，练不出好教练。
