欢迎光临
我们一直在努力

建议方案:双活 + 超过 15s 屏蔽该区域 + 到期自动恢复

对应策略草案:apim-policies/apim-aics-pro/aoai-lb-api-policy-circuit-draft.xml 未 PUT 现网。

一句话

健康时 embedding / chat 各 50/50。某一侧 等响应头超过 15 秒(或连接失败 / 5xx):这一次立刻改打另一侧,并从池里摘掉该区域 60 秒。60 秒到点自动重新 50/50;若仍超过 15 秒,再摘 60 秒。不必人工回切。

15 秒量的是什么

APIM forward-request timeout=\”15\” 约束的是 等到响应头 / 首包,不是整段 SSE 生成完,也不是知识库 8 秒/回合 15 秒那种业务预算。

情况
会不会屏蔽该区域
15 秒内没有响应头 会。当前请求 Timeout,切另一侧,cache 60s
第 3 秒返回 200,后面流式再读 20 秒 不会。首包已到,区域算正常
赞(0)
未经允许不得转载:171主机测评 » 建议方案:双活 + 超过 15s 屏蔽该区域 + 到期自动恢复
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址