文章总结与翻译
一、主要内容
该研究聚焦于LLM路由(LLM Routing)问题,核心目标是为每个查询选择最合适的语言模型,在准确率、成本等多目标间实现平衡。现有方法存在两大局限:一是采用“先预测指标再选择模型”的解耦策略,易产生误差累积;二是依赖全反馈数据(每个查询需所有候选模型评估),成本高昂且难以维护。
研究提出基于观测数据(仅记录实际部署模型的结果)的因果端到端框架,通过最小化决策遗憾(regret)学习路由策略:
该研究聚焦于LLM路由(LLM Routing)问题,核心目标是为每个查询选择最合适的语言模型,在准确率、成本等多目标间实现平衡。现有方法存在两大局限:一是采用“先预测指标再选择模型”的解耦策略,易产生误差累积;二是依赖全反馈数据(每个查询需所有候选模型评估),成本高昂且难以维护。
研究提出基于观测数据(仅记录实际部署模型的结果)的因果端到端框架,通过最小化决策遗憾(regret)学习路由策略: