Meta：无Logit黑盒在线策略蒸馏

📖标题：OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
🌐来源：arXiv, 2606.01476v1

🛎️文章简介
🔸研究问题：如何在无法获取教师模型Token级Logits的情况下，实现高效且鲁棒的在策略知识蒸馏？
🔸主要贡献：论文提出OmniOPD框架，通过块级语义验证替代Logit匹配，使黑盒模型也能作为教师进行高密度在策略蒸馏。

📝重点思路
🔸采用推测验证机制，将监督信号从Token级Logit匹配转变为多Token块级语义相似度评估，利用蒙特卡洛采样近似教师偏好，彻底摆脱对教师Logits的依赖。
🔸设计峰值熵调度器，通过监测学生模型生成过程中的预测熵，仅在高不确定性的推理分叉点选择文本块进行教师审计，最大化有限查询预算下的监督效率。
🔸引入狄利克雷-多项式贝叶斯平滑，以学生基础模型概率为先验稳定离散采样估计，防止因语义匹配为零导致的梯度消失或监督崩溃。
🔸在未审计Token上施加基础模型KL锚点作为信任域约束，限制策略漂移，防止学生模型在缺乏监督的区间发生退化或熵崩塌。

🔎分析总结
🔸在数学推理任务中，OmniOPD相比SFT提升高达45.31%，甚至超越拥有完整Logit访问权限的白盒OPD方法28.64%，证明块级语义信号比Token级Logit更纯净可靠。
🔸结合Claude和Gemini等强黑盒教师时，学生模型性能进一步提升9.54%，并超越了自探索强化学习GRPO的性能上限，验证了黑盒蒸馏的有效性。
🔸消融实验表明，移除KL锚点会导致性能灾难性崩溃至8.28%，证实信任域约束对于维持长轨迹生成的连贯性和稳定性至关重要。
🔸敏感性分析显示，块大小C=100时效果最佳，过小的窗口（如25）因语义噪声过大导致失效；贝叶斯先验权重α=1.0时在偏差与方差间取得最优平衡。

💡个人观点
论文用“词面相似度”替代了“分布一致性”，传统OPD受限于Logit的语义脆弱性和可访问性，OmniOPD将监督抽象为块级语义验证。