欢迎光临
我们一直在努力

Equality Saturation Guided by Large Language Models

一、文章主要内容总结

本文聚焦大语言模型(LLMs)在程序优化中无法保证正确性的核心问题,提出了一种名为LGuess的新方法——基于LLM引导的等式饱和(equality saturation),通过引入e-图作为LLMs与形式化重写系统之间的中间层,弥补LLMs生成可靠重写链能力不足的缺陷。

  • 核心背景:LLMs在编译优化、竞技编程等场景的程序优化中表现突出,但无法保证输出正确性;形式化重写系统虽能确保正确性,但现代重写系统复杂、重写链繁琐,LLMs难以直接生成完整且可靠的重写链。
  • LGuess工作原理:
    • 分阶段执行等式饱和:每个阶段为当前程序构建e-图,在资源限制内完成饱和后,通过LLM从e-图中提取高层面的“检查点”(checkpoint)作为下一阶段输入,循环直至收敛。
    • 关键技术:采用从LLM中学习的二元语法(bigram)概率模型,高效从庞大的饱和e-图中提取合适的检查点——通过迭代采样、LLM对比反馈、模型迭代优化,减少搜索空间,避免逐一查询e-图中所有程序的低效问题。
  • 实验验证:在多变量多项式因式分解任务上进行评估,该任务因需频繁应用结合律和交换律易导致搜索空间组合爆炸,传统方法挑战较大。结果显示,LGuess解决了320个任务中的255个,显著优于直接等式饱和(DirectES,204/320)和直接查询LLM生成重写链(DirectLLM,仅3/320)的基线方法。
  • 未来方向
  • 赞(0)
    未经允许不得转载:171主机测评 » Equality Saturation Guided by Large Language Models
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址