欢迎光临
我们一直在努力

2025_NIPS_TART: A plug-and-play Transformer module for task-agnostic reasoning

文章核心总结与翻译

一、主要内容

文章聚焦大语言模型(LLMs)的上下文学习能力,指出其虽具备任务无关性,但性能始终落后于任务特定微调方法。通过“表征-推理”分解实验,发现差距核心源于LLMs缺乏简单概率推理能力(而非表征信息不足)。为此,提出任务无关推理Transformer(TART),通过合成逻辑回归任务训练独立推理模块,无需微调即可与任意预训练LLM结合,在NLP、视觉、音频多模态任务中提升推理性能,且在RAFT基准测试中让小模型(GPT-NEO 125M)性能超越大模型(BLOOM 176B),接近GPT-3水平。

二、创新点

  • 首次通过“表征-推理”分解量化差距,证实LLMs表征信息充足,推理能力不足是性能短板(推理差距占总差距的79%)。
  • 提出任务、模型、领域均无关的TART框架,仅用合成数据训练推理模块,无需修改基础LLM参数,避免影响其原有能力。
  • 突破上下文长度限制,TART推理模块每个样本仅需2个token编码,支持更多训练样本,数据扩展性显著优于传统上下文学习。
  • 跨模态泛化能力,同一推理模块可适配NLP、视觉(MNIST、CIFAR-10)、音频(Speech Commands)任务,验证推理能力的通用性。

  • 三、核心部分翻译(Markdown格式)

    Abstract

    大语言模型(LLMs)具备上下文学习能力,无需任何任务特定训练即可完成多

    赞(0)
    未经允许不得转载:171主机测评 » 2025_NIPS_TART: A plug-and-play Transformer module for task-agnostic reasoning
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址