文章核心总结与翻译
一、主要内容
文章聚焦大语言模型(LLMs)的上下文学习能力,指出其虽具备任务无关性,但性能始终落后于任务特定微调方法。通过“表征-推理”分解实验,发现差距核心源于LLMs缺乏简单概率推理能力(而非表征信息不足)。为此,提出任务无关推理Transformer(TART),通过合成逻辑回归任务训练独立推理模块,无需微调即可与任意预训练LLM结合,在NLP、视觉、音频多模态任务中提升推理性能,且在RAFT基准测试中让小模型(GPT-NEO 125M)性能超越大模型(BLOOM 176B),接近GPT-3水平。
二、创新点
三、核心部分翻译(Markdown格式)
Abstract
大语言模型(LLMs)具备上下文学习能力,无需任何任务特定训练即可完成多

