2025_NIPS_Transformers learn to implement preconditioned gradient descent for in-context learning-171主机测评

文章核心总结与翻译

文章聚焦Transformer在上下文学习（ICL）中对梯度下降类算法的学习机制，通过线性回归随机实例训练线性Transformer，从理论和实验层面展开分析：

单注意力层Transformer的训练目标全局最小值，对应预条件梯度下降的单次迭代，预条件矩阵会适配输入分布和数据不足导致的方差。

多层Transformer在特定稀疏性条件下，其训练目标的临界点可实现多步预条件梯度下降，且步长具有自适应性。

放宽稀疏性约束后，Transformer能学习到超越传统优化方法的新型梯度算法，结合数据协方差预条件和线性变换优化条件数。

实验验证了理论结论，多层Transformer训练后参数会收敛到对应临界结构，损失值接近0，且性能优于普通梯度下降和预条件梯度下降。

首次从理论上证明Transformer通过随机问题实例训练，可自主学习实现梯度下降类算法，突破了以往仅关注Transformer表达能力的研究局限。

揭示了单层/多层线性Transformer训练损失景观的关键结构，明确了全局最小值和临界点对应的算法形式。

发现预条件矩阵的双重适配特性（输入分布+数据方差），以及多层Transformer可学习新型混合梯度算法，为理解ICL底层机制提供了新视角。

通过线性Transformer+线性回归的简化模型，有效模拟了实际Transformer的优化行为，为相关理论研究提供了高效代理框架。