文章总结与翻译
一、主要内容
本文聚焦多模态大型语言模型（MLLMs）中视觉令牌压缩存在的空间布局和时间连续性破坏问题，提出一种名为位置保留嵌入（PPE）的轻量级编码算子，核心目标是在大幅减少视觉令牌数量的同时，完整保留时空位置信息。
背景与问题：现有MLLMs常依赖密集视觉令牌实现视觉-语言任务，但令牌冗余导致计算低效；主流令牌合并方法虽能缩短序列长度，却因忽视位置关系，破坏了空间布局和时间连续性，影响布局敏感型任务（如计数、时序定位）的性能。
核心方案：
- PPE通过在令牌维度对3D位置进行解纠缠编码，使每个压缩令牌能封装多个原始令牌的位置信息，而非单一位置标识；
- 支持级联聚类策略，可在Transformer多层中逐步进行令牌压缩，避免浅层语义过早失效，实现更高压缩比；
- 该算子无额外参数、支持即插即用，可无缝集成到现有令牌合并框架，无需调整架构。
实验验证：在MMBench、TextVQA、VideoMME等多个视觉-语言基准测试中，PPE在55%-94%的令牌压缩比下，相比现有方法（如Chat-UniVi、PACT）实现2%-5%的性能提升，即使压缩90%令牌仍能保持与密集令牌模型相当的性能。
二、创新点
首次提出多位置保留机制：突破传统位置编码仅为单个压缩令牌分配
