0. 一句话结论
\”低垂果实\”已被摘完,剩下的增量集中在三个断层 + 两个外延:表示断层(理解与生成仍未统一)、时间断层(在线流式 vs 离线问答)、评测断层(benchmark 已饱和甚至被污染);外加空间/具身(与世界)和全模态实时交互(与人)。
下面我把这五件事按「做这件事对谁有意义、需要什么资源、最大的坑是什么」的顺序展开。回答分三层:
如果只想要一句话总结:别再做 token 压缩了,做表示、做时间、做评测、做空间。
1. 先说\”别碰\”与\”该碰\”——选题的三条硬标准
我同意问题下 @一只特立独行的猫 答主说的\”视觉 Token 压缩已经不需要再去碰\”。但光这一条不够。我给一个更通用的判断框架:
一个 MLLM 方向值不值得做的三条标准
依此标准,2026 年应当回避的方向:
| 视觉 token 压缩(patch select、Q-Former、相似度剪枝) | Qwen3-VL 已经原生支持任意分辨率(动态 ViT + 2×2 patch merge + M-RoPE);AnyRes tiling 也已成熟;这类工作\”省下的上下文\”会被更高分辨率的 base 直接覆盖 | Qwen3-VL 技术报告、M-RoPE |
| “XX 领域的 MLLM”(缺真实任务定义) | 没有清晰 error mode 的领域微调,纯属增量式 SFT | 业界反馈 |
| 换数据集/换 benchmark 的 alignment | 已被 Dynamic Task Perturbation 类方法证明任务微调会造成\”尖锐最小值\” | arXiv 2506.06358 |
| 纯 prompt 工程的 VQA 涨点 | 已被 GRPO 类方法系统性覆盖 | — |
而 2026 年值得押注的方向,按\”增量大小 × 投入门槛\”排序:
| 统一表示 / 视觉 tokenizer | ★★★★★ | 高(需要重建预训练) | 会被 base model 吃掉 |
| 多模态推理(System-2) | ★★★★★ | 中 | 取决于 reward 设计 |
| 流式视频 / 长期记忆 | ★★★★ | 中(需要重新设计预训练目标) | 数据稀疏 |
| 空间智能 | ★★★★★ | 中(数据是关键) | 评测先于方法 |
| 评测 / Critic / 数据引擎 | ★★★★ | 低 | 但影响力天花板高 |
| 全模态实时交互 | ★★★ | 中(工程门槛) | 商业属性强,学术不太发论文 |
| 具身 / 世界模型 | ★★★★★ | 极高(算力 + 真机数据) | VLA 数据稀缺 |
下面展开。
2. 方向一:统一表示 —— \”理解\”和\”生成\”为什么还不该分开
2.1 当前三条路线
2025 年下半年开始,\”统一多模态\”几乎成为所有厂商的共识路线,但实现路径分裂成三条:
路线 A:解耦编码器(Janus-Pro / MetaMorph) 核心观察:理解需要语义抽象(SigLIP 类的全局特征),生成需要像素保真(VQ tokenizer 类的局部 codebook)。让一个编码器同时干两件事会\”任务干扰\”。于是 用两个独立编码器,但共享一个自回归 Transformer。

(图源:Chen et al., Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling, arXiv:2501.17811, Figure 3)
效果上,Janus-Pro-7B 在 MMBench 上达到 79.2,超过 Janus(69.4)、MetaMorph(75.2)和 TokenFlow(68.9);GenEval 上达到 0.80,超过 DALL·E 3(0.67)和 SD3-Medium(0.74)。

路线 B:统一扩散(MMaDA / LLaDA-V) 核心观察:自回归是 NTP,离散扩散也是\”预测 mask 位置的 token\”,二者本质是同一个目标的两种特例。用一个统一概率公式把文本和图像都建模为\”被掩码的离散 token 序列\”,再用一个模型 + 一套优化(UniGRPO)端到端训练。

(图源:Yang et






