欢迎光临
我们一直在努力

多模态大模型还有什么可以发展的方向?

0. 一句话结论

\”低垂果实\”已被摘完,剩下的增量集中在三个断层 + 两个外延:表示断层(理解与生成仍未统一)、时间断层(在线流式 vs 离线问答)、评测断层(benchmark 已饱和甚至被污染);外加空间/具身(与世界)和全模态实时交互(与人)。

下面我把这五件事按「做这件事对谁有意义、需要什么资源、最大的坑是什么」的顺序展开。回答分三层:

  • 判断框架:什么样的方向才算\”好方向\”(避免你花半年做出来发现是接盘侠)。
  • 七个具体方向:每个方向给「为什么是 2026、做什么、关键证据、坑在哪」。
  • 一张决策表:根据你的资源/偏好,你适合从哪里切入。
  • 如果只想要一句话总结:别再做 token 压缩了,做表示、做时间、做评测、做空间。


    1. 先说\”别碰\”与\”该碰\”——选题的三条硬标准

    我同意问题下 @一只特立独行的猫 答主说的\”视觉 Token 压缩已经不需要再去碰\”。但光这一条不够。我给一个更通用的判断框架:

    一个 MLLM 方向值不值得做的三条标准

  • 是否有\”下一版 base model 吃不掉\”的不可替代信号源:新的模态(音频相位、3D)、新的反馈(reward / world model)、新的数据治理方式(抗污染)。
  • 是否有清晰的 failure mode 可解释、可验证:如果模型出错你都没法判断为什么错了,那这个方向即使能涨点也没法继续做。
  • 增量是否会被下一个版本的 base model “免费吃掉”:这事一旦发生,你的核心贡献就只剩\”考古价值\”。
  • 依此标准,2026 年应当回避的方向:

    方向
    为什么现在不该做
    关键证据
    视觉 token 压缩(patch select、Q-Former、相似度剪枝) Qwen3-VL 已经原生支持任意分辨率(动态 ViT + 2×2 patch merge + M-RoPE);AnyRes tiling 也已成熟;这类工作\”省下的上下文\”会被更高分辨率的 base 直接覆盖 Qwen3-VL 技术报告、M-RoPE
    “XX 领域的 MLLM”(缺真实任务定义) 没有清晰 error mode 的领域微调,纯属增量式 SFT 业界反馈
    换数据集/换 benchmark 的 alignment 已被 Dynamic Task Perturbation 类方法证明任务微调会造成\”尖锐最小值\” arXiv 2506.06358
    纯 prompt 工程的 VQA 涨点 已被 GRPO 类方法系统性覆盖 —

    而 2026 年值得押注的方向,按\”增量大小 × 投入门槛\”排序:

    方向
    增量
    门槛
    风险
    统一表示 / 视觉 tokenizer ★★★★★ 高(需要重建预训练) 会被 base model 吃掉
    多模态推理(System-2) ★★★★★ 中 取决于 reward 设计
    流式视频 / 长期记忆 ★★★★ 中(需要重新设计预训练目标) 数据稀疏
    空间智能 ★★★★★ 中(数据是关键) 评测先于方法
    评测 / Critic / 数据引擎 ★★★★ 低 但影响力天花板高
    全模态实时交互 ★★★ 中(工程门槛) 商业属性强,学术不太发论文
    具身 / 世界模型 ★★★★★ 极高(算力 + 真机数据) VLA 数据稀缺

    下面展开。


    2. 方向一:统一表示 —— \”理解\”和\”生成\”为什么还不该分开

    2.1 当前三条路线

    2025 年下半年开始,\”统一多模态\”几乎成为所有厂商的共识路线,但实现路径分裂成三条:

    路线 A:解耦编码器(Janus-Pro / MetaMorph) 核心观察:理解需要语义抽象(SigLIP 类的全局特征),生成需要像素保真(VQ tokenizer 类的局部 codebook)。让一个编码器同时干两件事会\”任务干扰\”。于是 用两个独立编码器,但共享一个自回归 Transformer。

    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

    (图源:Chen et al., Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling, arXiv:2501.17811, Figure 3)

    效果上,Janus-Pro-7B 在 MMBench 上达到 79.2,超过 Janus(69.4)、MetaMorph(75.2)和 TokenFlow(68.9);GenEval 上达到 0.80,超过 DALL·E 3(0.67)和 SD3-Medium(0.74)。

    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

    路线 B:统一扩散(MMaDA / LLaDA-V) 核心观察:自回归是 NTP,离散扩散也是\”预测 mask 位置的 token\”,二者本质是同一个目标的两种特例。用一个统一概率公式把文本和图像都建模为\”被掩码的离散 token 序列\”,再用一个模型 + 一套优化(UniGRPO)端到端训练。

    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

    (图源:Yang et

    赞(0)
    未经允许不得转载:171主机测评 » 多模态大模型还有什么可以发展的方向?
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址