欢迎光临
我们一直在努力

字节跳动:多模态深度研究代理

在这里插入图片描述

📖标题:MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline 🌐来源:arXiv, 2603.01050v1

🌟摘要

我们的目标是开发一种能够进行显式推理和规划、多工具调用和跨模态信息合成的多模态研究代理,使其能够进行深入的研究任务。然而,我们观察到开发此类代理的三个主要挑战:(1)搜索密集型多模态QA数据稀缺,(2)缺乏有效的搜索轨迹,以及(3)使用在线搜索API进行培训的成本过高。为了解决这些问题,我们首先提出了超搜索,这是一种基于超图的QA生成方法,可以建模和连接模态内和跨模态的视觉和文本节点,从而生成需要调用各种搜索工具来解决的搜索密集型多模态QA对。 其次,我们引入DR-TTS,它首先根据搜索工具类型将涉及搜索的任务分解为几个类别,并分别针对每个工具优化专门的搜索工具专家。然后,它重新组合工具专家,通过树搜索共同探索搜索轨迹,产生使用各种搜索工具成功解决复杂任务的轨迹。第三,我们构建了一个支持多种搜索工具的离线搜索引擎,无需使用昂贵的在线搜索API即可实现代理强化学习。通过这三种设计,我们开发了强大的多模态深度研究代理MM-DeepResearch,广泛的结果显示了它在基准测试中的优势。代码可在https://github.com/HJYao00/MM-DeepResearch获得

🛎️文章简介

🔸研究问题:如何构建一个能进行显式推理、多工具调用与跨模态信息融合的多模态深度研究智能体? 🔸主要贡献:论文提出MM-DeepResearch框架,通过超图驱动的数据生成(Hyper-Search)、分解-重组式工具树搜索(DR-TTS)和离线多模态搜索引擎三大技术,低成本高效训练出高性能多模态研究代理。

📝重点思路

🔸提出Hyper-Search方法,以超图建模图文节点及其跨模态关系,通过节点扩展与超边连接,自动生成需多轮、多类型搜索工具才能解答的高质量多模态QA对。 🔸设计DR-TTS机制,先按搜索工具类型分解任务并分别训练专用工具专家,再通过树搜索联合探索工具组合路径,合成高成功率、高多样性的搜索轨迹用于监督微调。 🔸构建支持信息型(文本/图像检索)与知识型(模型查询)双模式的离线搜索引擎,替代昂贵在线API,实现零成本、低延迟的强化学习训练。

🔎分析总结

🔸Hyper-Search生成的数据显著提升搜索深度(平均工具调用达2.3次),相比图结构基线性能提升3.0分,验证其对多步搜索能力的有效激发。 🔸DR-TTS合成的轨迹使SFT阶段性能跃升15.0分(MMSearch),结合RL后进一步提升至67.8分,证明分解-重组策略可缓解工具使用偏差并增强探索质量。 🔸离线引擎在MMSearch上达62.7分(在线为67.8分),训练成本降为0美元/百步(在线约640美元),响应速度提升60倍,证实其作为训练基础设施的可行性与高效性。 🔸消融实验表明,信息型与知识型搜索工具协同作用明显,仅启用T2T/T2I/I2T时得分66.9,加入知识型T2T后达67.8,凸显跨模态信息互补价值。

💡个人观点

论文将超图引入多模态搜索数据构造,提出“先分解再重组”范式结合离线搜索引擎。

🧩附录

在这里插入图片描述

赞(0)
未经允许不得转载:171主机测评 » 字节跳动:多模态深度研究代理
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址