【免费下载链接】InternVL3_5-1B-Pretrained
项目地址：
https://ai.gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained
点击查看 免费下载
InternVL3.5-1B-Pretrained 是 OpenGVLab「书生·万象」InternVL3.5 多模态大模型家族中、完成 CPT 预训练阶段的 1B 轻量检查点。本文将揭秘该家族最具代表性的训练创新——级联强化学习（Cascade RL）：它先用离线的 MPO 快速热身，再用在线的 GSPO 精细打磨，以极低的 GPU 成本换来推理能力的显著提升。
📌 一分钟认识 InternVL3.5-1B-Pretrained
这个仓库存放的是 InternVL3.5 家族 1B 规格的中间训练成果，对应训练流水线的第一站：
| InternVL3.5-1B-Pretrained（本仓库） | CPT 多模态持续预训练 | 打好"看图 + 理解"的地基 |
| InternVL3.5-1B-Instruct | CPT + SFT | 学会听懂指令、规范对话 |
| InternVL3.5-1B-MPO | CPT + SFT + MPO | 完成级联强化学习的离线半程 |
| InternVL3.5-1B（最终版） | CPT + SFT + Cascade RL | 全流程毕业，推理能力最强 |
💡 官方建议：如果不知道选哪个版本，就用不带任何后缀的最终版；而像本仓库这样的阶段检查点，更适合做研究对比或继续微调。
从 config.json 可以看到它的"配方"：视觉编码器 InternVisionModel（InternViT，约 0.3B 参数）+ 语言模型 Qwen3ForCausalLM（Qwen3-0.6B），二者通过 ViT–MLP–LLM 范式拼接，总参数约 1.1B，单卡 A100 即可部署。
🎯 为什么需要级联强化学习？
强化学习后训练是提升大模型推理能力的利器，但业界长期面临一个两难选择：
| 数据来源 | 固定数据集，模型不边学边采样 | 模型实时生成 rollout 样本 |
| 训练稳定性 | ✅ 高，收敛快、省算力 | ⚠️ 依赖 rollout 质量，易波动 |
| 能力上限 | 受限于数据质量 | ✅ 高，可自我迭代精调 |
| GPU 成本 | ✅ 低 | 高（需反复生成 + 评估） |
Cascade RL 的思路是"取其之长"：
官方实验表明：相比单独使用离线或在线 RL，级联方案在一小部分 GPU 时间成本下就取得了显著的性能提升——这正是它出现在 InternVL3.5 训练流水线末端的原因（详见 README.md 的 "Cascade Reinforcement Learning" 章节与消融实验）。
🔬 第一阶段：MPO 偏好优化，一次吃透三种信号
MPO（Mixed Preference Optimization，混合偏好优化）的训练目标是三个损失加权和：
$$ \\mathcal{L}_{\\text{MPO}} = w_p \\mathcal{L}_p + w_q \\mathcal{L}_q + w_g \\mathcal{L}_g $$
| 偏好损失 $\\mathcal{L}_p$ | DPO | 学会"哪个回答更好"，拉开好坏答案的差距 |
| 质量损失 $\\mathcal{L}_q$ | BCO | 学会"什么是好回答"，锚定回答的绝对质量 |
| 生成损失 $\\mathcal{L}_g$ | LM Loss | 保持基础语言能力，防止"学聪明说糊涂" |
三者权重 $w_p, w_q, w_g$ 可调。这种"偏好 + 质量 + 生成"三合一的目标，让模型在离线数据上同时学到比较能力、质量标准和表达规范，为后续在线训练打下了稳如磐石的基础。
🚀 第二阶段：GSPO，更稳的在线强化学习
在线阶段选用的 GSPO 有几个关键设计：
- 无参考模型：训练时不再额外维护一个 reference model 约束，省显存也更灵活；
- 组内归一化优势：与 GRPO 类似，对同一道题目采样 G 个回答，用奖励的组内归一化值作为优势 $\\hat{A}_i$；
- 几何平均的重要性比率：这是 GSPO 的灵魂。传统算法用逐 token 概率比的乘积做重要性采样，容易数值爆炸；GSPO 改用逐 token 比率的几何均值，方差更小、训练更稳——官方发现它对稠密模型和 MoE 模型都更有效；
- 截断机制：比率被裁剪到 $[1-\\varepsilon, 1+\\varepsilon]$ 区间内，防止单步更新过于激进。
一句话总结 GSPO：让模型"自己出题、自己答题、自己评分"，同时用几何平均把更新幅度"扶正"，避免训练震荡。
📊 级联 RL 给家族带来了什么？
从 README 公布的整体数据看，InternVL3.5 相比上一代 InternVL3 实现了：
- 整体推理性能最高 +16.0%（MMMU、MathVista 等推理基准受益最大）；
- 推理速度 4.05×（配合 DvD 分离式部署与 ViR 视觉分辨率路由）；
- 新增 GUI 交互、具身智能 等能力，旗舰 241B 版本在开源 MLLM 中达到 SOTA，与 GPT-5 等顶级商业模型的差距进一步缩小。
🧩 看看本仓库的模型"骨架"
虽然本仓库处于 CPT 阶段，但完整架构已经就位，几个核心文件值得一看：
- modeling_internvl_chat.py：主模型 InternVLChatModel，第 89-94 行 定义了连接视觉与语言的 MLP 适配器，第 179 行 的 pixel_shuffle 负责压缩视觉 token（动态高分辨率 + 像素打乱，是 InternVL 的招牌设计）；
- modeling_intern_vit.py：InternViT 视觉编码器实现；
- conversation.py：对话模板定义，第 382-391 行 注册的 internvl2_5 模板正是本模型使用的模板；
- config.json：max_dynamic_patch: 12 表示图片最多切 12 块高分辨率拼图，force_image_size: 448 为单块尺寸；
- tokenizer_config.json、added_tokens.json：分词器配置与新增的特殊视觉 token。
⚡ 快速上手：3 步跑起来
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained(
"OpenGVLab/InternVL3_5-1B-Pretrained",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True,
).eval().cuda()
⚠️ 两个小贴士：
✅ 小结
| CPT | 本仓库所处阶段：多模态持续预训练，联合更新全参数 |
| MPO（离线） | DPO + BCO + LM 三损失融合，快速稳收敛 |
| GSPO（在线） | 无参考模型 + 几何平均比率，稳而精地在线精调 |
| Cascade RL | 离线热身 + 在线打磨，低成本高收益的级联配方 |
从 1B-Pretrained 这块"地基"出发，经 SFT 学会对话，再经 Cascade RL（MPO→GSPO）淬炼推理，InternVL3.5 家族用一条清晰的后训练流水线，把多模态推理能力推向了开源模型的第一梯队。如果你想深挖技术细节（如 GSPO 完整公式、ViCO 训练与消融数据），README.md 的 "Training and Deployment Strategy" 章节是最佳入口。
赞
【免费下载链接】InternVL3_5-1B-Pretrained
项目地址：
https://ai.gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained
点击查看 免费下载
相关推荐
Umi-OCR快速上手指南：5分钟掌握离线OCR核心技巧
Python通达信数据获取完整教程：从零开始掌握金融数据分析
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
