写在前面: 社区共建项目：AIGC算法工程师/开发工程师面试面经秘籍分享，Interview-for-Algorithm-Engineer，欢迎大家Star⭐收藏~ AIGC时代的 《三年面试五年模拟》AI算法工程师求职面试秘籍独家资源： 【三年面试五年模拟】AI算法工程师面试秘籍,欢迎 Star⭐收藏~，诚邀大家参与项目共建，聚力赋能 AIGC 行业生态建设！ AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）一起交流学习。
本文内容摘自社区共建项目：https://github.com/WeThinkIn/Interview-for-Algorithm-Engineer
5.1 AI 多模态理论基础高频考点
本章是多模态部分的开篇，先把后文反复用到的基础概念讲清楚。内容依次包括 MLLM 与 LLM 在架构、数据和能力边界上的差异，多模态词嵌入与统一向量空间，预训练与微调各自的目标、方法和权衡，以及多模态任务按输入输出关系的分类。后续章节讨论编码器、映射器、生成器等核心组件时，会直接用到这些概念。
5.1.1 多模态与语言大模型的区别
- 5.1.1.1 面试问题：多模态大模型与 LLM 在架构上有哪些关键差异？
- 5.1.1.2 面试问题：多模态模型的训练数据与 LLM 有什么本质不同？
- 5.1.1.3 面试问题：多模态模型与 LLM 在应用能力边界上有何差异？
5.1.2 多模态词嵌入的定义
- 5.1.2.1 面试问题：多模态词嵌入相比传统词嵌入的本质区别是什么？
- 5.1.2.2 面试问题：多模态词嵌入需要满足哪些核心条件？如何形式化描述？
5.1.3 多模态中预训练和微调的区别
- 5.1.3.1 面试问题：多模态预训练阶段的核心目标与训练任务是什么？
- 5.1.3.2 面试问题：多模态微调阶段的核心目标与常用方法是什么？
- 5.1.3.3 面试问题：预训练与微调在通用性、成本、能力保持上有何关键权衡？
5.1.4 多模态解决的代表性任务
- 5.1.4.1 面试问题：多模态任务可以如何整体分类？分类依据是什么？
- 5.1.4.2 面试问题：四类代表性任务各自的典型落地场景与技术特征是什么？
附录 术语表
5.1.1 多模态与语言大模型的区别
5.1.1.1 面试问题：多模态大模型与 LLM 在架构上有哪些关键差异？
难度评分：⭐⭐ (2/5) | 考察频率：⭐⭐⭐⭐ (4/5)
多模态大模型（MLLM）是在语言大模型（LLM）的基础上加了视觉、听觉等感知能力，主干仍然是 LLM，如图 1-1 所示。两者在架构上的差异主要有两处，如表 1-1 所示。
能处理的模态不同。 LLM 只收文本、只出文本，DeepSeek-V4-Pro 属于这一类，整体是一个 Decoder-only Transformer，输入输出都是 token 序列。MLLM 能同时处理文本、图像、音频甚至视频，比如给 LLaVA、Qwen-VL、BLIP-2 一张图，它们能回答"这是什么"。
输入端多了两个模块。 LLM 只有一个 Transformer 主干，MLLM 在它前面加了两层组件。
（1）模态编码器：把非文本模态编码成 token。CLIP-ViT-L 把一张图像编码成 256 或 576 个 1024 维的视觉 token，Whisper 编码器把一段音频编码成 1500 个语音 token。 （2）投影器（Projector）：把非文本模态的向量映射到 LLM 的文本嵌入空间。LLaVA-1.5 用的是两层 GELU-MLP，把 CLIP-ViT-L 的 1024 维输出投到 Vicuna-7B（基于 LLaMA 2）的 4096 维隐藏空间。
训练时 LLM 基座可以冻结，LLaVA 1.0 的第一阶段就是这样做的；也可以放开一起训，LLaVA 1.5 的第二阶段解冻了 LLM。现在的 VLM 大多采用"编码器 → 投影器 → LLM"这套三段式结构。
表 1-1 LLM 与 MLLM 架构对照
| 输入模态 | 仅文本 | 文本 + 图像 + 视频 + 音频 |
| 输出模态 | 文本 | 文本（部分支持图/音/视频生成） |
| 主干结构 | Decoder-only Transformer | 模态编码器 + 投影器 + LLM 主干 |
| 关键新增模块 | 无 | 视觉编码器（CLIP-ViT、SigLIP）+ 音频编码器（Whisper、Mimi）+ 投影器（MLP、Q-Former、Pixel Shuffle） |
| 输入 token 形式 | 文本 token | 文本 token + 模态 token（拼接为统一序列） |
| 代表模型 | DeepSeek-V4-Pro | Qwen3-VL-235B-A22B-Thinking、InternVL3.5-241B-A28B、Gemini 3.5 Flash、LLaVA |
面试速答：MLLM 以 LLM 为主干，差异主要在两处。一是模态，LLM 只处理文本，MLLM 还能处理图像、音频和视频。二是输入端多了模态编码器和投影器，编码器把非文本输入编码成 token，投影器再把它映射到 LLM 的文本嵌入空间。现在的 VLM 大多是编码器、投影器、LLM 三段式结构。
5.1.1.2 面试问题：多模态模型的训练数据与 LLM 有什么本质不同？
难度评分：⭐⭐⭐ (3/5) | 考察频率：⭐⭐⭐⭐ (4/5)
两者的数据差别主要看两点，一是数据的形态，二是不同数据按什么比例混在一起训练。
LLM 的数据是纯文本序列。 预训练用书籍、网页、论文等纯文本语料，规模一般在万亿 token 量级，LLaMA 2 用了 2 万亿 token，常见的数据组合有 Common Crawl、C4、RedPajama 等。训练目标是 next-token prediction，文本本身就是标签。
MLLM 的数据以跨模态配对为主，也就是"模态 A + 模态 B"成对出现，常见的有下面三类。
（1）图文对：LAION-5B 约 58 亿组，LAION-COCO 6 亿组，CC12M 1200 万组。这些数据大多是从网页上爬下来的图片和它的 alt-text，量很大，标注质量参差不齐。 （2）视频-字幕对：WebVid-10M 等。 （3）指令微调数据：LLaVA-Instruct-150K 是纯文本 GPT-4 根据图像的描述和检测框写出来的，ShareGPT4V、ALLaVA-4V 则由 GPT-4V 直接看图生成，这类数据的规模在 15 万~500 万条之间。
数据配比是多模态训练里很关键的一环。 多模态训练一般不会只用图文对，会按一定比例混入纯文本数据，常见是 10%~30%，用来防止 LLM 基座的语言能力在多模态训练中退化。LLaVA-1.5 在指令微调阶段混入了纯文本的 ShareGPT 数据，即便如此，后续研究测得 LLaVA-1.5-13B 的 MT-Bench 分数仍从 Vicuna-13B 的 6.57 降到了 5.99。Qwen-VL 在多任务预训练阶段放了 780 万条纯文本数据，约占该阶段数据的一成，专门用来保住语言能力。
面试速答：差别主要在数据形态和数据配比。LLM 用万亿 token 量级的纯文本，文本本身就是标签；MLLM 以跨模态配对数据为主，包括图文对、视频-字幕对和指令微调数据。多模态训练还会混入 10%~30% 的纯文本数据，防止 LLM 基座的语言能力退化。
5.1.1.3 面试问题：多模态模型与 LLM 在应用能力边界上有何差异？
难度评分：⭐⭐ (2/5) | 考察频率：⭐⭐⭐ (3/5)
LLM 处理语言相关的任务，MLLM 能处理需要整合多种模态信息的任务。MLLM 能做的事情更多，但在单项任务上不一定比专用模型强。
LLM 做语言任务。 文本生成、写代码、摘要、翻译、对话都属于这一类，代表模型是 DeepSeek-V4-Pro。这些任务的输入和输出都是文本序列。
MLLM 把能力扩展到了跨模态场景，落地较多的有下面几个。
（1）以图搜物：电商的"拍照搜商品"，要同时理解图片内容和商品库里的文字描述。 （2）医学影像辅助诊断：把 CT、MRI 图像和病历文本放在一起生成诊断建议，例如 Med-PaLM M。 （3）短视频内容合规审核：同时看画面、配文和语音，判断视频是否违规。 （4）文档/OCR 理解：解析财报表格、流程图、发票等结构复杂的文档，GPT-6、InternVL3.5、Qwen3-VL 都能做。
两个常见误解
“MLLM 一定比 LLM 强”。 在纯文本任务上，MLLM 通常比同规模的 LLM 稍弱，因为一部分模型容量花在了视觉对齐上。5.1.1.2 提到的 LLaVA-1.5-13B 是一个例子，它的 MT-Bench 分数低于自己的语言基座 Vicuna-13B。
“MLLM 能替代所有视觉专家模型”。 在 OCR、细粒度分类、目标检测这些单项任务上，通用 MLLM 一般比不过专用模型（如 PaddleOCR、基于 EVA-CLIP 微调的下游模型）。MLLM 的长处在综合推理，任务需要同时看懂图像、理解问题、再结合常识作答时，专用模型替代不了它。 =img-gNrk4n6M-1791691288174)
图 1-1 多模态输入扩展示意图
面试速答：LLM 做文本进、文本出的语言任务，MLLM 能做需要整合多种模态信息的任务，比如以图搜物、医学影像辅助诊断和文档理解。MLLM 能做的事更多，但在纯文本任务上通常比同规模 LLM 稍弱，在 OCR、目标检测等单项任务上一般也比不过专用模型。它的长处在综合推理。
5.1.2 多模态词嵌入的定义
5.1.2.1 面试问题：多模态词嵌入相比传统词嵌入的本质区别是什么？
难度评分：⭐⭐⭐ (3/5) | 考察频率：⭐⭐⭐⭐ (4/5)
先说传统词嵌入。Word2Vec（2013）、GloVe 给每个词分配一个固定向量，常见是 300 维；BERT 输出的是上下文相关的向量，同一个词在不同句子里向量不同，BERT-base 是 768 维。不管哪一种，语义相近的词在向量空间里都离得近。"猫"和"猫咪"的向量很近，"猫"和"汽车"就离得远。
传统词嵌入只在单一模态内部有效。 文本、图像、音频的嵌入各在各的向量空间里，彼此没法直接比较，算不出文本"猫"和一张猫的照片有多相似。
多模态词嵌入（也叫跨模态嵌入）把文本、图像、音频等不同类型的信息映射到同一个向量空间。 和传统词嵌入相比，它在两个方向上做了扩展。
（1）输入的模态变多了：除了文本，其他模态也能转成同一空间里的向量。 （2）"语义相近"的范围变大了：语义相近、向量就接近，这条原则没变，只是"语义相近"从同义词扩展到了不同模态里的同一个概念。一段猫叫的音频、一张猫的照片、文本"猫"，三者的向量应该聚在同一区域，并且远离和"汽车"有关的向量，如图 1-2 所示。
代表工作是 CLIP。在它之前，DeViSE（2013）、VSE++ 等已经做过图文联合嵌入，但训练数据规模小，泛化能力有限。CLIP 在 4 亿图文对上训练，第一次在大规模数据上证明了统一向量空间行得通，并用它做零样本图像分类。分类时不需要任何标注数据做微调，只要计算图像向量和一组候选文本向量的相似度就能完成。
面试速答：传统词嵌入只在单一模态内有效，多模态词嵌入把文本、图像、音频映射到同一个向量空间。语义相近、向量就接近，这条原则没变，只是"语义相近"扩展到了不同模态里的同一个概念，文本"猫"和猫的照片应该聚在一起。CLIP 在 4 亿图文对上证明了统一向量空间行得通。
5.1.2.2 面试问题：多模态词嵌入需要满足哪些核心条件？如何形式化描述？
难度评分：⭐⭐⭐⭐ (4/5) | 考察频率：⭐⭐⭐⭐ (4/5)
统一向量空间要同时满足两个条件。
模态内一致性：同一模态里语义相近的内容，向量也要接近。两张不同角度拍的猫，向量应该接近。这一条和传统词嵌入的要求一样。
跨模态对齐性：不同模态里语义一致的内容，向量也要接近。文本"猫"、猫的照片和猫叫的音频要聚在一起，并远离"汽车"相关的向量。传统词嵌入没有这项要求，它是多模态词嵌入特有的。
形式化地写，文本编码器
f
t
(
⋅
)
f_t(\\cdot)
ft(⋅) 和图像编码器
f
v
(
⋅
)
f_v(\\cdot)
fv(⋅) 分别把文本
t
t
t 和图像
v
v
v 映射到同一个
d
d
d 维空间。对匹配的图文对
⟨
t
,
v
⟩
\\langle t, v \\rangle
⟨t,v⟩ 和不匹配的
⟨
t
,
v
′
⟩
\\langle t, v' \\rangle
⟨t,v′⟩，要求
sim
(
f
t
(
t
)
,
f
v
(
v
)
)
>
sim
(
f
t
(
t
)
,
f
v
(
v
′
)
)
\\text{sim}(f_t(t), f_v(v)) > \\text{sim}(f_t(t), f_v(v'))
sim(ft(t),fv(v))>sim(ft(t),fv(v′))
对比学习损失做的就是这件事，拉近匹配对，推远不匹配对。CLIP 的 InfoNCE 损失基于这个思路，在一个 batch 里（典型大小 32768）让样本互为负样本，算出相似度矩阵，再用交叉熵拟合对角线上的匹配对。
两个条件缺一个会怎样？ 只有模态内一致性、没有跨模态对齐，比如 Word2Vec 配一个单独训练的 ResNet，就做不了跨模态检索。只追求跨模态对齐、不管模态内一致性，比如训练数据严重偏斜时，会出现"向量空间塌陷"，语义不同的样本被错误拉近，下游所有相似度计算都会失效。CLIP 训练时用大 batch 加对称对比损失，两个条件都照顾到了。
很多下游任务都建立在多模态词嵌入上。跨模态检索直接比较嵌入向量的相似度，多模态理解在对齐后的嵌入上做语义交互，跨模态生成也离不开它，Stable Diffusion 就是靠文本编码器的嵌入来控制生成条件。 07w6Y-1791691288175)
面试速答：要同时满足模态内一致性和跨模态对齐性，也就是同一模态里语义相近的内容向量接近，不同模态里语义一致的内容向量也接近。形式化地说，匹配图文对的相似度要大于不匹配对，CLIP 用 InfoNCE 对比损失拉近匹配对、推远不匹配对。缺了跨模态对齐就做不了跨模态检索，缺了模态内一致性可能出现向量空间塌陷。
5.1.3 多模态中预训练和微调的区别
5.1.3.1 面试问题：多模态预训练阶段的核心目标与训练任务是什么？
难度评分：⭐⭐⭐⭐ (4/5) | 考察频率：⭐⭐⭐⭐⭐ (5/5)
多模态大模型和纯文本 LLM 一样，先预训练、再微调。多模态训练多出来的一点是，跨模态对齐从预训练一直延续到微调。
预训练的目标是对齐，让模型把图像、文本、音频等不同模态的信息映射到同一个语义空间。用的数据以大规模弱标注配对数据为主（如 LAION-5B 的约 58 亿组图文对），同时混入一定比例的纯文本语料，保住模型的语言能力。
预训练主要有三类任务
跨模态对比学习（ITC，Image-Text Contrastive）：用 InfoNCE 损失拉近匹配的图文对、推远不匹配的，如图 1-3 所示，代表模型有 CLIP、ALIGN。
图文匹配（ITM，Image-Text Matching）：给模型一组图文对，让它判断是否匹配，是一个二分类任务。BLIP、ALBEF 在 ITC 之外又加了 ITM，用来学更细的跨模态交互。
掩码建模（MLM / MIM）：随机遮住文本里的部分 token 或图像里的部分 patch，让模型预测被遮住的内容，以此学习模态内的语义表示。BEIT-3、FLAVA 等模型用了这类任务。
L
ITC
=
−
1
2
N
∑
i
=
1
N
[
log
e
sim
(
t
i
,
v
i
)
/
τ
∑
j
=
1
N
e
sim
(
t
i
,
v
j
)
/
τ
+
log
e
sim
(
t
i
,
v
i
)
/
τ
∑
j
=
1
N
e
sim
(
t
j
,
v
i
)
/
τ
]
\\mathcal{L}_{\\text{ITC}} = -\\frac{1}{2N}\\sum_{i=1}^{N}\\left[\\log\\frac{e^{\\text{sim}(t_i,v_i)/\\tau}}{\\sum_{j=1}^{N}e^{\\text{sim}(t_i,v_j)/\\tau}}+\\log\\frac{e^{\\text{sim}(t_i,v_i)/\\tau}}{\\sum_{j=1}^{N}e^{\\text{sim}(t_j,v_i)/\\tau}}\\right]
LITC=−2N1i=1∑N[log∑j=1Nesim(ti,vj)/τesim(ti,vi)/τ+log∑j=1Nesim(tj,vi)/τesim(ti,vi)/τ]
τ
\\tau
τ 是温度系数，CLIP 把它设成可学习参数，初始值 0.07；
N
N
N 是一个批次里的样本数，CLIP 默认 32768。方括号里的两项对应两个检索方向，第一项固定文本
t
i
t_i
ti、在批内所有图像里找匹配，第二项固定图像
v
i
v_i
vi、在批内所有文本里找匹配。两个方向都算，双向检索才都能对齐。
预训练很贵。 编码器、投影层和 LLM 基座都要做全参数或大规模参数更新。千亿参数级别的模型，一次预训练要花数百万美元，训练周期通常是几周到几个月。所以从零预训练多模态基座的基本只有头部厂商。
面试速答：预训练的目标是跨模态对齐，把不同模态映射到同一个语义空间，数据以大规模弱标注配对数据为主，并混入纯文本保住语言能力。训练任务主要有跨模态对比学习 ITC、图文匹配 ITM 和掩码建模 MLM/MIM 三类。这一阶段要大规模更新参数，成本很高，从零训练的基本只有头部厂商。
