目录
前言
一、CLIP 的核心作用是什么？
二、CLIP 如何实现跨模态对齐？
三、预训练阶段：对比学习流程
四、推理阶段：零样本图像分类
总结
前言
在多模态 AI 的浪潮中，CLIP（Contrastive Language-Image Pretraining）无疑是一个里程碑式的模型。它由 OpenAI 提出，彻底打破了图像与文本之间的模态语义鸿沟，让 AI 能够像人类一样理解图文之间的关联。今天，我们就来聊聊 CLIP 的核心作用，以及它是如何实现跨模态对齐的。
一、CLIP 的核心作用是什么？
CLIP 的全称是对比式语言 – 图像预训练模型，它的核心作用可以概括为三点：
二、CLIP 如何实现跨模态对齐？
CLIP 的跨模态对齐，核心依靠双塔编码器 + 对比学习：
- 双塔编码器：用 ViT（Vision Transformer）作为视觉编码器提取图像特征，用 Transformer 的仅编码器结构作为文本编码器提取文本特征，将图文映射到同一特征空间。
- 对比学习：通过对比损失（InfoNCE）让匹配的图文特征相似度更高，不匹配的相似度更低，从而让模型学到稳定的语义映射关系。
三、预训练阶段：对比学习流程
CLIP 预训练时的核心对比学习机制
该图展示了 CLIP 预训练时的核心对比学习机制：
四、推理阶段：零样本图像分类
CLIP 实现零样本图像分类
该图展示了 CLIP 实现零样本图像分类的逻辑：
总结
CLIP 的核心魅力在于，它通过对比学习让图文在同一特征空间中对齐，从而具备了强大的零样本泛化能力。它不仅是多模态大模型的重要基石，也为我们理解跨模态 AI 提供了清晰的思路。
