学习：词嵌入（Word Embedding / Text Embedding）技术

文章目录

• 1.发展历程
• • 1.1词袋法
  • 1.2 TF-IDF
  • 1.3 wrod2vec
  • • 1.3.1 对不理解的地方详细的解释：
  • 1.4 BGE模型
  • 第一阶段：预训练 —— 训练通用语义能力（90% 的工作量）
  • • 步骤 1：海量语料采集 —— 收集 “训练原材料”
    • • 做什么
      • 怎么做
      • 通俗类比
      • 关键注意点
    • 步骤 2：语料清洗与预处理 —— 筛选 “优质原材料”
    • • 做什么
      • 怎么做
      • 通俗类比
    • 步骤 3：构造训练样本 —— 制作 “训练题库”（锚句子 + 正样本 + 负样本）
    • • 最终输出
      • 通俗类比
    • 步骤 4：模型初始化 —— 准备 “训练的基础模型”
    • • 做什么
      • 怎么做
      • 通俗类比
    • 步骤 5：配置训练参数 —— 设定 “训练规则”
    • • 做什么
      • 关键参数（小白能懂的核心参数）
      • 通俗类比
    • 步骤 6：对比学习训练 —— 模型 “正式学习”
    • • 做什么
      • 具体过程（分 4 步循环）
      • 循环执行
      • 通俗类比
    • 步骤 7：预训练模型保存 —— 得到 “通用版 BGE 模型”
    • • 做什么
      • 输出结果
      • 通俗类比
  • 第二阶段：微调 —— 训练专项语义能力（10% 的工作量，效果提升关键）
  • • 步骤 1：领域数据准备 —— 收集 “专业作战手册”
    • • 做什么
      • 关键要求
    • 步骤 2：人工标注训练样本 —— 制作 “专业题库”
    • • 做什么
      • 标注规则（以法律领域为例）
      • 通俗类比
    • 步骤 3：微调训练 —— 模型 “学专业技能”
    • • 做什么
      • 关键操作
    • 步骤 4：模型评估 —— 检验 “专业技能水平”
    • • 做什么
      • 评估指标（核心：语义匹配准确率）
      • 通俗类比
    • 步骤 5：最终模型导出 —— 得到 “可用的 BGE 模型”
    • • 做什么
      • 输出形式
  • 第三阶段：模型部署与使用 —— 让模型 “上岗干活”
  • BGE 完整训练流程总结表

1.发展历程

1.1词袋法

通过词语进行拆分，并进行向量化

由于一个词语，多次出现所代表的含义可能就不同，所含的信息量也不同，所以出现，【词频】：

1.2 TF-IDF

但是此时又出现一个新的问题：有些词语的出现量很多，但是没有很大的意义，因此稀有度也很重要，可能就因为一个稀有的词语改变了一句话的含义。

所以此时也要考虑文档的长度，通过文档长度和词语出现次数，总文档数和某个词语的数量，得出如下方式，稀有加log是数学中常见的将曲线变的平滑，不至于因为异常的数据，导致很大的波动。

此时，数字越小的表示当前的词语就更加稀有。

1.3 wrod2vec

经过上面的迭代，以及逐渐完善，但是前面只是对词语进行的处理，而一个句子中不止只有词语，还存在语义。Word2Vec 的底层逻辑特别简单：一个单词的含义，由它周围的单词决定。例如：

• 这个电影很好。
• 这个电影很棒。 我们来看表达的应该是同一个意思，但是通过词语维度分析，这两句话关联不大。 此时出现谷歌推出word2vec方法：

解释下面的含义：

1.3.1 对不理解的地方详细的解释：

方法：通过询问豆包ai，使用询问方法：

• 我是一个纯小白，现在想要理解，word2vec模型是如何训练的，以及如何对我随机给的一句话进行处理的。详细进行说明，给出通俗易懂的例子。
• 步骤三中预处理的句子是什么。
• 步骤四中，训练迭代，如何让模型知道他训练的是对的，我如何对比正确答案的。 经过上面的步骤，现在终于理解了，如何实现的句子理解。

用自己的话讲解：本质就是通过每个词语的上下文，来预测出现其他词语的概率，例如，我们自己知道一些正常的句子，我想吃苹果，我想吃香蕉，我想吃梨子…，我要走路，我要跑步，我要运动等等，这些句子都是我们可以理解的，但是机器不能理解，但是我们想要它能理解其中的简单意思，我们就要使用大量的如上的句子进行训练，通过不断尝试训练的题目，让其不断的调整整个语料表的向量位置，最后达到一个稳定（就是知道了例如吃后面可以跟苹果，香蕉等，苹果和香蕉的向量距离就会相对很近比苹果和跑步之间，此时苹果和香蕉的伪语义也就比较近），此时就可以让其实现对句子的扩写，以及为更加复杂的模型提供支持。

要使用的基础神经网络模型：

• CBOW（用上下文猜中心词）
• Skip-gram（用中心词猜上下文）

训练过程：

第四步：出现错误后，会动态的修改当前词语的向量坐标，存在两个调整规则如下。

• 比如模型用「爱、吃」的向量，猜成了「香蕉」，标准答案是「苹果」→ 模型就把「苹果」的向量，往「爱、吃」的向量方向挪一点点，同时把「香蕉」的向量，往远离「爱、吃」的方向挪一点点。这样下次再遇到「爱、吃」的上下文，模型就更容易猜到「苹果」，而不是「香蕉」。

• 猜苹果→汽车（误差超大）：「苹果」的向量大幅度调整，往正确方向挪一大步。
• 猜苹果→香蕉（误差很小）：「苹果」的向量小幅度调整，只挪一小步。
• 猜对了（误差 = 0）：向量完全不调整。

调整的最终目标

让模型的「预测结果」和「标准答案」的误差值，越来越小，直到几乎为 0 —— 也就是模型能稳稳的猜对每一道题，这个时候，单词的词向量就稳定了，也有了真正的「语义意义」（苹果和香蕉近，苹果和汽车远）。

1.4 BGE模型

由于词表都是准备好的，所以每个词语表达方法一样，但是同一个词语在不同的语境中是不一样的。因此出现下面的方式，相同的词语在不同的语境中，对于的向量也不同。

个人理解： BEG模型原理，也是通过大量的文本进行训练，只是不是使用词作为向量，而是将一个句子/段落/文档进行向量化，然后通过奖励和惩罚机制。

• 奖励：如果锚句子的向量和正样本的向量靠得近 → 给模型加分；
• 惩罚：如果锚句子的向量和负样本的向量靠得近 → 给模型扣分。 模型会进行反复的调整内部参数，直到满足：正样本向量紧紧贴着锚句子，负样本向量离得远远的，用几百万、几千万组这样的 “锚句子 + 正负样本” 反复训练，模型就会形成稳定的语义判断能力。 由于这个训练数据是通过机器进行生成的，所以对于特定领域的效果不是很好，因此可能还需要进行微调，此时微调的数据就需要人工进行标注处理。

实现步骤： BGE 模型的训练是一个 **“先打通用基础，再做专项优化”的两步走过程，核心分为 预训练（训练通用语义理解能力）和 微调（适配特定场景）。整个流程就像“先培养全能士兵，再训练特种部队。

第一阶段：预训练 —— 训练通用语义能力（90% 的工作量）

预训练的目标是让模型掌握通用语言的语义规律（比如 “猫吃鱼” 和 “猫咪爱吃鱼” 是同义句），不需要任何人工标注，完全靠机器自动完成，训练数据量通常是 亿级别的文本。

步骤 1：海量语料采集 —— 收集 “训练原材料”

做什么

从公开渠道抓取海量、多样的文本数据，作为模型学习的 “素材库”。

怎么做

通俗类比

就像给士兵收集全世界的 “作战手册”，涵盖各种场景，让士兵见多识广。

关键注意点

避免抓取低质量文本（比如乱码、重复内容、无意义的水帖）。

步骤 2：语料清洗与预处理 —— 筛选 “优质原材料”

做什么

对采集到的原始文本进行 “提纯”，去掉无用信息，统一格式，方便后续处理。

怎么做

通俗类比

把收集来的作战手册筛选一遍，扔掉破损、重复的，只留清晰完整的。

步骤 3：构造训练样本 —— 制作 “训练题库”（锚句子 + 正样本 + 负样本）

这是预训练的核心步骤，目的是把清洗后的文本转换成模型能学习的 “锚 – 正 – 负” 样本对。方法完全自动化，不需要人工标注，具体有 3 种常用方式（和之前讲的一致）：

最终输出

生成亿万级别的 “锚句子 – 正样本 – 负样本” 三元组，每个三元组都是一组训练数据。

通俗类比

把作战手册改成 “判断题”：锚句子是题干，正样本是 “正确答案”，负样本是 “错误干扰项”。

步骤 4：模型初始化 —— 准备 “训练的基础模型”

做什么

选择一个预训练好的 Transformer 底座模型，作为 BGE 的初始参数（不需要从零开始训练，节省算力）。

怎么做

通俗类比

给士兵准备一套基础的 “作战装备”，不用从零造装备。

步骤 5：配置训练参数 —— 设定 “训练规则”

做什么

设置训练的超参数，决定模型 “怎么学、学多久”。

关键参数（小白能懂的核心参数）

通俗类比

制定训练规则：每天训练多少题、每次改进的幅度多大、总共训练多少轮。

步骤 6：对比学习训练 —— 模型 “正式学习”

做什么

把样本喂给模型，让模型在对比学习中不断调整参数，学会语义匹配。

具体过程（分 4 步循环）

循环执行

重复上述步骤，直到训练轮数完成，模型的误差稳定在较低水平。

通俗类比

士兵做判断题，教官（损失函数）告诉士兵 “对了还是错了”，士兵不断调整作战思路，直到正确率越来越高。

步骤 7：预训练模型保存 —— 得到 “通用版 BGE 模型”

做什么

训练完成后，保存模型的最终参数，得到通用版 BGE 模型（比如 bge-base-zh）。

输出结果

模型文件包含两部分：

通俗类比

士兵完成基础训练，成为 “全能士兵”，可以应对大部分通用场景。

第二阶段：微调 —— 训练专项语义能力（10% 的工作量，效果提升关键）

预训练模型是 “通用型” 的，在法律、医疗、金融等专业领域表现一般。微调的目标是用小样本让模型适配特定领域，训练数据量通常是 几千到几万组，需要少量人工标注。

步骤 1：领域数据准备 —— 收集 “专业作战手册”

做什么

收集特定领域的文本数据，比如法律领域的合同、法条；医疗领域的病历、科普文章。

关键要求

数据要和目标场景强相关（比如做法律问答，就用法律文本）。

步骤 2：人工标注训练样本 —— 制作 “专业题库”

做什么

人工标注 “锚句子 – 正样本 – 负样本” 三元组，保证样本的精准性。

标注规则（以法律领域为例）

通俗类比

给全能士兵定制 “法律作战手册”，标注哪些是正确答案，哪些是干扰项。

步骤 3：微调训练 —— 模型 “学专业技能”

做什么

用标注好的领域样本，在预训练 BGE 模型的基础上继续训练。

关键操作

步骤 4：模型评估 —— 检验 “专业技能水平”

做什么

用领域测试集评估微调后模型的效果，判断是否达标。

评估指标（核心：语义匹配准确率）

通俗类比

让士兵参加 “法律作战考试”，看正确率是否达标。

步骤 5：最终模型导出 —— 得到 “可用的 BGE 模型”

做什么

评估达标后，保存微调后的模型参数，得到最终可使用的 BGE 模型。

输出形式

模型文件可以直接用 sentence-transformers 库加载，用于生成句子向量、语义检索等任务。

第三阶段：模型部署与使用 —— 让模型 “上岗干活”

训练完成后，模型就可以投入实际使用了，常用方式有 2 种：

BGE 完整训练流程总结表