【机器学习】朴素贝叶斯 贝叶斯回归

第一部分：核心概率基础

1.1 全概率公式（Law of Total Probability）

设 $ {A_i}_{i=1}^{n} $ 为样本空间 $ \\Omega $ 的一个完备事件划分，即满足：
$$\bigcup _{i=1}^n{A}_i=\Omega ,A_i\cap A_j=\varnothing (i\ne j),P(A_i)>0$$
则对任意事件 $ B $，有：
$$P(B)=\sum _{i=1}^{n}P(A_i)\cdot P(B\mid A_i)$$
生活例子：
假设 $A_1$ 是“下雨”，$A_2$ 是“不下雨”（完备划分）。$B$是“堵车”。那么 $P(B)=P(下雨)P(堵车\mid 下雨)+P(不下雨)P(堵车\mid 不下雨)$

物理含义：观测事件 $ B $ 的全概率，是在所有互斥“原因” $ A_i $ 下的边缘化（Marginalization），即对联合分布 $ P(A_i, B) $ 求和的边际分布。

1.2 贝叶斯定理（Bayes‘ Theorem）

由条件概率定义 $ P(A_i \\mid B) = \\frac{P(A_i, B)}{P(B)} $ 及全概率公式直接导出：
$$P(A_i\mid B)=\frac{P(A_i)\cdot P(B\mid A_i)}{{\sum }_{j=1}^{n}P(A_j)\cdot P(B\mid A_j)}$$
三要素：

• 先验 $ P(A_i) $ —— 在观测数据前对假设 $ A_i $ 的信念强度
• 似然 $ P(B \\mid A_i) $ —— 在假设 $ A_i $ 下观测到 $ B $ 的生成概率
• 后验 $ P(A_i \\mid B) $ —— 融合数据后对假设的更新信念

归一化常数（Evidence）：$ P(B) $，仅起归一化作用，在模型比较时可忽略。

第二部分：朴素贝叶斯分类器（Naive Bayes Classifier）

2.1 模型定义

朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理的简单但强大的分类算法。它的名字很形象：“朴素”指它的核心假设，“贝叶斯”指它的理论基础。

如果特征有几十个，$ P(X | C_k) $ 的联合概率计算量是天文数字，且需要海量数据。

朴素假设登场：假设所有特征 $ x_1, x_2, … $ 在给定类别 $ C_k $ 的条件下相互条件独立。
$$P(X|C_k)=P(x_1|C_k)\cdot P(x_2|C_k)\cdot \dots \cdot P(x_n|C_k)=\prod _{i=1}^{n}P(x_i|C_k)$$
至此，模型构建的核心任务，就变成了从训练数据中“统计”出这两组数值：

2.2 具体构建流程

1. 计算先验概率

非常简单，直接用频率估计概率：
$$P(C_k)=\frac{\text{类别 }{C}_k\text{ 的样本数}}{\text{总样本数}}$$

2. 计算条件概率（这里分两种情况）

情况A：特征为离散型数据（如单词是否出现）
直接用频率：
$$P(x_i|C_k)=\frac{\text{在类别 }{C}_k\text{ 中，特征 }{x}_i\text{ 出现的次数}}{\text{类别 }{C}_k\text{ 的总样本数}}$$

平滑处理（重要）：如果某个特征在训练集中没出现过，概率会变成0，导致整个乘积为0。所以必须引入拉普拉斯平滑，分子加1，分母加特征总数，避免零概率。

情况B：特征为连续型数据（如身高、温度）
通常假设特征服从高斯分布（正态分布），然后计算每个类别下该特征的均值和方差，代入正态分布概率密度函数求出概率：
$$P(x_i|C_k)=\frac{1}{\sqrt{2\pi {\sigma }_{k,i}^2}}\exp \left(-\frac{(x_i-{\mu }_{k,i}{)}^2}{2{\sigma }_{k,i}^2}\right)$$

3. 存储模型参数

训练完毕时，模型实际上保存的就是一张“概率表”，包含：

• 每个类别的先验概率。
• 每个类别下，每个特征的条件概率（离散型是频率表，连续型是均值和方差）。

2.3 举个极简例子（离散型）

一、训练数据集（6个样本，3个特征）

二、构建模型第一步：计算先验概率 P(标签)

先看标签“晚点”和“不晚点”各有多少个：

• 晚点（是）：样本1、3、6 → 共 3 个
• 不晚点（否）：样本2、4、5 → 共 3 个

总样本数 = 6，所以先验概率为：

$$P(晚点=是)=\frac{3}{6}=0.5$$

$$P(晚点=否)=\frac{3}{6}=0.5$$

三、构建模型第二步：计算条件概率 P(特征 | 标签)

现在我们要分别统计“晚点”和“不晚点”这两类中，各个特征取值的频率。

四、模型参数汇总（概率表）

注意：表格中有很多0，这在真实建模时会导致乘积为0，实际应用必须做拉普拉斯平滑。但为了让你看清原始统计过程，我先保留原始频率。

五、用模型做预测（新样本）

现在来了一个新样本，特征为：天气=晴，时段=早高峰，节假日=是。
我们要判断它属于“晚点”还是“不晚点”。

计算“晚点=是”的后验得分（忽略分母 P(X)）:
$${\text{Score}}_{是}=P(是)\times P(晴|是)\times P(早高峰|是)\times P(节假日=是|是)$$
代入表格：
$${\text{Score}}_{是}=0.5\times \frac{1}{3}\times \frac{1}{3}\times 0=0$$
计算“晚点=否”的后验得分
$${\text{Score}}_{否}=P(否)\times P(晴|否)\times P(早高峰|否)\times P(节假日=是|否)$$
代入表格：
$${\text{Score}}_{否}=0.5\times \frac{1}{3}\times \frac{1}{3}\times \frac{2}{3}=\frac{1}{27}\approx 0.037$$
比较结果

• “是”的得分为 0
• “否”的得分为 0.037

模型预测：地铁不晚点（否）。

六、解决零概率问题（拉普拉斯平滑）

上面的预测中，“晚点=是”因为“节假日=是”在训练集里没出现过，直接得了0分，这显然不合理。
实际建模时，我们会给每个计数加1（拉普拉斯平滑），分母加上该特征的可能取值个数。

以“天气”为例，它有3种取值（雨、晴、阴），平滑后的条件概率为：

$$P(雨|是)=\frac{2+1}{3+3}=\frac{3}{6}=0.5$$

$$P(晴|是)=\frac{1+1}{6}=\frac{2}{6}\approx 0.333$$

$$P(阴|是)=\frac{0+1}{6}\approx 0.167$$

这样所有概率都大于0，再预测时就不会出现硬零了。

2.4 三种常见变体

高斯 NB 中，参数估计为：
$${\hat{\mu }}_{y,j}=\frac{1}{N_y}\sum _{i:y^{(i)}=y}{x}_j^{(i)},{\hat{\sigma }}_{y,j}^2=\frac{1}{N_y}\sum _{i:y^{(i)}=y}(x_j^{(i)}-{\hat{\mu }}_{y,j}{)}^2$$
条件概率密度为：
$$P(X_j=x\mid Y=y)=\frac{1}{\sqrt{2\pi {\hat{\sigma }}_{y,j}^2}}\exp \left(-\frac{(x-{\hat{\mu }}_{y,j}{)}^2}{2{\hat{\sigma }}_{y,j}^2}\right)$$

2.5 优缺点

• 优点：训练时间复杂度为 $ O(Nd) $；对缺失数据鲁棒；可作为在线学习的基模型。
• 缺点：条件独立假设在多数实际场景中违反；对输入特征的分布形式敏感（高斯假设不一定成立）；概率估计的校准度（Calibration）较差。

第三部分：贝叶斯回归（Bayesian Regression）

3.1 模型范式

贝叶斯回归不是某一种具体算法，而是一种参数估计的范式（Paradigm），将回归模型的参数视为随机变量，赋予其先验分布，并通过观测数据更新为后验分布。

设回归模型为：
$$y=f(\mathbf{x};\mathbf{\theta })+\epsilon ,\epsilon \sim \mathcal{N}(0,{\sigma }^2)$$
线性情形下：$ f(\\mathbf{x}; \\boldsymbol{\\theta}) = \\boldsymbol{\\theta}^\\top \\mathbf{x} $。

核心目标：计算参数的后验分布：
$$P(\mathbf{\theta }\mid \mathcal{D})=\frac{P(\mathbf{\theta })\cdot P(\mathcal{D}\mid \mathbf{\theta })}{P(\mathcal{D})}$$
其中：

• $ P(\\boldsymbol{\\theta}) $：先验分布（Prior），编码对参数的先验知识
• $ P(\\mathcal{D} \\mid \\boldsymbol{\\theta}) = \\prod_{i=1}^{N} \\mathcal{N}(y_i \\mid \\boldsymbol{\\theta}^\\top \\mathbf{x}_i, \\sigma^2) $：似然函数（Likelihood）
• $ P(\\mathcal{D}) = \\int P(\\mathcal{D} \\mid \\boldsymbol{\\theta}) P(\\boldsymbol{\\theta}) , d\\boldsymbol{\\theta} $：边际似然（Marginal Likelihood / Evidence）

3.2 共轭先验情形（Conjugate Prior）

当先验与似然共轭时，后验具有解析闭式解。

线性回归 + 高斯似然 + 高斯先验：

设 $ \\boldsymbol{\\theta} \\sim \\mathcal{N}(\\mathbf{0}, \\lambda^{-1} \\mathbf{I}) $，且 $ \\sigma^2 $ 已知。

后验为：
$$\mathbf{\theta }\mid \mathcal{D}\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$$
其中：
$${\mathbf{\Sigma }}_n^{-1}=\lambda \mathbf{I}+\frac{1}{{\sigma }^2}{\mathbf{X}}^{\top }\mathbf{X},{\mathbf{\mu }}_n=\frac{1}{{\sigma }^2}{\mathbf{\Sigma }}_n{\mathbf{X}}^{\top }\mathbf{y}$$
观测：该后验均值等价于岭回归（Ridge Regression）的解，即 $ L_2 $ 正则化线性回归。因此，贝叶斯回归中的高斯先验与频率学派的正则化项存在严格的对应关系。

3.3 非共轭情形与近似推断

当先验与似然不共轭（如 $ L_1 $ 先验 / Laplace 先验）或模型非线性时，后验无解析形式，需依赖近似推断。

MCMC 的典型算法包括 Gibbs 采样 和 Metropolis-Hastings；变分推断的现代实现包括 ADVI（Automatic Differentiation Variational Inference）。

3.4 预测分布（Posterior Predictive Distribution）

贝叶斯回归的最终输出不是单点估计，而是后验预测分布：
$$P(y_{\ast }\mid {\mathbf{x}}_{\ast },\mathcal{D})=\int P(y_{\ast }\mid {\mathbf{x}}_{\ast },\mathbf{\theta })\cdot P(\mathbf{\theta }\mid \mathcal{D})d\mathbf{\theta }$$
该分布自然编码了两种不确定性：

在数据稀疏区域，认知不确定性自动扩大，预测区间变宽，这是贝叶斯回归相比点估计方法的本质优势。

3.5 与正则化方法的对应关系

先验的对数形式对应正则化损失项，这是 MAP 估计（最大化后验）与正则化优化目标之间的标准等价关系。