数据挖掘选择题知识点

常见的数据质量问题主要有以下几类：

数据挖掘任务通常被分为预测性任务（Predictive）和描述性任务（Descriptive）两大类，共涵盖以下 5 种经典任务：

1. 分类（Classification）—— 预测性任务

• 做什么：根据已知数据的特征，预测新样本属于哪个离散的类别。

• 通俗理解：就像是“打标签”。给定一堆特征，判断它是“A类”还是“B类”。

• 经典案例：判断一封邮件是“垃圾邮件”还是“正常邮件”；根据检查结果判断肿瘤是“良性”还是“恶性”。

2. 回归（Regression）—— 预测性任务

• 做什么：根据已知数据的特征，预测新样本的连续数值。

• 通俗理解：不是判断“是哪一类”，而是估算“值是多少”。

• 经典案例：根据房屋面积、地段预测“房价”；根据历史数据预测“明天的气温”。

3. 聚类（Clustering）—— 描述性任务

• 做什么：在没有预设标签的情况下，根据数据的相似性，自动将其划分为不同的组（簇）。

• 通俗理解：“物以类聚，人以群分”。算法不知道这些是什么，但发现它们长得像，就归为一堆。

• 经典案例：新闻网站自动将10万篇报道归为“体育”、“财经”、“娱乐”等主题；客户细分市场。

4. 关联分析（Association Rule Mining）—— 描述性任务

• 做什么：发现数据中不同项目（Item）之间同时出现的频繁模式或依赖关系。

• 通俗理解：找“购物篮”里的搭配规律。买了A的人大概率也会买B。

• 经典案例：超市经典的 “啤酒与尿布” 现象；电商平台的“购买了这件商品的顾客还购买了…”推荐系统。

5. 异常检测（Anomaly Detection）—— 描述性任务（有时也用于预测）

• 做什么：识别数据中显著不同于绝大多数其他数据的“异常点”或“离群点”。

• 通俗理解：在一群羊里找“披着羊皮的狼”，或者找出特别“格格不入”的那个数据。

• 经典案例：信用卡欺诈交易检测（突然出现一笔大额海外消费）；工业设备故障预警。

💡 快速区分小贴士：

• 预测性任务（分类/回归）：有明确的答案（标签），让机器照着答案学，然后去预测新数据。（有监督学习）

• 描述性任务（聚类/关联/异常）：没有标准答案，让机器自己去数据里找隐藏的结构和规律。（无监督学习）

相异性度量与相似性度量

一、相异性度量（Dissimilarity）—— 衡量“距离有多远”

核心逻辑：值域为 [0, +∞)，数值越大表示样本越不同。也叫“距离（Distance）”。

1. 欧氏距离 (L₂)		两点之间的直线几何距离。	默认首选，适合连续数值特征（必须提前标准化！）。
2. 曼哈顿距离 (L₁)		只能走直角拐弯的城市街区距离。	高维数据，或对异常值（离群点）比较敏感的数据。
3. 切比雪夫距离 (L∞)		各个维度中差值最大的那个维度。	关注“最坏情况”的差距（如国际象棋国王走步）。
4. 汉明距离	统计对应位置不同的个数	数一数两个字符串/向量有几个位置不一样。	标称属性（如性别、血型）或二进制字符串比较。

二、相似性度量（Similarity）—— 衡量“有多像”

核心逻辑：值域通常为 [0, 1]，数值越大表示样本越相似（Pearson相关系数为[-1,1]）。

1. 余弦相似度		只看方向是否一致，不管长度（模长）。	文本分类（TF-IDF向量）、推荐系统（用户评分偏好）。
2. Jaccard 系数		两个集合的交集占并集的比例。	非对称二元属性（如购物篮：都买了什么，忽略都没买的），文档去重。
3. SMC（简单匹配系数）	匹配的属性数 / 总属性数	粗暴地看所有属性（包括0-0匹配）有多少相同。	对称二元属性（如性别：男/女两个值地位平等）。
4. Pearson 相关系数	衡量线性相关强度	数值越接近 +1 越正相关，-1 越负相关。	连续型数据，判断两个变量是否同升同降。
5. 互信息 (Mutual Info)	基于信息熵	捕捉任意关系（包括非线性，如 ）。	强大的特征选择工具，比Pearson更通用。

三、🔥 新手最常见的 3 个“避坑”指南

• 叫 “距离”（Distance）→ 铁定是相异性（越大越远）。

• 叫 “系数/相似度/相关”（Coefficient/Similarity/Correlation）→ 铁定是相似性（越大越像）。

• Jaccard：忽略“双0”（都没买的东西不算相似点）。适合“是否患病”、“是否购买”。

• SMC：考虑“双0”（都没发生也算一致）。适合“性别”、“开关状态”。

• 用户A评分 [2,4]，用户B评分 [4,8]。欧氏距离很远（数量不同），但余弦相似度 = 1（偏好比例完全一致）。做喜好推荐时，用余弦；做物理距离时，用欧氏。

四、📊 算法选择决策矩阵（实战建议）

💡 一句话总结：“距离”选欧氏/曼哈顿，“方向”选余弦，“集合”选Jaccard，“非线性”选互信息。 理解这些，你就能轻松应对数据挖掘中大部分相似性的计算需求！

频繁项集与关联规则

设 X={a, b, c, d, e, f} 是频繁项集，则可由 X 产生（ ）个候选关联规则

计算过程：
频繁项集 X 的大小 k=6。
关联规则是形如 Y→(X−Y) 的蕴涵式，其中前提 Y 必须是非空真子集（即不能是空集，也不能是全集 X本身）。
因此，候选规则的总数为：

下面为你详细拆解这道题背后涉及的所有核心知识点，让你彻底理解原理：

1. 关联规则的基本形式

• 关联规则是形如 Y→Z的表达式，其中 Y 和 Z 是不相交的项集（即 Y∩Z=∅），且 Y∪Z=X（这里的 X 是当前的频繁项集）。

• 在规则中，Y 称为前提（LHS，左部），Z 称为结论（RHS，右部）。

2. 为什么是 ？（数学推导）

• 对于一个包含 k 个项的频繁项集 X，它总共有 个子集（包括空集 ∅ 和它本身 X）。

• 排除空集（∅）：规则的前提不能为空（∅→X 没有业务意义，也不符合定义）。

• 排除全集（X）：规则的结论不能为空（X→∅ 也是无意义的规则）。

• 因此，所有可能的二元划分（即把项集分成左部和右部）数量 = 。

3. “候选” vs “强” 规则（这道题的陷阱点）

• 题目问的是“候选关联规则”，这意味着我们仅仅是在做数学排列组合，还没有进行置信度（Confidence）筛选。

• 在实际的 Apriori 算法（规则生成步骤）中，这些候选规则还需要经过置信度阈值（minconf）的检验。只有置信度 ≥ minconf 的规则，才会成为最终的“强关联规则”。

• 例如，对于 X={a,b,c}（k=3），候选规则有 条：

• {a}→{b,c}

• {b}→{a,c}

• {c}→{a,b}

• {a,b}→{c}

• {a,c}→{b}

• {b,c}→{a}

4. 关于规则生成的“剪枝”原理（扩展知识点）

在 Apriori 算法生成规则时，有一个重要的反单调性定理：

如果规则 Y→(X−Y) 不满足置信度阈值，那么任何将前提 Y 缩小为 Y′（即 Y′⊂Y）的规则 Y′→(X−Y′) 也一定不满足置信度阈值。

基于这个定理，算法通常采用逐层递推的方式生成规则，而不是直接枚举全部 62 条，这就是 Apriori 对规则生成的剪枝优化。

5. 总结记忆口诀

簇评估和轮廓系数

聚类（Clustering）是一种“无监督学习”方法，这意味着数据没有标准答案（标签）。簇评估和轮廓系数就是用来回答“聚类效果好不好”这个问题的工具。

🎯 什么是簇评估？

簇评估就是衡量聚类结果质量的各类方法的总称。一个好的聚类，通常希望达到 “簇内紧密，簇间分离” 。

簇评估主要分为两类：

• 外部评估指标：适用于有真实标签的数据，通过对比聚类结果与真实标签来打分。常见的有调整兰德系数和互信息等。

• 内部评估指标：适用于没有真实标签的数据，仅凭数据自身的特征来评估。轮廓系数就是其中最常用的一种。

📏 轮廓系数：聚类的“综合评分卡”

轮廓系数 (Silhouette Coefficient) 是一个综合性的内部评估指标，它同时考虑了簇内的紧凑程度和簇间的分离程度。

1. 核心思想：为每个点打分

轮廓系数会为每一个数据点计算一个得分，最终取所有点得分的平均值作为整个聚类模型的最终得分。

2. 三步计算法

计算某个点 ( i ) 的轮廓系数，只需三步：

3. 如何看懂分数？

单个点的轮廓系数 s(i) 的范围在 -1 到 1 之间，可以直接告诉我们这个点被分得怎么样：

• 接近 1 (优秀)：意味着 b(i)≫a(i)，表示该点与所在簇非常紧密，且远离其他簇，分类正确。

• 接近 0 (边缘)：意味着 a(i)≈b(i)，表示该点正好处在两个簇的边界上。

• 接近 -1 (糟糕)：意味着 a(i)≫b(i)，表示该点到其他簇比到自己所在簇还近，很可能被分配错了。

总结规律：轮廓系数越接近 1，聚类效果越好；接近 0 表示有重叠；接近 -1 则表示聚类失败。

👍 轮廓系数的优缺点

• 优点：

  • 无需标签：这是它最核心的优势，非常实用。

  • 直观易懂：计算和解释都很简单。

  • 帮选 K 值：可以用来比较不同 K 值下的平均轮廓系数，选择最高的那个作为最佳聚类数。

• 缺点：

  • 对形状敏感：对于非凸形状（如长条形、环形等）的簇，评估结果可能不准确。

  • 计算开销：计算所有点对的距离，在大数据集上会比较耗时。

序列模式挖掘-子序列

在数据挖掘（特别是序列模式挖掘，Sequential Pattern Mining）中，子序列（Subsequence） 的判断是一个非常核心的基础概念。如果这个概念搞混，后续的“序列模式发现”和“Apriori算法”都将无法理解。

根据你之前学习的PPT内容（chap5_2_关联分析进阶.pptx），我将为你彻底拆解判断子序列的知识点，并指出新手最容易踩的 3 个坑。

1. 子序列的官方定义（数学逻辑）

2. 判断子序列的“三大铁律”（避开 90% 的坑）

新手判断子序列时，最容易犯以下三个错误，必须牢记：

① 铁律一：顺序必须严格一致（不能回退）

② 铁律二：不要求连续（可以跳跃）

③ 铁律三：项集内是“超集包含”（而非“相等”）

• 这是最重要且最容易被忽视的一点！

• 序列中每个位置的花括号 {} 里装的是一个项集（Itemset）。

• 判断时，只要主序列对应位置的项集包含了候选序列该位置的项集即可（即 ⊆，子集关系），不需要两个集合完全一样。

3. 手算演示（透彻理解）

假设主序列（某用户的实际浏览路径）为：

A=<{首页},{电子产品,手机},{电脑配件},{鼠标,键盘}>

我们来判断以下 3 个候选序列是否为 A 的子序列：

4. 为什么要学这个？（在算法中的应用）

在 Apriori 算法的候选剪枝（Pruning）步骤中，判断子序列极其重要。

规则：在生成候选 k-序列时，如果某个候选序列的 (k-1)-子序列不是频繁的，那么它本身一定不是频繁的，直接删除（剪枝）。

5. 总结记忆口诀

“顺序不能乱，中间可以断，集合只需含（子集），少一个都不算。”

• 顺序不能乱：下标必须从小到大。

• 中间可以断：不要求连续。

• 集合只需含：主序列的项集只需“包含”候选序列的项集（超集关系），不必完全相等。

理解好这个判断标准，你就能轻松看懂序列模式挖掘的候选项集生成和剪枝过程了！

数据挖掘的五大任务全景式分类整理

1. 分类方法（有监督学习 · 预测离散类别）

核心目标：判断样本属于哪一个类别（如：是/否，猫/狗）。

• 经典算法：

  • 决策树（ID3, C4.5, CART）

  • 支持向量机（SVM）

  • 逻辑回归（Logistic Regression）

  • K-近邻（KNN）（属于“懒惰学习”，但做的是分类任务）

  • 朴素贝叶斯（Naive Bayes）

  • 神经网络 / 深度学习（如MLP、CNN用于图像分类）

2. 回归方法（有监督学习 · 预测连续数值）

核心目标：预测一个具体的数值（如：房价、温度、销售额）。

• 经典算法：

  • 线性回归（Linear Regression）

  • 回归树（Regression Tree）（CART算法用于回归的部分）

  • 支持向量回归（SVR）

  • 神经网络（输出层无激活函数，预测具体值）

3. 聚类方法（无监督学习 · 自动分组）

核心目标：在没有标签的情况下，根据数据的相似性自动将其划分成不同的组（簇）。“物以类聚，人以群分”。

• 经典算法：

  • K-Means（基于划分，最常用）

  • DBSCAN（基于密度，本题选项，能处理任意形状的簇和噪声点）

  • 层次聚类（Hierarchical Clustering）（生成树状图）

4. 关联分析方法（无监督学习 · 找搭配规律）

核心目标：发现数据中不同项目之间的频繁模式或依赖关系（如：购物篮分析）。

• 经典算法：

  • Apriori 算法

  • FP-Growth 算法

5. 异常检测方法（无监督/有监督 · 找离群点）

核心目标：识别数据中显著不同于绝大多数数据的“异常点”（如：信用卡盗刷、设备故障预警）。

• 经典算法：

  • 孤立森林（Isolation Forest）

  • 局部异常因子（LOF）

时间复杂度

在下面的表格中，记：

• n = 样本数量

• d = 特征维度（属性个数）

• T = 迭代次数（如梯度下降轮数、树的棵数）

• K = 聚类数 / 类别数

• n_sv = 支持向量个数

1. 分类与回归方法（有监督学习）

2. 聚类方法（无监督学习）

3. 关联规则挖掘

4. 异常检测（补充）

💡 实战避坑指南（应对面试/考试）

📝 速记口诀（应对选择/填空）

“训练线性看 nd，KNN 预测扫全量；Apriori 指数炸，SVM 三次方扛大旗。”

决策树算法-叶节点的熵

在决策树算法中，熵（Entropy） 是衡量节点“不纯度（混乱程度）”的核心指标，而叶节点是树的末端（最终决策层）。两者的关系直接决定了决策树的分裂逻辑和停止条件。

1. 叶节点的熵到底在算什么？

叶节点的熵，本质上是衡量该叶节点中样本类别的纯净度。
公式：（其中  是该节点中第 i 类样本所占的比例）

• 熵 = 0（最理想）：该叶节点里 100% 的样本都属于同一个类别（如全是“好苹果”）。此时节点“纯净”，不需要再分裂。

• 熵 = 1（二分类时最大）：该叶节点里正负样本 各占 50%（如 5个“好苹果”，5个“坏苹果”）。此时节点最“混乱”，如果这是叶节点，说明这个分法毫无区分能力。

2. 构建树时，决策树如何利用“叶节点的熵”来分裂？

决策树的生长是一个自上而下、贪心递归的过程，核心逻辑是降低叶节点的熵。

• 目标：每次分裂时，都希望分裂后产生的子节点（未来的叶节点）的熵尽可能低。

• 衡量工具（信息增益）：

  

  算法会遍历所有特征，选择信息增益最大（即让子节点加权平均熵最小）的那个特征进行分裂。

通俗理解：父节点是一团乱麻，算法在不断寻找能把“这团乱麻”切分成几块“相对有序（低熵）”的切法。

3. 什么情况下停止分裂（形成叶节点）？

在实际建树时，我们不会一直分裂到每个叶节点熵为 0（这会过拟合）。通常通过预剪枝让节点提前成为叶节点：

4. 🧮 手算演示：叶节点熵值实战对比

假设某节点有 10 个样本，分属 A、B 两类：

5. 🔥 新手必看：熵 vs 基尼指数（Gini）

你可能会疑惑，CART 算法默认用基尼指数，到底选哪个？

• 熵（ID3/C4.5）：对数运算，计算稍慢。对纯度变化 更敏感（在 pp 接近 0 或 1 时，曲线最陡），适合对树的纯度要求极高的场景。

• 基尼指数（CART 默认）：平方运算，计算更快。在实际工程（如 sklearn 默认 criterion='gini'）中，两者效果差异极小，但基尼指数因为没有 log 运算，训练速度更快。

一句话总结：熵是衡量叶节点混乱程度的“温度计”；信息增益是决定如何分裂的“指挥棒”；叶节点熵=0是终极目标，但为了防止过拟合，我们往往接受熵稍高一点的叶节点（预剪枝）。

AdaBoost算法

关于 Adaboost 算法，下列说法不正确的为（ ）
(A) 模型的权重和为 1 (B) 增加错误分类样本的权重
(C) 是一种集成算法 (D) 样本权重的和为 1

1. AdaBoost 的核心思想（流程）

AdaBoost（Adaptive Boosting）是一种串行的集成学习方法。它的工作流程就像一个“师生辅导”过程：

2. 新手最容易犯的 5 个认知误区（考点）

• 误区 1（本题考点）：模型权重  之和 ≠ 1。只有样本权重经过归一化后和为 1。

• 误区 2：AdaBoost 的基学习器必须是“决策树桩”（深度为1的树）。实际上不是必须的，虽然默认是树桩，但理论上你可以用任何支持样本权重的弱学习器（如线性分类器）。

• 误区 3：AdaBoost 对噪声很鲁棒。其实恰恰相反，AdaBoost 对异常值和噪声极其敏感。因为它会疯狂增加难分样本（包括噪声）的权重，如果噪声是离群点，模型会为了拟合它而牺牲泛化能力。

• 误区 4：AdaBoost 和 GBDT 都是降低方差。错误，AdaBoost 和 GBDT 都是降低偏差（通过串行拟合残差/难样本），而随机森林（Bagging）才是降低方差。

• 误区 5：样本权重更新后，错分样本的权重一定大于正确样本。不一定，它受  影响。如果上一轮分类器已经很好了（很大），错分样本的权重会被急剧放大；但如果上一轮分类器表现一般（​ 较小），权重变化幅度有限。

总结记忆口诀

“串行集成降偏差，错分权重翻倍加；模型权重看误差，和不一定等于 1（一）。”

sklearn 标准接口

Scikit-learn 通用 API 三部曲（必背！）

决策树中不纯度度量

1. 基尼系数（Gini Index）—— CART 算法默认

• 公式：

• 通俗理解：从当前节点随机抽取两个样本，它们属于不同类别的概率。这个概率越大，说明节点越“混”。

• 取值范围：二分类问题中为 [0, 0.5]。

  • 纯度最高（全是同一类）：Gini = 0

  • 纯度最低（各类别 50% : 50%）：Gini = 0.5

2. 熵（Entropy） / 信息增益（Information Gain）—— ID3 / C4.5 算法

• 公式：

• 通俗理解：衡量节点数据的“混乱程度”或“不确定性”。你对下一个样本的猜测越难，熵就越大。

• 取值范围：二分类问题中为 [0, 1]。

  • 纯度最高（全是同一类）：Entropy = 0

  • 纯度最低（各类别 50% : 50%）：Entropy = 1

3. 分类误差（Classification Error）—— 极少用于分裂

• 公式：

• 通俗理解：如果把这个节点里占比最多的类别作为预测结果，出错的概率。

• 取值范围：二分类问题中为 [0, 0.5]。

🧮 手算小练习（加深印象）

假设当前节点有 10 个样本：6 个“是”，4 个“否”。

💡 实战避坑指南：
虽然熵在理论上更敏感，但在工程实践中（如 sklearn），基尼系数和熵的表现几乎没差别。因为基尼不需要计算 log，在大数据下训练速度会稍快一点，所以 sklearn 默认选 gini。如果你的数据特别复杂，想追求极致的纯度，切到 entropy 也是完全可以的。

数据离散化方法

1. 三大主流离散化方法（必背）

2. 为什么没有“方差离散化”？（易混淆点）

• 方差是统计学中用来衡量一组数据离散程度（波动大小）的指标（公式 ）。

• 在数据预处理中，方差常用于特征选择（如方差过滤：剔除方差接近0的低信息量特征），而不是用来切分区间的。所以它不属于离散化方法。

总结：记住“等宽看极值，等频看数量，聚类看分布”，同时排除掉“方差”这个统计量干扰项，这道题就能稳稳拿分了！

混淆矩阵

1. 混淆矩阵的 4 个基本元素（务必滚瓜烂熟）

假设我们有一个二分类问题（正例 Positive 和 负例 Negative），模型的预测结果与真实情况会形成以下 2×2 表格：

助记技巧：第二个字母（P/N）代表“真实情况”，第一个字母（T/F）代表“预测对了/错了”。
例如：FN 是 False + Negative → 预测为负（Negative）是错的（False）→ 说明它其实是正例，即“漏报”。

2. 由这四个数衍生出的核心评估指标（必考）

考试中不会只让你认字母，通常会结合场景让你计算或选择以下指标：

总结记忆口诀

“阳（P）阴（N）真假（T/F）要分清，TN 就是负例判对刑（正确预测负样本）。”