机器学习之决策树 & 集成学习 & 聚类

1 决策树

1.1 决策树是什么

决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果

1.2 决策树的建立过程：

1.特征选择：选取有较强分类能力的特征。

2.决策树生成：根据选择的特征生成决策树。

3.决策树也易过拟合，采用剪枝的方法缓解过拟合。

1.3CART决策树

1.3.1【知道】Cart树简介

Cart模型是一种决策树模型，它即可以用于分类，也可以用于回归。

分类和回归树模型采用不同的最优化策略。Cart回归树使用平方误差最小化策略，Cart分类生成树采用的基尼指数最小化策略。

1.3.2【理解】基尼指数计算方法

1.3.3【知道】比较

1.3.4 API介绍

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

• criterion

  • 特征选择标准

  • "gini"或者"entropy"，前者代表基尼系数，后者代表信息增益。一默认"gini"，即CART算法。

• min_samples_split

  • 内部节点再划分所需最小样本数

  • 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。 默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。我之前的一个项目例子，有大概10万样本，建立决策树时，我选择了min_samples_split=10。可以作为参考。

• min_samples_leaf

  • 叶子节点最少样本数

  • 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。之前的10万样本项目使用min_samples_leaf的值为5，仅供参考。

• max_depth

  • 决策树最大深度

  • 决策树的最大深度，默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间

• random_state

  • 随机数种子

1.3.5 回归决策树

【了解】回归决策树构建原理

CART 回归树和 CART 分类树的不同之处在于:

模型训练.
estimator = DecisionTreeRegressor()
estimator.fit(x_train, y_train)

1.4 决策树剪枝

1.4.1【知道】什么是剪枝?

剪枝 (pruning)是决策树学习算法对付 过拟合 的主要手段。

剪枝是指将一颗子树的子节点全部删掉，利用叶子节点替换子树(实质上是后剪枝技术)，也可以（假定当前对以root为根的子树进行剪枝）只保留根节点本身而删除所有的叶子，以下图为例：

1.4.2【知道】常见减枝方法汇总

决策树剪枝的基本策略有"预剪枝" (pre-pruning）和"后剪枝"（post- pruning) 。

1.4.3【了解】剪枝方法对比

预剪枝优点：

• 预剪枝使决策树的很多分支没有展开，不单降低了过拟合风险，还显著减少了决策树的训练、测试时间开销

预剪枝缺点：

• 有些分支的当前划分虽不能提升泛化性能，甚至会导致泛化性能降低，但在其基础上进行的后续划分却有可能导致性能的显著提高

• 预剪枝决策树也带来了欠拟合的风险

后剪枝优点：

• 比预剪枝保留了更多的分支。一般情况下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝

后剪枝缺点：

• 但后剪枝过程是在生成完全决策树之后进行的，并且要自底向上地对树中所有非叶子节点进行逐一考察，因此在训练时间开销比未剪枝的决策树和预剪枝的决策树都要大得多。

2 集成学习  

2.1【知道】集成学习是什么

集成学习是机器学习中的一种思想，它通过多个模型的组合形成一个精度更高的模型，参与组合的模型成为弱学习器（基学习器）。训练时，使用训练集依次训练出这些弱学习器，对未知的样本进行预测时，使用这些弱学习器联合进行预测。

集成学习通过建立几个模型来解决单一预测问题。它的工作原理是 生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

2.2【了解】集成学习分类

集成学习算法一般分为：bagging和boosting。

【理解】bagging集成

Baggging 框架通过有放回的抽样产生不同的训练集，从而训练具有差异性的弱学习器，然后通过平权投票、多数表决的方式决定预测结果。

【理解】boosting集成

Boosting 体现了提升思想，每一个训练器重点关注前一个训练器不足的地方进行训练，通过加权投票的方式，得出预测结果。

Boosting是一组可将弱学习器升为强学习器算法。这类算法的工作机制类似：

1.先从初始训练集训练出一个基学习器

2.在根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续得到最大的关注。

3.然后基于调整后的样本分布来训练下一个基学习器；

4.如此重复进行，直至基学习器数目达到实现指定的值T为止。

5.再将这T个基学习器进行加权结合得到集成学习器。

简而言之：每新加入一个弱学习器，整体能力就会得到提升

Bagging 与 Boosting的区别

区别一:数据方面

• Bagging：有放回采样

• Boosting：全部数据集, 重点关注前一个弱学习器不足

区别二:投票方面

• Bagging：平权投票

• Boosting：加权投票

区别三:学习顺序

• Bagging的学习是并行的，每个学习器没有依赖关系

• Boosting学习是串行，学习有先后顺序

2.3 随机森林

2.3.1【理解】算法思想

随机森林是基于 Bagging 思想实现的一种集成学习算法，它采用决策树模型作为每一个基学习器。其构造过程：

随机森林的步骤: 

说明：

（1）随机森林的方法即对训练样本进行了采样，又对特征进行了采样，充分保证了所构建的每个树之间的独立性，使得投票结果更准确。

（2）随机森林的随机性体现在每棵树的训练样本是随机的，树中每个节点的分裂属性也是随机选择的。有了这2个随机因素，即使每棵决策树没有进行剪枝，随机森林也不会产生过拟合的现象。

随机森林中有两个可控制参数：

• 森林中树的数量（一般选取值较大）

• 抽取的属性值m的大小。

结论：

如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样。

如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”，也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

2.3.2【知道】随机森林 API

sklearn.ensemble.RandomForestClassifier()

n_estimators：决策树数量，(default = 10)

Criterion：entropy、或者 gini, (default = gini)

max_depth：指定树的最大深度，(default = None 表示树会尽可能的生长)

max_features="auto”, 决策树构建时使用的最大特征数量

• If "auto", then max_features=sqrt(n_features).

• If "sqrt", then max_features=sqrt(n_features)(same as "auto").

• If "log2", then max_features=log2(n_features).

• If None, then max_features=n_features.

bootstrap：是否采用有放回抽样，如果为 False 将会使用全部训练样本，(default = True)

min_samples_split： 结点分裂所需最小样本数，(default = 2)

• 如果节点样本数少于min_samples_split，则不会再进行划分.

• 如果样本量不大，不需要设置这个值.

• 如果样本量数量级非常大，则推荐增大这个值.

min_samples_leaf： 叶子节点的最小样本数，(default = 1)

• 如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝.

• 较小的叶子结点样本数量使模型更容易捕捉训练数据中的噪声.

min_impurity_split: 节点划分最小不纯度

• 如果某节点的不纯度(基尼系数，均方差)小于这个阈值，则该节点不再生成子节点，并变为叶子节点.

• 一般不推荐改动默认值1e-7。

3 聚类

3.1【知道】聚类算法介绍

一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。

在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。

3.2【了解】聚类算法在现实中的应用

• 用户画像，广告推荐，Data Segmentation，搜索引擎的流量推荐，恶意流量识别

• 基于位置信息的商业推送，新闻聚类，筛选排序

• 图像分割，降维，识别；离群点检测；信用卡异常消费；发掘相同功能的基因片段

3.3【知道】分类

3.4 聚类API的初步使用

【了解】api介绍

• sklearn.cluster.KMeans(n_clusters=8)

  • 参数:

    • n_clusters:开始的聚类中心数量

      • 整型，缺省值=8，生成的聚类数，即产生的质心（centroids）数。

  • 方法:

    • estimator.fit(x)

    • estimator.predict(x)

    • estimator.fit_predict(x)

      • 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)

3.5 Kmeans算法流程

【掌握】k-means聚类流程

1、随机设置K个特征空间内的点作为初始的聚类中心

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别

3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）

4、如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程

3.6 【了解】 SSE-误差平方和

簇的SSE 越小，表示数据点越接近它们的中心，聚类效果越好。

3.7【了解】肘部法

肘部法可以用来确定 K 值.

• 对于n个点的数据集，迭代计算 k from 1 to n，每次聚类完成后计算 SSE

• SSE 是会逐渐变小的，因为每个点都是它所在的簇中心本身。

• SSE 变化过程中会出现一个拐点，下降率突然变缓时即认为是最佳 n_clusters 值。

• 在决定什么时候停止训练时，肘形判据同样有效，数据通常有更多的噪音，在增加分类无法带来更多回报时，我们停止增加类别。