弱分类器强分类器

如果一个分类器的分类准确率在60%-80%，即：比随机预测略好，但准确率却不太高，我们可以称之为“弱分类器”，比如CART(分类回归树算法)。反之，如果分类精度90%以上，则是强分类器

不建议使用LR作为基分类器，因为它如果造成某特征或某样本的过拟合，不容易被平滑掉。一般的说，如果一个分类器的分类准确率在60%-80%，即：比随机预测略好，但准确率却不太高，我们可以称之为“弱分类器”，比如CART。

弱模型与强模型:（都不完美）

弱模型:（bagging和stacking）

弱模型是偏差高（在训练集上准确度低），方差小（防止过拟合能力强）的模型。在不同的训练样本集上性能差异并不大，因此模型方差小，抗过拟合能力强，因此boosting算法就是基于弱模型来实现防止过拟合现象。

强模型:（boosting）

强模型是偏差低（误差小），方差高（泛化能力差）的模型。我们常说集成学习框架中的基模型是弱模型，但是并不是所有集成学习框架中的基模型都是弱模型。

• bagging和stacking中的基模型为强模型（偏差低方差高），boosting中的基模型为弱模型。

同质弱学习器与异质弱学习器：

在大多数情况下（包括在众所周知的 bagging 和 boosting 方法中），我们会使用单一的基础学习算法，这样一来我们就有了以不同方式训练的同质弱学习器。

这样得到的集成模型被称为「同质的」。然而，也有一些方法使用不同种类的基础学习算法：将一些异质的弱学习器组合成「异质集成模型」，比如Stacking