本文介绍了十种常用的机器学习算法，包括线性回归、逻辑回归、线性判别分析、朴素贝叶斯、KNN、随机森林等。
1.线性回归
在统计学和机器学习领域，线性回归可能是最知名和最容易理解的算法之一。
预测的主要关注点是最小化模型误差或以可解释性为代价做出最准确的预测。我们将学习并重用许多其他领域(包括统计学)的算法来实现这些目标。
线性回归模型表示为一个方程，它为输入变量找到一个特定的权重(即系数b)，然后描述一条最符合输入变量(x)和输出变量(y)之间关系的直线。
线性回归
例如:y = B0+B1 * x
我们会在给定输入值X的情况下预测Y，线性回归学习算法的目的是求系数B0和B1的值。
我们可以使用不同的技术从数据中学习线性回归模型，比如普通最小二乘法的线性代数解法，梯度下降优化等。
线性回归已有200多年的历史，并得到了广泛的研究。在使用这种技术时，有一些很好的经验法则:我们可以删除非常相似(相关)的变量，尽可能去除数据中的噪声。线性回归是一种简单的技术，运算速度很快，也是适合初学者尝试的经典算法。
2.逻辑回归
逻辑回归是机器学习从统计学领域借用的另一种技术。是二元分类问题的首选。
和线性回归一样，Logistic回归的目的是找到每个输入变量的权重系数值。但不同的是，logistic回归的输出预测结果是由一个叫做“Logistic函数”的非线性函数转换而来的。
逻辑函数看起来像一个大“S”，它会将任何值转换为0-1的范围。这是非常有用的，因为我们可以对逻辑函数的输出应用一个规则，从而得到0-1范围内的捕获值(比如阈值设为0.5，函数值小于0.5输出值为1)，预测类别的值。
逻辑回归
由于模型的学习方式，逻辑回归的预测结果也可以作为给定数据实例属于0类或1类的概率。这对于需要为预测结果提供更多理论依据的问题非常有用。
与线性回归类似，逻辑回归在删除与输出变量无关且彼此非常相似(相关)的属性时效果更好。该模型学习速度快，对二分类问题非常有效。
3.线性判别分析
Logistic回归是一种传统的分类算法，其应用场景仅限于二元分类问题。如果您有两个以上的类别，那么线性判别分析(LDA)是首选的线性分类技术。
LDA的表示非常直接。它包含为每个类计算的数据统计属性。对于单个输入变量，这些属性包括:
每个类的均值。所有类的方差。
每一类的平均值。所有类别的方差。
线性判别分析
通过计算每个类别的判别值并将该类别预测为具有最大判别值的类别来获得预测结果。这种技术假设数据符合高斯分布(钟形曲线)，所以最好事先删除数据中的异常值。LDA是一种简单有效的分类和预测建模方法。
4.分类和回归树
决策树是机器学习中一种重要的预测建模算法。
决策树可以表示为二叉树。这个二叉树和二叉树在算法设计和数据结构上是一样的，没有什么特别之处。每个节点代表一个输入变量(x)和一个基于该变量的分支点(假设该变量是数值型的)。
决策图表
决策树的叶节点包含用于进行预测的输出变量(y)。通过在树的每个分支路径上行走直到到达叶节点并输出叶节点的类别值来获得预测结果。
决策树的学习速度很快，做预测的速度也很快。他们往往在大量问题上是准确的，不需要任何数据预处理的特殊准备。
5 .朴素贝叶斯
朴素贝叶斯是一种简单而强大的预测建模算法。
该模型由两种可以从训练数据直接计算的概率组成:1)数据属于每一种的概率；2)给定每个x值，数据属于每个类的条件概率。一旦计算出这两个概率，我们就可以利用贝叶斯定理和概率模型来预测新的数据。当你的数据是实值时，通常假设数据符合高斯分布(钟形曲线)，这样你就可以很容易地估计出这些概率。
托马斯·贝叶斯
朴素贝叶斯之所以被称为“朴素”，是因为它假设每个输入变量都是相互独立的。对于真实数据来说，这是一个强烈而不切实际的假设。然而，该算法在大量复杂问题中非常有效。
6.k最近邻算法
k近邻(KNN)算法非常简单有效。KNN的模型表示是整个训练数据集。很简单吧？
新数据点的预测结果是通过在整个训练集上搜索与该数据点最相似的K个实例(邻居)并汇总这K个实例的输出变量得到的。对于回归问题，预测结果可能是输出变量的平均值；对于分类问题，预测结果可能是模式(或最常见的)类的值。
关键在于如何判断数据实例之间的相似性。如果您的数据要素具有相同的比例(例如，都以英寸为单位测量)，那么最简单的测量技术是使用欧几里德距离，您可以根据输入变量之间的差异直接计算出该值。
k最近邻
KNN可能需要大量内存或空空间来存储所有数据，但它只在需要预测时实时执行计算(或学习)。随着时间的推移，还可以对训练样本进行更新和管理，保证预测的准确性。
使用距离或接近度的度量方法，在维度很高的情况下(输入变量很多)可能会崩溃，可能会对算法在你的问题上的性能产生负面影响。这就是所谓的次元灾难。这告诉我们，应该只使用那些与预测的输出变量最相关的输入变量。
7.学习矢量量化
KNN算法的一个缺点是需要处理整个训练数据集。学习矢量量化算法(LVQ)允许您选择所需训练样本的数量，并准确地学习这些样本。
学习矢量量化
LVQ的表达式是一组码本向量。它们在开始时是随机选取的，经过学习算法的多次迭代，最终以最好的方式总结出训练数据集。通过学习，码本向量可以像K个最近邻一样用于执行预测。通过计算每个码本向量和新数据实例之间的距离，可以找到最相似的邻居(最匹配的码本向量)。然后返回最佳匹配单元的类别值(分类)或真实值(回归)作为预测结果。如果您将数据重新调整到相同的范围(例如，在0和1之间)，您可以获得最佳的预测结果。
如果你发现KNN可以在你的数据集上得到很好的预测结果，那么试试LVQ技术，它可以减少对内存空的需求，而不需要像KNN那样存储整个训练数据集。
8.支持向量机
支持向量机(SVM)可能是目前最流行和讨论最多的机器学习算法之一。
超平面是一条划分输入变量空的“直线”。支持向量机会根据类别(类别0或类别1)选择一个最佳划分输入变量空之间点的超平面。在二维空空间中，你可以把它想象成一条直线，假设所有的输入点都可以被这条直线完全分割。SVM的学习算法旨在通过超平面寻找最佳的类分割系数。
支持向量机
超平面和最近的数据点之间的距离称为边缘。能把两类分开的最佳超平面是间距最大的直线。只有这几点与超平面的定义和分类器的构造有关。这些点称为支持向量，它们支持或定义超平面。在实践中，人们使用一种优化算法来寻找使区间最大化的系数值。
支持向量机(SVM)可能是目前可以直接使用的最强大的分类器之一，值得在自己的数据集上尝试。
9.装袋方法和随机森林
随机森林是最流行、最强大的机器学习算法之一，是一种集成的机器学习算法。
自助法是一种从数据样本中估计数量(如平均值)的强大统计方法。你需要从数据中抽取大量样本，计算平均值，然后对每个样本的计算平均值进行平均，从而得到所有数据真实平均值的更好估计。
装袋用了同样的方法。但是最常见的方法是使用决策树，而不是估计整个统计模型。Bagging会从训练数据中抽取多个样本，然后为每个数据样本建立模型。当你需要预测新的数据时，每个模型都会产生一个预测结果，Bagging会对所有模型的预测结果进行平均，以便更好地估计真实的产出值。
随机森林
随机森林是这种方法的改进，它会创建一棵决策树，这样就不需要选择最优分割点，而是通过引入随机性来进行次优分割。
因此，为每个数据样本创建的模型比在其他情况下创建的模型更独特，但这种独特的方式仍然可以确保高精度。结合它们的预测结果可以更好地估计真实的输出值。
如果你使用一个方差很大的算法(比如决策树)并且得到了很好的结果，那么你通常可以通过装袋算法得到更好的结果。
10.升压和AdaBoost
Boosting是一种集成技术，试图通过使用大量弱分类器来创建强分类器。要实现Boosting方法，首先需要使用训练数据建立一个模型，然后创建第二个模型(试图纠正第一个模型的错误)。我们不会停止添加新的模型，直到模型可以完美地预测训练集，或者添加的模型数量达到上限。
AdaBoost是第一个真正成功的为二进制分类问题开发的Boosting算法。是人们理解助推的最好起点。目前的Boosting方法是基于AdaBoost的，最著名的是随机梯度提升。
adaboost算法
AdaBoost使用浅层决策树。在第一个树被创建之后，该树在每个训练实例上的性能被用来测量下一个树应该给每个训练实例多少权重。难以预测的训练数据的权重会增加，而容易预测的样本的权重会减少。模型是一个接一个创建的，每个模型都会更新训练样本的权重，从而影响序列中下一个树的学习。在建立了所有的树之后，我们可以预测新的数据，并根据每棵树在训练数据上的准确性来衡量每棵树的性能。
因为算法在纠错上投入了这么多的精力，所以在数据清洗过程中删除离群点是非常重要的。
本文来自醉红颜投稿，不代表舒华文档立场，如若转载，请注明出处：https://www.chinashuhua.cn/24/520162.html
微信扫一扫 
