MaXiaoTiao
SVM算法
SVM 算法
SVM 的基本原理
基本原理：SVM的目标是在特征空间中找到一个最优的超平面，以此来区分不同的类别。这个超平面的选择标准是最大化边界，即保证最近的数据点（支持向量）到超平面的距离最大化。这种最大化边界的方法使得SVM具有很好的泛化能力。
更通俗的语言来解释支持向量机（SVM）：
想象一下，你有一堆苹果和橘子，它们混在一起，你要把它们分开。每种水果都有各自的篮子，你的目标是找到一种方法，只用一条线就能把所有的苹果和橘子完美分开，而且你希望这条线离所有的水果都尽可能地远，这样即使有新的水果加入，它们也不太可能掉到线的错误一侧。
在二维平面上，这条线就是一个“超平面”，在三维空间中，它就是一个平面。SVM就是一种找到这个最佳分隔线的聪明方法。、
SVM 的算法流程
找到这个分隔平面（在SVM中称为超平面）的过程，其实就是SVM算法的核心。这里用通俗的语言简单解释一下这个过程：
收集数据：首先，你需要收集一堆数据，这些数据就像是不同种类的水果，每个水果都有一些特征（比如颜色、大小、重量等），这些特征就是我们说的“特征空间”。
标记数据：每个数据点（水果）都会被标记上类别，比如苹果或橘子，这些标记就像是水果的篮子。
找到尝试的平面：SVM算法会尝试在这些数据点之间找到很多不同的平面，看看哪个平面能最好地区分这两类水果。
最大化间隔：SVM的目标是找到一个平面，使得最近的苹果和橘子（支持向量）到这个平面的距离最大化。这个距离叫做“间隔”，最大化间隔的目的是为了让平面尽可能地远离所有的水果，这样即使有新的水果加入，也不容易越过这个平面跑到另一边去。
处理复杂的数据：如果这些水果散布得非常复杂，没有哪个平面能够直接将它们分开，SVM就会用到“核技巧”。核技巧就像是给水果施加魔法，让它们在一个新的、我们看不见的空间里变得容易分开。在新空间里，SVM可以找到一个平面来分开这些“变形”后的水果。
优化问题：找到最佳平面的过程，实际上是解决一个优化问题。这个问题可以想象成一个游戏，目标是让一个分数（间隔）尽可能地大，同时遵守规则（比如不能让水果越过平面跑到另一边）。
算法求解：SVM使用一些数学技巧（比如拉格朗日乘子法和对偶问题）来简化和求解这个优化问题。SMO算法是其中一种流行的求解方法，它通过每次只调整两个数据点，逐步找到最佳平面。
最终的平面：经过一系列的计算和调整，SVM最终会找到一个最佳的平面。这个平面就像是一条完美的分界线，把苹果和橘子分开，而且尽可能地让这条线远离所有的水果，以确保新来的果实也大概率能被正确分类。
核函数
核函数是支持向量机（SVM）中的一个关键概念，它在处理非线性问题时发挥着重要作用。让我们用一个简单的例子来解释核函数：
想象你有两组水果，一组是苹果，另一组是橘子。在一张纸上画一个图，横轴代表苹果的重量，纵轴代表橘子的重量。如果苹果和橘子在这张图上很容易用一条直线分开，那么我们就说它们是线性可分的。但是，如果苹果和橘子在这张图上混在一起，没有一条直线能将它们完全分开，这时候我们就需要用到核函数。
核函数就像是一台“魔法机器”，它可以把苹果和橘子的数据输入进去，然后输出一个新的数据，这个新数据在一个我们看不见的新空间里。在这个新空间里，苹果和橘子可能就变得容易分开了。换句话说，核函数帮助我们在更高维的空间中找到能够区分数据的平面。
这里有几种常见的核函数：
线性核：最简单的核函数，它实际上并不改变数据，只是直接将它们用于线性分割。如果数据本身就是线性可分的，这个核函数就很有用。
多项式核：这个核函数会考虑数据点之间多种不同方式的组合，就像是给数据点添加了额外的维度。比如，它可以在新空间中创建数据点的平方或者立方，这样在原始空间中无法线性分割的数据，在新空间中可能就能线性分割了。
径向基函数（RBF）核：也称为高斯核，它会给每个数据点分配一个“影响力范围”，这个范围通常是以数据点为中心的一个圆。在新空间中，靠近某个数据点的其他点会受到更大的影响，而远离的点影响较小。RBF核是处理非线性问题时最常用的核函数之一。
Sigmoid核：这个核函数会将数据点转换为类似于神经网络中激活函数的形式，它试图在新空间中创建一种类似于神经元激活的模式。