交替方向法的双子支持向量机的
分类是数据挖掘的一种非常重要的方法。我们常用支持向量机来解决分类问题，支持向量机是在1995由两人提出并发展而来的，它是一种有效的监督学习算法，在图像处理等方面有广泛的应用。近年来等人提出了双子支持向量机。双子支持向量机的优点是采用非平行的超平面作为分类器，它是求解两个较小的二次规划，所以它的计算效率快。在如今的大数据时代，提高算法的计算效率显得非常重要。而作为求解大规模优化问题的交替方向乘子法，它的核心思想是将我们要求的问题分解成几个较小的子问题，通过求解小规模的子问题的解从而求得原问题的解。这样就降低了解决问题的难度，减少了计算时间，提高了计算效率。本文虑用交替方向法来解决双子支持向量机模型。通过本文的研究可知，交替方向法是求解双子支持向量机模型的一种有效方法。关键词 双子支持向量机,最小二乘支持向量机,拉格朗日函数,增广拉格朗日函数,交替方向乘子法
目 录
1. 绪论 1
1.1研究背景 1
1.2 发展概况 1
1.3 研究现状 3
1.4 研究内容 3
2.支持向量机与交替方向法 4
2.1 线性支持向量机 5
2.2 最小二乘支持向量机（LSSVM） 7
2. 3. LSSVM与SVM的区别 8
2.3.1 如何在规模过大时求解 8
2.3.2 构造优化问题 8
2.3.3 优化问题求解方法 8
2.4 交替方向乘子法 9
3. 交替方向法求解双子支持向量机 11
3.1 双子支持向量机 11
3.2 最小二乘双子支持向量机 13
3.3 用交替方向法求解双子支持向量机 14
3.3.1 ADMM求解TWSVM的步骤 14
3.3.2 算法过程 16
4. 数值实验 17
4.1 实验环境 17
4.2 实验结果 17
4.2.1 随机数据 17
4.2.2 uci数据 18
结论 20
致谢 21
参考文献 22
1. 绪论
1 *好棒文|www.hbsrm.com +Q: ￥351916072$
.1研究背景
机器学习作为一个在21世纪被提出的新的研究领域，包含了许多的学科知识包括矩阵、统计、优化。机器学习就是让机器进行像人类一样获取知识的学习活动，通过此类活动让机器掌握新的知识或者技能，并且为了增强自身的功能作用，通过这种学习行为，对现有的知识结构进行重组。机器学习的对象可以是真实世界中的各种具体实物，如图像照片，人，大象和细菌，同样各种各样的抽象概念也是可以学习的，比如人的喜怒哀乐等等各种情绪。这些一个个的称做样本，我们要想区分出样本的不同以便区分出来，就需要描述样本的属性。从上述的样本角度来看，这些区分样本的属性就如人的高矮，照片的颜色，细菌的形状，大象的雌雄，喜怒哀乐情绪程度，而我们想要描述出这样的一个样本就是把所有属性组合在一起，这样的描述样本属性就成为样本之间相似或相异的原因依据，这就成为机器学习中各个样本之间的不同依据也成为它们的标识。每一种样本的属性是多种多样的，比如把一张图作为训练样本，那这张图的样本特征就是这张图的像素。从向量的角度上看，如果是把每个特征属性对应了向量的一个分量，那么每个样本就可以看作是一个行向量。
机器学习中的分类问题就是计算机通过对许多的已知的训练样本的学习，来对未知样本分类的能力，比如通过对一个人身体某些医学指标的学习来推断这个人是否患病。把整个向量空间看作学习样本的一个集合，则每个空间中的点就是其中的一个样本，不同的向量坐标对应着不同分类类别的点，而在向量空间中的机器学习中的分类问题就是通过对若干己知类别点的坐标进行学习来推断和预测其它点的类别。
1.2 发展概况
在上世纪50年代初提出了采用一个线性函数做为分类器来进行分类，这样的分类器把它放在向量空间里面就是一个超平面，坐标处在超平面一边的样本与另一边的样本区分为不同的类别，而要寻找的分类器就是那个最佳区分两者的超平面。因为构造的分类架构简单，在很多线性条件下的不可分的数据集分类情况较差，所以在60,70年代人们为了解决以上的分类效果较差问题，就提出了神经网络算法。神经网络的核心思想就是感知器的集成，如果感知器数目足够大，神经网络就能够对任意复杂度的分布训练样本进行分类。在上世纪80年代人们对神经网络研究达到了高潮，与之对应的是许许多多文章的发表。然而，神经网络对对训练样本所进行的严格匹配拟合，引起了“过学习”问题，也就是对训练样本分类结果很好，对未知的样本的预测的结果就很差。因为分类器所要学习的训练样本只相对于整个样本的很小的一部分，而对训练样本的过学习对未知样本预测并没有帮助。Vapnik等人在注意到神经网络对未知样本的预测效果较差这个缺点后，从统计学的基础上出发，提出分类器不仅要对训练样本分类效果好，而且要对未知的样本进行预测分类也要正确的观点，于是支持向量机算法在1995年被提出了，并用在理论上证明了支持向量机的一个优点那就是：它能很好的分类未知样本，在理论的基础上证明支持向量机在训练样本仅仅是整个样本集很小一部分的前提下相对于只能很好的分类训练样本的神经网络，它对未知样本有很好的分类，许多的实际和实验等等应用也证明了支持向量机有分类能力和预测能力。支持向量机和感知器同样是用超平面作为分类器来分隔互相不同的样本点，而他们的不同之处是感知器在分隔后的两类样本点集合之间的距离要达到最大，而在支持向量机中我们是用一对相互平行的超平面来分隔这样离散样本点，这两个超平面之间的距离要达到最大也就是最优，从数学的角度上这样的分类问题就转化为一个二次凸优化问题。在上个世纪末期本世纪初期，支持向量机被广泛认可并得到了推广和研究，由基础的在线性条件下可分的模型发展到可以处理线性条件下不可分的模型。在那段时期，对支持向量机模型的算法的研究主要集中与对相互平行的两个超平面的不同要求，由支持向量机发展推广而来的模型有：线性支持向量机、最小二乘支持向量机等。两人分别在2005年和2007年相继提出了基于支持向量机的双子支持向量机以及广义特征值支持向量机。这两种新的类型的支持向量机算法把原本支持向量机中的一对平行超平面发展成为到复杂度更高的的非平行超平面，正因如此所以这两种新的类型的支持向量机能够处理一些原始支持向量机很难处理的数据结构分布，新的支持向量机求解的优化问题的结构规模仅仅有原来支持向量机1/4大小，所以目前国际上研究孪生双子支持向量依然十分热门，尤其是在最近几年，接二连三的提出了一些以非平行超平面思想为基础的改进算法，比如最小二乘双子支持向量机、以及提出了最小二乘参数化间隔双子支持向量机、正则化双子支持向量机、光滑双子支持向量机，发展出了参数化间隔双子支持向量机等。
目 录
1. 绪论 1
1.1研究背景 1
1.2 发展概况 1
1.3 研究现状 3
1.4 研究内容 3
2.支持向量机与交替方向法 4
2.1 线性支持向量机 5
2.2 最小二乘支持向量机（LSSVM） 7
2. 3. LSSVM与SVM的区别 8
2.3.1 如何在规模过大时求解 8
2.3.2 构造优化问题 8
2.3.3 优化问题求解方法 8
2.4 交替方向乘子法 9
3. 交替方向法求解双子支持向量机 11
3.1 双子支持向量机 11
3.2 最小二乘双子支持向量机 13
3.3 用交替方向法求解双子支持向量机 14
3.3.1 ADMM求解TWSVM的步骤 14
3.3.2 算法过程 16
4. 数值实验 17
4.1 实验环境 17
4.2 实验结果 17
4.2.1 随机数据 17
4.2.2 uci数据 18
结论 20
致谢 21
参考文献 22
1. 绪论
1 *好棒文|www.hbsrm.com +Q: ￥351916072$
.1研究背景
机器学习作为一个在21世纪被提出的新的研究领域，包含了许多的学科知识包括矩阵、统计、优化。机器学习就是让机器进行像人类一样获取知识的学习活动，通过此类活动让机器掌握新的知识或者技能，并且为了增强自身的功能作用，通过这种学习行为，对现有的知识结构进行重组。机器学习的对象可以是真实世界中的各种具体实物，如图像照片，人，大象和细菌，同样各种各样的抽象概念也是可以学习的，比如人的喜怒哀乐等等各种情绪。这些一个个的称做样本，我们要想区分出样本的不同以便区分出来，就需要描述样本的属性。从上述的样本角度来看，这些区分样本的属性就如人的高矮，照片的颜色，细菌的形状，大象的雌雄，喜怒哀乐情绪程度，而我们想要描述出这样的一个样本就是把所有属性组合在一起，这样的描述样本属性就成为样本之间相似或相异的原因依据，这就成为机器学习中各个样本之间的不同依据也成为它们的标识。每一种样本的属性是多种多样的，比如把一张图作为训练样本，那这张图的样本特征就是这张图的像素。从向量的角度上看，如果是把每个特征属性对应了向量的一个分量，那么每个样本就可以看作是一个行向量。
机器学习中的分类问题就是计算机通过对许多的已知的训练样本的学习，来对未知样本分类的能力，比如通过对一个人身体某些医学指标的学习来推断这个人是否患病。把整个向量空间看作学习样本的一个集合，则每个空间中的点就是其中的一个样本，不同的向量坐标对应着不同分类类别的点，而在向量空间中的机器学习中的分类问题就是通过对若干己知类别点的坐标进行学习来推断和预测其它点的类别。
1.2 发展概况
在上世纪50年代初提出了采用一个线性函数做为分类器来进行分类，这样的分类器把它放在向量空间里面就是一个超平面，坐标处在超平面一边的样本与另一边的样本区分为不同的类别，而要寻找的分类器就是那个最佳区分两者的超平面。因为构造的分类架构简单，在很多线性条件下的不可分的数据集分类情况较差，所以在60,70年代人们为了解决以上的分类效果较差问题，就提出了神经网络算法。神经网络的核心思想就是感知器的集成，如果感知器数目足够大，神经网络就能够对任意复杂度的分布训练样本进行分类。在上世纪80年代人们对神经网络研究达到了高潮，与之对应的是许许多多文章的发表。然而，神经网络对对训练样本所进行的严格匹配拟合，引起了“过学习”问题，也就是对训练样本分类结果很好，对未知的样本的预测的结果就很差。因为分类器所要学习的训练样本只相对于整个样本的很小的一部分，而对训练样本的过学习对未知样本预测并没有帮助。Vapnik等人在注意到神经网络对未知样本的预测效果较差这个缺点后，从统计学的基础上出发，提出分类器不仅要对训练样本分类效果好，而且要对未知的样本进行预测分类也要正确的观点，于是支持向量机算法在1995年被提出了，并用在理论上证明了支持向量机的一个优点那就是：它能很好的分类未知样本，在理论的基础上证明支持向量机在训练样本仅仅是整个样本集很小一部分的前提下相对于只能很好的分类训练样本的神经网络，它对未知样本有很好的分类，许多的实际和实验等等应用也证明了支持向量机有分类能力和预测能力。支持向量机和感知器同样是用超平面作为分类器来分隔互相不同的样本点，而他们的不同之处是感知器在分隔后的两类样本点集合之间的距离要达到最大，而在支持向量机中我们是用一对相互平行的超平面来分隔这样离散样本点，这两个超平面之间的距离要达到最大也就是最优，从数学的角度上这样的分类问题就转化为一个二次凸优化问题。在上个世纪末期本世纪初期，支持向量机被广泛认可并得到了推广和研究，由基础的在线性条件下可分的模型发展到可以处理线性条件下不可分的模型。在那段时期，对支持向量机模型的算法的研究主要集中与对相互平行的两个超平面的不同要求，由支持向量机发展推广而来的模型有：线性支持向量机、最小二乘支持向量机等。两人分别在2005年和2007年相继提出了基于支持向量机的双子支持向量机以及广义特征值支持向量机。这两种新的类型的支持向量机算法把原本支持向量机中的一对平行超平面发展成为到复杂度更高的的非平行超平面，正因如此所以这两种新的类型的支持向量机能够处理一些原始支持向量机很难处理的数据结构分布，新的支持向量机求解的优化问题的结构规模仅仅有原来支持向量机1/4大小，所以目前国际上研究孪生双子支持向量依然十分热门，尤其是在最近几年，接二连三的提出了一些以非平行超平面思想为基础的改进算法，比如最小二乘双子支持向量机、以及提出了最小二乘参数化间隔双子支持向量机、正则化双子支持向量机、光滑双子支持向量机，发展出了参数化间隔双子支持向量机等。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/1276.html
