二次免核的双子支持向量机算法研究
支持向量机是解决分类问题的一种有效的工具，在解决图像处理，人脸识别等方面有广泛的应用。双子支持向量机是在支持向量机的基础上提出的，采用非平行的超平面，通过求两个较小的二次规划问题，计算效率比支持向量机快；二次免核的双子支持向量机是基于双子支持向量机，二次免核的支持向量机和二次曲面支持向量机所提出的一种新的支持向量机分类器。本文了在研究了Issam Dagher的二次无核的支持向量机算法研究和罗建的二次曲面支持向量机的基础上，结合双子支持向量机来构造新的二次曲面支持向量机，并用二次规划法对其求解。关键词 支持向量机，双子支持向量机，二次免核的双子支持向量机
目 录
1引言 1
1.1 研究背景及意义 1
1.2 研究现状 2
2 预备知识 2
2.1 支持向量机 3
2.1.1 线性分类支持向量机 3
2.1.2 最小二乘支持向量机 6
2.2 双子支持向量机 7
2.2.1 线性双子支持向量机 7
2.2.2 正则化双子支持向量机 8
3 二次曲面支持向量机 9
3.1 二次免核支持向量机 9
3.2 二次曲面支持向量机 12
4 二次免核的双子支持向量机 17
5数值实验 20
结 论 23
致 谢 24
参 考 文 献 25
引言
1.2研究背景及意义
机器学习在21世纪提出，是一项新的课题，它是一门涉及矩阵论，优化理论,统计学等多门学科交叉的综合学科。它研究的是怎样使机器模仿人类的学习行为，换句话说，机器学习是一门研究机器怎么判别新知识和技能，并对已经拥有的知识进行辨别的学识。在前面说的“机器”，说的便是计算机，中子计算机等各式各样的计算机。现在机器学习所研究的基本问题包括分类问题，回归问题，聚类问题和特征选择问题等，在近士气里，一大批的相关算法以及实际问题被提出并研究。这些算法里有些是物理，生物等领域的实践应用总结，有些则是最优化，统计学，代数学等数学理论分析获得的结果。各类学科互相融合，机器学习领域齐头并进。
机器学习里的 *好棒文|www.hbsrm.com +Q: @351916072@
分类问题考查的事计算机通过学习若干己知类别的样本来推测未知样本的类别的能力，例如通过学习某些人身体的各项医学指标来判断这个人有没有生病。如果我们把整个需要学习的样本集合看作是一个向量空间，每个样本就是这个空间里面的一个点，不同坐标的点对应着不同的类别，而分类问题就是通过己知的若干类别点的坐标来推断其它坐标点的类别。如果这些样本仅仅属于两个不同的类别，那么分类的目的就是找到这两个不同类的点的分界面。上世纪50年代初提出的感知器以一个线性函数作为分类器来开始分类，这种类型的分类器在向量空间中就是一个超平面，处于超平面两侧的样本视为相异的类别，感知器的任就是找到能够将两种样本区分开来的最佳超平面。由于感知器形式过于简单，只考虑训练样本的可以线性分类的情况，在许多线性不可分数据集上的表现比较差，因此，在六和70年代，神经网络算法被提出来克服上述一些问题。神经网络可以看作是许多个感知器的集成，随着集成的感知器数目的逐渐增大，神经网络可以分隔任意复杂分布的训练样本，在上世纪八十年代的神经网络研究高潮中，在量的研究成果相继发表。然而，由于神经网络对训练样本的匹配拟合过于严格，很容易引起“过学习”的问题，即对已学习的训练样本分类的结果很好，而对未学习的试样本的预测效果很差。这个结果很显然，训练样本通常只是整个样本集中的一小部分，对这部分样本的过拟合对其它样本的预测没什么帮助。Vapnik等人注意到了神经网络的这个缺点，从统计学习理论出发，于1995年提出了支持向量机算法，提出分类器不仅要对训练样本的分类正确，而且对未训练过的样本分类也正确，并从理论上证明了支持向量机可以极小化结构风险(结构风险=期望风险+经验风险)，从而从理论上证明支持向量机在这种训练样本在只占整个样本集很小一部分的问题上优于只能极小化经验风险的神经网络，大量的实验和实际应用也证明了支持向量机在小样本的问题上有着强大的分类和预测能力。支持向量机选用了和感知器一样的超平面来作为分类器，它们之间的不同点在于支持向量机要求对分开后的两个不同类别的样本集之间间隔要达到最大，这种离散样本集之间的距离在支持向量机里面采用一对平行的超平面间的间隔距离来衡量，从而在数学上把分类问题转化成了一个凸二次优化问题。在上世纪末至本世纪初，支持向量机被广泛的研究，运用和推广，从最开始的可处理线性可分模型到处理线性不可分分类情形的C支持向量机，以及和核方法结合运用来解决比较复杂的线性不可分分类问题的带核支持向量机。在这个阶段，支持向量机算法模型的研究集中在对这一对平行超平面的不同要求，扩展模型包括光滑支持向量机，最小二乘支持向量机等各式各样的分类器。在2005年和2007年，Mangasarian和Khemchandani等人相继提出了双子支持向量机和广义特征值支持向量机。这两种新的支持向量机算法将支持向量机里的一对平行的超平面推广到更加复杂的非平行的超平面情形，所以能够解决一些支持向量机难以解决的数据分布，特别是双子支持向量机将样本对分类器造成的影响按所处类别的区别对待且所求解的优化问题计算规模只有支持向量机的四分之一大小，因而双子支持向量机依然是当前国际上钻研的热门之一。在最近这几年，先后的提出一些基于这种非平行超平面思想的推广模型和改进算法，如参数化间隔支持向量机，光滑双子支持向量机，多曲面广义特征值支持向量机，正则化双子支持向量机，参数化间隔双子支持向量机,最小二乘参数化间隔双子支持向量机，最小二乘双子支持向量机，投影双子支持向量机等。
1.2研究现状
支持向量机和双子支持向量机是现阶段解决线性可分类问题的有效方法，而且双子支持向量机相比于支持向量机效率更快，而二次免核的支持向量机是解决线性不可分类问题的有效方法，目前为止已经有很多学者研究，并且取得了不少成果。王震[1]在概括归纳现有种种支持向量机类型算法和模型的基础上,注重钻研了现有的各种NSSVM和NFSVM模型的分类方法和算法特色,在此基础上，一种NSSVM模型和三种NFSVM模型共四种新的分类算法被提出;何俊云[2]在基于线性双子支持向量机的特征选择钻研提出了SORTTWSVM和TWSVMRFE两种算法，并且将两种算法应用到对葡萄酒好坏的分辨中,起到了特征选择的效果。郑勇涛，刘玉树[3]经过钻研已有提出的一些支持向量机多分类的方法,并进行剖析对比,在一对一分类方法基础上提出拥有容噪声的分类方法,通过标准数据集实验加以验证，从而处理实际问题中碰到的多分类问题。唐建荣，谭春晖[4]利用一种基于小样本学习的支持向量机方法构建信用风险模型进而应用于我国上市公司信誉风险评价,剖析的成果表明:支持向量机在信誉风险评价中比多元判别分析方法更为准确和有效。
目 录
1引言 1
1.1 研究背景及意义 1
1.2 研究现状 2
2 预备知识 2
2.1 支持向量机 3
2.1.1 线性分类支持向量机 3
2.1.2 最小二乘支持向量机 6
2.2 双子支持向量机 7
2.2.1 线性双子支持向量机 7
2.2.2 正则化双子支持向量机 8
3 二次曲面支持向量机 9
3.1 二次免核支持向量机 9
3.2 二次曲面支持向量机 12
4 二次免核的双子支持向量机 17
5数值实验 20
结 论 23
致 谢 24
参 考 文 献 25
引言
1.2研究背景及意义
机器学习在21世纪提出，是一项新的课题，它是一门涉及矩阵论，优化理论,统计学等多门学科交叉的综合学科。它研究的是怎样使机器模仿人类的学习行为，换句话说，机器学习是一门研究机器怎么判别新知识和技能，并对已经拥有的知识进行辨别的学识。在前面说的“机器”，说的便是计算机，中子计算机等各式各样的计算机。现在机器学习所研究的基本问题包括分类问题，回归问题，聚类问题和特征选择问题等，在近士气里，一大批的相关算法以及实际问题被提出并研究。这些算法里有些是物理，生物等领域的实践应用总结，有些则是最优化，统计学，代数学等数学理论分析获得的结果。各类学科互相融合，机器学习领域齐头并进。
机器学习里的 *好棒文|www.hbsrm.com +Q: @351916072@
分类问题考查的事计算机通过学习若干己知类别的样本来推测未知样本的类别的能力，例如通过学习某些人身体的各项医学指标来判断这个人有没有生病。如果我们把整个需要学习的样本集合看作是一个向量空间，每个样本就是这个空间里面的一个点，不同坐标的点对应着不同的类别，而分类问题就是通过己知的若干类别点的坐标来推断其它坐标点的类别。如果这些样本仅仅属于两个不同的类别，那么分类的目的就是找到这两个不同类的点的分界面。上世纪50年代初提出的感知器以一个线性函数作为分类器来开始分类，这种类型的分类器在向量空间中就是一个超平面，处于超平面两侧的样本视为相异的类别，感知器的任就是找到能够将两种样本区分开来的最佳超平面。由于感知器形式过于简单，只考虑训练样本的可以线性分类的情况，在许多线性不可分数据集上的表现比较差，因此，在六和70年代，神经网络算法被提出来克服上述一些问题。神经网络可以看作是许多个感知器的集成，随着集成的感知器数目的逐渐增大，神经网络可以分隔任意复杂分布的训练样本，在上世纪八十年代的神经网络研究高潮中，在量的研究成果相继发表。然而，由于神经网络对训练样本的匹配拟合过于严格，很容易引起“过学习”的问题，即对已学习的训练样本分类的结果很好，而对未学习的试样本的预测效果很差。这个结果很显然，训练样本通常只是整个样本集中的一小部分，对这部分样本的过拟合对其它样本的预测没什么帮助。Vapnik等人注意到了神经网络的这个缺点，从统计学习理论出发，于1995年提出了支持向量机算法，提出分类器不仅要对训练样本的分类正确，而且对未训练过的样本分类也正确，并从理论上证明了支持向量机可以极小化结构风险(结构风险=期望风险+经验风险)，从而从理论上证明支持向量机在这种训练样本在只占整个样本集很小一部分的问题上优于只能极小化经验风险的神经网络，大量的实验和实际应用也证明了支持向量机在小样本的问题上有着强大的分类和预测能力。支持向量机选用了和感知器一样的超平面来作为分类器，它们之间的不同点在于支持向量机要求对分开后的两个不同类别的样本集之间间隔要达到最大，这种离散样本集之间的距离在支持向量机里面采用一对平行的超平面间的间隔距离来衡量，从而在数学上把分类问题转化成了一个凸二次优化问题。在上世纪末至本世纪初，支持向量机被广泛的研究，运用和推广，从最开始的可处理线性可分模型到处理线性不可分分类情形的C支持向量机，以及和核方法结合运用来解决比较复杂的线性不可分分类问题的带核支持向量机。在这个阶段，支持向量机算法模型的研究集中在对这一对平行超平面的不同要求，扩展模型包括光滑支持向量机，最小二乘支持向量机等各式各样的分类器。在2005年和2007年，Mangasarian和Khemchandani等人相继提出了双子支持向量机和广义特征值支持向量机。这两种新的支持向量机算法将支持向量机里的一对平行的超平面推广到更加复杂的非平行的超平面情形，所以能够解决一些支持向量机难以解决的数据分布，特别是双子支持向量机将样本对分类器造成的影响按所处类别的区别对待且所求解的优化问题计算规模只有支持向量机的四分之一大小，因而双子支持向量机依然是当前国际上钻研的热门之一。在最近这几年，先后的提出一些基于这种非平行超平面思想的推广模型和改进算法，如参数化间隔支持向量机，光滑双子支持向量机，多曲面广义特征值支持向量机，正则化双子支持向量机，参数化间隔双子支持向量机,最小二乘参数化间隔双子支持向量机，最小二乘双子支持向量机，投影双子支持向量机等。
1.2研究现状
支持向量机和双子支持向量机是现阶段解决线性可分类问题的有效方法，而且双子支持向量机相比于支持向量机效率更快，而二次免核的支持向量机是解决线性不可分类问题的有效方法，目前为止已经有很多学者研究，并且取得了不少成果。王震[1]在概括归纳现有种种支持向量机类型算法和模型的基础上,注重钻研了现有的各种NSSVM和NFSVM模型的分类方法和算法特色,在此基础上，一种NSSVM模型和三种NFSVM模型共四种新的分类算法被提出;何俊云[2]在基于线性双子支持向量机的特征选择钻研提出了SORTTWSVM和TWSVMRFE两种算法，并且将两种算法应用到对葡萄酒好坏的分辨中,起到了特征选择的效果。郑勇涛，刘玉树[3]经过钻研已有提出的一些支持向量机多分类的方法,并进行剖析对比,在一对一分类方法基础上提出拥有容噪声的分类方法,通过标准数据集实验加以验证，从而处理实际问题中碰到的多分类问题。唐建荣，谭春晖[4]利用一种基于小样本学习的支持向量机方法构建信用风险模型进而应用于我国上市公司信誉风险评价,剖析的成果表明:支持向量机在信誉风险评价中比多元判别分析方法更为准确和有效。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/1278.html
