支持向量机中核函数的作用及其选取(附件)【字数：9242】
摘 要摘 要在统计学习理论的基础上，近年来我们提出了一种通用有效的机器学习方法，这种方法就是支持向量机。它目前已成为机器学习的研究热点，能够被广泛地应用于数据挖掘问题，如模式识别、函数估计、时间序列预测等；同时，被应用于很多领域，如手写体数字识别、文本分类、图像识别、语音信号处理、信息安全领域、时间序列、核方法等。尽管，支持向量机的在某些方面取得成功，但它还是存在很多问题没有解决，如由核函数的特定性征确定误差界、统计学习理论与其它理论之间的关系、领域知识与支持向量机的融合、核函数的选择、对大规模数据集的处理、对于给定问题的泛化能力等。支持向量机通过引用核函数的方法，把非线性分划转换为线性分划，来解决问题。它最重要的部分是核函数的选取。针对一个特定的问题，如果选择不同种类的核函数，会有与之对应的分类效果和回归效果。因此，要想选择合适的核函数，必须了解这个问题，同时也必须了解各种核函数的特性。其中，常见的核函数有线性核函数、多项式核函数、Gauss径向基核函数、Sigmoid核函数。同时，还提出了混合核函数。混合核函数方法是将不一样种类的核函数混合在一起。因此，混合核函数会有优于原来的效果，同时，具有较好的插值能力和较好的外推能力。本文就是主要对核函数进行研究首先，通过线性分划和非线性分划，从而引出支持向量机并对其进行介绍。接着，介绍核函数，并且明确支持向量机中核函数的选择办法。最后，对于一个已知的问题，使用MATLAB SVM 工具箱通过采用不同的核函数来解决。研究支持向量机中核函数这一方向，是对统计学这个方向进行扩展和延伸。由于它诞生不久，在各方面还不是很成熟，有些方面还存在很多问题。但是，随着它的不断发展和成熟，在某些方面，已经应用到实际生活中。因此，它是具有实用价值和发展潜力的，对它进行研究是很有必要的。关键字支持向量机；核函数；MATLAB SVM 工具箱
目 录
第一章 绪论 1
1.1 研究背景 1
1.2从线性分划到非线性分划 2
1.2.1 线性分划 2
1.2.2 非线性分划 4
第二章 支持向量机 7
2.1统计学习理论 7
2.2介绍支持向量机 8
2.2.1基本形式 8
2.2.2基本 *好棒文|www.hbsrm.com +Q: ￥351916072￥
性质 10
2.2.3其他形式 11
第三章 核函数的介绍和选取 12
3.1核函数 12
3.2核函数的特征 12
3.3核函数的判定 12
3.4常用核函数 13
3.5支持向量机中核函数的选取方法 14
第四章 支持向量机及核函数的应用 16
4.1 支持向量机应用 16
4.2 MATLAB SVM Toolbox及应用 16
结 论 20
致 谢 21
参 考 文 献 22
附 录 24
第一章 绪论
1.1 研究背景
在统计学的研究过程中，通过对小样本统计的估算和预计，万普尼克(Vapnik)建立起了一套崭新的机器学习理论，我们称之为统计学习理论。在六七十年代，Vapnik等学者已经对统计学习理论进行探究。随着时间的推移，其理论不断地成熟和完善。直至九十年代，才产生了比较完整的理论体系，也就是统计学习理论。它为处理小样本统计估算与预计问题提出了一个模板。它能把很多方法整合到一起，解决未能解决的问题。同时，随着其理论的不断成熟，产生了一种解决问题的方法，即支持向量机。
在理论探究和算法完成等方面，支持向量机实现了迅猛地发展。在许多大型的国际会议中，支持向量机被选为会议专门讨论的部分，现在已发布了许多与支持向量机有关的专集。在国内的会议中，支持向量机也被选为会议专门讨论的部分。其中，《数据挖掘中的新方法—支持向量机》是我国首本与支持向量机有关的著作，它的作者是我国学者邓乃扬和田英杰。
最近几年，在支持向量机的理论探究和算法完成等方面，很多学者进行了深入的探究和分析。理论探究成果有：支持向量机的泛化分析能力，支持向量机的期望误差分析，支持向量机与其他模型之间的关系研究等。在算法完成方面，首先，由国外学者提出了在分类和回归的支持向量机的基础上产生的训练算法。之后，国内学者和国外学者断断续续地提出了支持向量机代数求解方法、支持向量机几何求解方法、支持向量机预处理方法等。在应用方面，Smola、ScholKopf等国外学者在研究工作中展示了大量关于支持向量机在生物信息学、计算语言学、计算机视觉等领域的具体应用。Cortes、Osuna、Smola、ScholKopf等国外学者的各种论文及报告提供了大量的有关资料，同时提供了工具箱的源代码给大家免费下载。随后，在互联网上，产生了的支持向量机及核学习的网站供大家浏览。
虽然，支持向量机的探究目前已经得到了令人振奋的结果，但由核函数的特定性征确定误差界、统计学习理论与其它理论之间的关系、核函数的选择、对于给定问题的泛化能力等问题，依然存在很多问题需要解决[6]。
1.2从线性分划到非线性分划
通过对我们已经知道的数据进行分类，即建立该问题分类模型，从而对数据的分类的类别进行预估，这就是分类问题。针对线性问题和非线性问题，支持向量机有不同的解决办法。当对问题建立分类模型时，线性可分问题的解决方式比较简单，但是对非线性可分的问题时，我们就必须在解决过程中引入核函数。
通过对我们已经知道的数据进行回归，即建立该问题回归模型，寻找出一条与已知点偏离较小的直线，这就是回归问题。对于线性回归和非线性回归，解法类似。
1.2.1 线性分划
线性可分分类问题：
给定训练集：T={(//), ,(//)}//，其中//，//={1,1}，i=1, ,l.若存在w//，b//和正数//，使得对所有使//=1的下标i，有（w//）+b≥//,而对所有使//=1的下标i，有（w//）+b≤//,则称训练集T线性可分。即对应的分类问题是线性可分的[7]。
针对线性分划的分类问题，算法如下：
（1），给定训练集T={(//), ,(//)}//，其中//，//={1,1}，i=1, ,l.
（2），选出合适的惩罚参数C＞0，构造并求解最优化问题
////
s.t. //=0
//≥0, i=1, ,l.
得解//=//；
（3），计算//=//；选择//的一个小于C的正分量//,并据此计算//=////；
（4），构造分划超平面（//）+//，由此求得决策函数
?(//)=sgn(（//）+//).
线性回归问题：
给定训练集：T={(//), ,(//)}//，其中//，//=R，i=1, ,l.我们可以找到//上的一个线性函数，g(//)=（w//）+b,不论输入任何x的值，它所对应的值能够通过y=g(//)来预测出来[8]。
简单来说，线性回归问题的解决就是寻找出一条与已知点偏离较小的直线[6]。
对于线性分划的回归问题，算法如下：
目 录
第一章 绪论 1
1.1 研究背景 1
1.2从线性分划到非线性分划 2
1.2.1 线性分划 2
1.2.2 非线性分划 4
第二章 支持向量机 7
2.1统计学习理论 7
2.2介绍支持向量机 8
2.2.1基本形式 8
2.2.2基本 *好棒文|www.hbsrm.com +Q: ￥351916072￥
性质 10
2.2.3其他形式 11
第三章 核函数的介绍和选取 12
3.1核函数 12
3.2核函数的特征 12
3.3核函数的判定 12
3.4常用核函数 13
3.5支持向量机中核函数的选取方法 14
第四章 支持向量机及核函数的应用 16
4.1 支持向量机应用 16
4.2 MATLAB SVM Toolbox及应用 16
结 论 20
致 谢 21
参 考 文 献 22
附 录 24
第一章 绪论
1.1 研究背景
在统计学的研究过程中，通过对小样本统计的估算和预计，万普尼克(Vapnik)建立起了一套崭新的机器学习理论，我们称之为统计学习理论。在六七十年代，Vapnik等学者已经对统计学习理论进行探究。随着时间的推移，其理论不断地成熟和完善。直至九十年代，才产生了比较完整的理论体系，也就是统计学习理论。它为处理小样本统计估算与预计问题提出了一个模板。它能把很多方法整合到一起，解决未能解决的问题。同时，随着其理论的不断成熟，产生了一种解决问题的方法，即支持向量机。
在理论探究和算法完成等方面，支持向量机实现了迅猛地发展。在许多大型的国际会议中，支持向量机被选为会议专门讨论的部分，现在已发布了许多与支持向量机有关的专集。在国内的会议中，支持向量机也被选为会议专门讨论的部分。其中，《数据挖掘中的新方法—支持向量机》是我国首本与支持向量机有关的著作，它的作者是我国学者邓乃扬和田英杰。
最近几年，在支持向量机的理论探究和算法完成等方面，很多学者进行了深入的探究和分析。理论探究成果有：支持向量机的泛化分析能力，支持向量机的期望误差分析，支持向量机与其他模型之间的关系研究等。在算法完成方面，首先，由国外学者提出了在分类和回归的支持向量机的基础上产生的训练算法。之后，国内学者和国外学者断断续续地提出了支持向量机代数求解方法、支持向量机几何求解方法、支持向量机预处理方法等。在应用方面，Smola、ScholKopf等国外学者在研究工作中展示了大量关于支持向量机在生物信息学、计算语言学、计算机视觉等领域的具体应用。Cortes、Osuna、Smola、ScholKopf等国外学者的各种论文及报告提供了大量的有关资料，同时提供了工具箱的源代码给大家免费下载。随后，在互联网上，产生了的支持向量机及核学习的网站供大家浏览。
虽然，支持向量机的探究目前已经得到了令人振奋的结果，但由核函数的特定性征确定误差界、统计学习理论与其它理论之间的关系、核函数的选择、对于给定问题的泛化能力等问题，依然存在很多问题需要解决[6]。
1.2从线性分划到非线性分划
通过对我们已经知道的数据进行分类，即建立该问题分类模型，从而对数据的分类的类别进行预估，这就是分类问题。针对线性问题和非线性问题，支持向量机有不同的解决办法。当对问题建立分类模型时，线性可分问题的解决方式比较简单，但是对非线性可分的问题时，我们就必须在解决过程中引入核函数。
通过对我们已经知道的数据进行回归，即建立该问题回归模型，寻找出一条与已知点偏离较小的直线，这就是回归问题。对于线性回归和非线性回归，解法类似。
1.2.1 线性分划
线性可分分类问题：
给定训练集：T={(//), ,(//)}//，其中//，//={1,1}，i=1, ,l.若存在w//，b//和正数//，使得对所有使//=1的下标i，有（w//）+b≥//,而对所有使//=1的下标i，有（w//）+b≤//,则称训练集T线性可分。即对应的分类问题是线性可分的[7]。
针对线性分划的分类问题，算法如下：
（1），给定训练集T={(//), ,(//)}//，其中//，//={1,1}，i=1, ,l.
（2），选出合适的惩罚参数C＞0，构造并求解最优化问题
////
s.t. //=0
//≥0, i=1, ,l.
得解//=//；
（3），计算//=//；选择//的一个小于C的正分量//,并据此计算//=////；
（4），构造分划超平面（//）+//，由此求得决策函数
?(//)=sgn(（//）+//).
线性回归问题：
给定训练集：T={(//), ,(//)}//，其中//，//=R，i=1, ,l.我们可以找到//上的一个线性函数，g(//)=（w//）+b,不论输入任何x的值，它所对应的值能够通过y=g(//)来预测出来[8]。
简单来说，线性回归问题的解决就是寻找出一条与已知点偏离较小的直线[6]。
对于线性分划的回归问题，算法如下：
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/sxtj/179.html
