概率神经网络的分类算法研究
摘 要概率神经网络（Probabilistic Neural Network，PNN）是一种以指数函数替代神经网络中常用的S形激活函数，进而构造出来的能够计算非线性判别边界的神经网络，它的判定边界接近于贝叶斯最佳判定面，它在神经网络模式分类领域中占有很重要的地位，具有非常广泛的应用。概率神经网络是由D.F.Specht于1990年提出的一种神经网络模型，非常适用于模式分类领域，并且具有相当好的分类性能，它是基于贝叶斯决策理论与Parzen窗概率密度估计方法建立的一种前向网络模型，相较于其它形式的神经网络PNN的训练过程简单，算法设计容易，在满足其对训练样本的要求后能充分展现其优越的性能。本文通过对概率神经网络进行研究，提出一种模式分类基本算法并以此对不同的数据样本进行仿真分类，取得很好的分类效果。论文首先就人工神经网络研究的环境背景及研究意义进行介绍，展现当今国内外研究现状以及未来发展。然后就神经网络的基本原理进行阐述，针对概率神经网络，对其模型基础、学习算法及优缺点进行分析。再介绍一种通用的分类算法并以此为基本思路对实际问题进行模式分类的应用，通过仿真结果分析其性能，并做出总结和展望。
Keywords: Probalilistic Neural Network; pattern?classification; classification algorithm; Bayesian decision theory 目 录
摘 要 I
Abstract II
第一章 绪 论 1
1.1 选题背景及意义 1
1.2 国内外研究现状 2
1.2.1 神经网络发展 2
1.2.2 PNN及其模式分类发展 3
1.3 本课题主要内容 4
第二章 PNN基本原理 6
2.1 PNN理论基础 6
2.1.1 贝叶斯决策理论 6
2.1.2 Parzen窗概率密度估计 8
2.2 概率神经网络模型结构 10
2.3 概率神经网络的学习算法 13
2.4 概率神经网络的优化改进 14
2.5 本章小结 15
第三章 基于PNN的
*好棒文|www.hbsrm.com +Q: ^3^5`1^9`1^6^0`7^2#
分类算法研究 17
3.1 基本思路 17
3.2 分类算法模块介绍 18
3.3 网络结构分析 20
3.4 本章小结 22
第四章 基于PNN的模式分类识别应用 23
4.1 仿真环境介绍 23
4.2 仿真数据 25
4.2.1 鸢尾花分类数据 25
4.2.2 乳腺癌诊断数据 25
4.2.3 心脏病诊断数据 26
4.3 仿真实验过程 27
4.4 仿真结果与分析 39
4.5 本章小结 41
小结及后记 42
参考文献 43
第一章 绪 论
1.1 选题背景及意义
人工神经网络（Artificial Neural Network，ANNs）简称为神经网络（NNs）或者连接模型（Connectionist Model），是一种模拟动物神经网络行为特征而进行分布式并行信息处理的算法数学模型，该模型是根据具体问题的复杂程度调整系统内部大量节点之间相互连接的关系而达到处理信息目的的[11]。概率神经网络是在此基础上发展衍生出来的，基于概率神经网络的模式分类研究是当下概率神经网络的一个主要研究方向。
人脑是宇宙中已知最复杂、最完美和最有效的信息处理系统，是生物进化的最高产物，是人类智能、情绪和思维等高级精神活动的物质基础。人脑的构造以及工作机制深深吸引了当今科学界的目光，在生物科学、医学、数学、电子学以及计算机科学等众多领域上人们对人类大脑进行了许多的分析和研究，当人们意识到人脑是通过以神经细胞为基础的神经系统进行运作和思维后，通过对人类自身大脑神经网络的认识和理解的基础上提出了依照人脑为基础而构造的模型——人工神经网络。运用机器代替人脑的部分劳动是当今科学技术发展的重要标志，通过计算机实现人工智能更是早在上世纪40年代被提出，人工神经网络学科的研究在上世纪80年代开始蓬勃地发展。
人工神经网络是理论化的人脑神经网络的数学模型，它吸收了生物神经网络的许多有点，包括有：（1）非线性性、（2）非局限性、（3）非常定性以及（4）非凸性。 人工神经网络是一种并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面上的缺陷，具有自适应、自租住和实时学习的特点，在信息处理、模式识别、自动控制等多方面领域有非常广泛地应用。
概率神经网络是径向基RBF网络的一种衍生形式，是基于Parzen窗概率密度估计仿佛以及贝叶斯分类规则发展出来的一种并行算法，同时也是一种典型的前向神经网络。它在RBF网络的基础上融合了密度函数估计和贝叶斯决策理论，在一些容易满足的条件下能够实现判决边界渐进地逼近贝叶斯最佳判定面。PNN的优势在于（1）相较于RBF网络以及传统BP网络的学习过程简单，学习速度快，PNN的学习能够一次完成，比BP网络快5个数量级，比RBF快2个数量级；（2）PNN的分类更加准确，对噪声以及错误的容忍度高，能够使错误和风险最小化，同时在训练数据样本数量足够大时其构建的分类器一定能达到贝叶斯最优；（3）PNN的容错性能良好，分类能力强[6]。因此PNN网络是非常适合于处理模式识别分类的问题的，事实上人们也开始越来越多地展开基于PNN的模式识别应用研究，包括日常生活中我们所见的垃圾邮件过滤系统的设计、工业设备故障检测分类、股票预测等。但同时PNN对训练样本代表性高以及网络复杂度随着训练样本规模成指数增长易形成所说的“维数灾难”。因此对PNN的改进优化研究主要集中在网络参数的优化以及网络拓扑结构的改进。
模式识别是信号处理以及人工智能一个重要分支，如今它已发展成为一门独立的学科，是当代高科技研究和应用的一个重要方向，也是概率神经网络研究的主要方向。在上世纪80年代，人们在研究中发现虽然计算机的发展日新月异，其计算速度和能力一步步提高到如今已远远超越人脑，但是计算机的理论基础是建立在二值逻辑以及串行计算处理之上的，计算机在声音、文字、图像等复杂信息的感知和处理上则显得十分困难，相反地人脑在此类问题的处理上则远远优于计算机模型，例如人脑能够准确快速地在一张合照中找到所需寻找的人而计算机则需要很复杂以及长时间的处理才能算得结果而且抗噪性以及容错性极低，甚至人脑独特的思维功能更是计算机望尘莫及的。于是模式识别的研究在人工智能以及神经网络的科技领域中占有很重要的地位，同时模式分类识别也在现实生活以及科学研究中拥有很广泛的应用，诸如文字识别、语音识别、指纹识别、工业故障检测等众多方面应用[6]。
基于概览神经网络的模式分类应用研究具有光明的前景和巨大的发展空间，在计算机技术以及模式分类理论持续进步发展的前提下，概率神经网络的模式分类研究也因此吸引了更多科技研究者的目光，并取得了长足的进步和丰硕的成果。
1.2 国内外研究现状
1.2.1 神经网络发展
神经网络自上世纪40年代诞生到今天70余年的岁月里经历了三个主要的发展阶段：形成时期、低谷时期以及兴盛时期[11]。
1943年，精神病学家和神经解剖学家McCulloch与数学家Pitt在期刊《Bulletin of Mathematical Biophysics》上发表文章，首次提出了一个基于逻辑微积分的神经网络模型（MP模型），该模型的提出兴起了神经网络（NN）的研究，并同时产生了人工智能（Artificial Intelligence, AI）这一学科。1951年，心理学家Donala O.Hebb提出了神经网络中重要的学习法则Hebb法则；1960年，Widrow和Hoff引入最小均方差算法（Least MeanSquare，LMS），提出了一种自适应线性元件（Adaptive Linear Element）模型。起始阶段的神经网络发展欣欣向荣。
Keywords: Probalilistic Neural Network; pattern?classification; classification algorithm; Bayesian decision theory 目 录
摘 要 I
Abstract II
第一章 绪 论 1
1.1 选题背景及意义 1
1.2 国内外研究现状 2
1.2.1 神经网络发展 2
1.2.2 PNN及其模式分类发展 3
1.3 本课题主要内容 4
第二章 PNN基本原理 6
2.1 PNN理论基础 6
2.1.1 贝叶斯决策理论 6
2.1.2 Parzen窗概率密度估计 8
2.2 概率神经网络模型结构 10
2.3 概率神经网络的学习算法 13
2.4 概率神经网络的优化改进 14
2.5 本章小结 15
第三章 基于PNN的
*好棒文|www.hbsrm.com +Q: ^3^5`1^9`1^6^0`7^2#
分类算法研究 17
3.1 基本思路 17
3.2 分类算法模块介绍 18
3.3 网络结构分析 20
3.4 本章小结 22
第四章 基于PNN的模式分类识别应用 23
4.1 仿真环境介绍 23
4.2 仿真数据 25
4.2.1 鸢尾花分类数据 25
4.2.2 乳腺癌诊断数据 25
4.2.3 心脏病诊断数据 26
4.3 仿真实验过程 27
4.4 仿真结果与分析 39
4.5 本章小结 41
小结及后记 42
参考文献 43
第一章 绪 论
1.1 选题背景及意义
人工神经网络（Artificial Neural Network，ANNs）简称为神经网络（NNs）或者连接模型（Connectionist Model），是一种模拟动物神经网络行为特征而进行分布式并行信息处理的算法数学模型，该模型是根据具体问题的复杂程度调整系统内部大量节点之间相互连接的关系而达到处理信息目的的[11]。概率神经网络是在此基础上发展衍生出来的，基于概率神经网络的模式分类研究是当下概率神经网络的一个主要研究方向。
人脑是宇宙中已知最复杂、最完美和最有效的信息处理系统，是生物进化的最高产物，是人类智能、情绪和思维等高级精神活动的物质基础。人脑的构造以及工作机制深深吸引了当今科学界的目光，在生物科学、医学、数学、电子学以及计算机科学等众多领域上人们对人类大脑进行了许多的分析和研究，当人们意识到人脑是通过以神经细胞为基础的神经系统进行运作和思维后，通过对人类自身大脑神经网络的认识和理解的基础上提出了依照人脑为基础而构造的模型——人工神经网络。运用机器代替人脑的部分劳动是当今科学技术发展的重要标志，通过计算机实现人工智能更是早在上世纪40年代被提出，人工神经网络学科的研究在上世纪80年代开始蓬勃地发展。
人工神经网络是理论化的人脑神经网络的数学模型，它吸收了生物神经网络的许多有点，包括有：（1）非线性性、（2）非局限性、（3）非常定性以及（4）非凸性。 人工神经网络是一种并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面上的缺陷，具有自适应、自租住和实时学习的特点，在信息处理、模式识别、自动控制等多方面领域有非常广泛地应用。
概率神经网络是径向基RBF网络的一种衍生形式，是基于Parzen窗概率密度估计仿佛以及贝叶斯分类规则发展出来的一种并行算法，同时也是一种典型的前向神经网络。它在RBF网络的基础上融合了密度函数估计和贝叶斯决策理论，在一些容易满足的条件下能够实现判决边界渐进地逼近贝叶斯最佳判定面。PNN的优势在于（1）相较于RBF网络以及传统BP网络的学习过程简单，学习速度快，PNN的学习能够一次完成，比BP网络快5个数量级，比RBF快2个数量级；（2）PNN的分类更加准确，对噪声以及错误的容忍度高，能够使错误和风险最小化，同时在训练数据样本数量足够大时其构建的分类器一定能达到贝叶斯最优；（3）PNN的容错性能良好，分类能力强[6]。因此PNN网络是非常适合于处理模式识别分类的问题的，事实上人们也开始越来越多地展开基于PNN的模式识别应用研究，包括日常生活中我们所见的垃圾邮件过滤系统的设计、工业设备故障检测分类、股票预测等。但同时PNN对训练样本代表性高以及网络复杂度随着训练样本规模成指数增长易形成所说的“维数灾难”。因此对PNN的改进优化研究主要集中在网络参数的优化以及网络拓扑结构的改进。
模式识别是信号处理以及人工智能一个重要分支，如今它已发展成为一门独立的学科，是当代高科技研究和应用的一个重要方向，也是概率神经网络研究的主要方向。在上世纪80年代，人们在研究中发现虽然计算机的发展日新月异，其计算速度和能力一步步提高到如今已远远超越人脑，但是计算机的理论基础是建立在二值逻辑以及串行计算处理之上的，计算机在声音、文字、图像等复杂信息的感知和处理上则显得十分困难，相反地人脑在此类问题的处理上则远远优于计算机模型，例如人脑能够准确快速地在一张合照中找到所需寻找的人而计算机则需要很复杂以及长时间的处理才能算得结果而且抗噪性以及容错性极低，甚至人脑独特的思维功能更是计算机望尘莫及的。于是模式识别的研究在人工智能以及神经网络的科技领域中占有很重要的地位，同时模式分类识别也在现实生活以及科学研究中拥有很广泛的应用，诸如文字识别、语音识别、指纹识别、工业故障检测等众多方面应用[6]。
基于概览神经网络的模式分类应用研究具有光明的前景和巨大的发展空间，在计算机技术以及模式分类理论持续进步发展的前提下，概率神经网络的模式分类研究也因此吸引了更多科技研究者的目光，并取得了长足的进步和丰硕的成果。
1.2 国内外研究现状
1.2.1 神经网络发展
神经网络自上世纪40年代诞生到今天70余年的岁月里经历了三个主要的发展阶段：形成时期、低谷时期以及兴盛时期[11]。
1943年，精神病学家和神经解剖学家McCulloch与数学家Pitt在期刊《Bulletin of Mathematical Biophysics》上发表文章，首次提出了一个基于逻辑微积分的神经网络模型（MP模型），该模型的提出兴起了神经网络（NN）的研究，并同时产生了人工智能（Artificial Intelligence, AI）这一学科。1951年，心理学家Donala O.Hebb提出了神经网络中重要的学习法则Hebb法则；1960年，Widrow和Hoff引入最小均方差算法（Least MeanSquare，LMS），提出了一种自适应线性元件（Adaptive Linear Element）模型。起始阶段的神经网络发展欣欣向荣。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jxgc/zdh/3022.html
