dbn算法的研究及其应用(源码)【字数：8946】
摘 要数字识别是模式识别学科的一个研究领域，其按不同的分类标准可以划分为联机识别、脱机识别、印刷体识别和手写体数字识别。手写体数字识别的应用极为广泛，如邮政编码的识别和银行单据的自动处理。深度信念网络（Deep Belief Nets，DBN）是近年来机器学习的一种新模式，其具有无监督预训练和有监督微调的学习模型，有助于我们更好地实现手写体数字图像识别。本课题研究的主要内容是DBN的算法及其应用，文章分析了DBN算法在图像识别领域中的应用，介绍了手写体数字识别的研究现状，研究了DBN算法的原理、网络结构和算法步骤等，并通过调整参数来提高算法的正确率，最后实验证明了算法的有效性。
目 录
第一章 课题介绍 1
1.1课题研究的背景和意义 1
1.2课题研究的现状 1
1.2.1DBN算法的研究现状 1
1.2.2手写体数字识别的研究现状 2
1.3论文章节安排 3
第二章 开发技术 4
2.1开发平台Anaconda 4
2.1开发框架Theano 4
2.3编程语言Python 5
第三章 DBN算法介绍与分析 6
3.1受限制玻尔兹曼机模型RBM 6
3.2深度信念网络DBN 8
第四章 DBN算法的实现 10
4.1算法流程 10
4.2开发环境 10
4.3算法的实现 10
4.3.1实验数据 10
4.3.2算法实现的主要代码 11
4.4对比实验 14
结束语 17
致 谢 18
参考文献 19
第一章 课题介绍
1.1课题研究的背景和意义
图像识别可以分为预处理、特征提取和分类识别三个步骤。其中图像特征提出的方法有很多，比如使用代数特征提取、视觉特征提取等。尽管目前的提取方法很多，但是这些提取方法都很难全面地获取图像的完整特征，因此人们提出利用机器学习模拟人脑来进行特征提取。近年来，机器学习方法取得了非常大的进步，特别是深度学习算法的提出，给机器学习带来了新的活力 *好棒文|www.hbsrm.com +Q: *351916072*
。在2012年ImageNet目标识别竞赛上，由Geoff Hinton团队实现的基于神经网络的深度学习的算法以85%的准确率获得最佳算法[1]，将前几年的最佳结果提高了11个百分点，引发了学术界和工业界的又一波机器学习热潮。
本课题研究的是DBN算法的研究与应用，是深度学习的模型之一，由Geoffrey Hinton提出。深度机器学习方法可以分为监督学习与无监督学习。卷积神经网络就是有监督下的学习模型，而DBN则是无监督下的学习模型。DBN的主要组成部分是RBM算法，其训练过程是使用非监督贪婪逐层方法去预训练获得权值。这是机器学习研究的一个新的领域，深度学习的特点就是尽可能地建立和模拟人脑进行物体识别的过程，仿照人脑对图像、声音、文本等数据的机制进行解释。目前，DBN算法已被广泛地应用到人脸识别、语音识别、交通标志识别等多个领域。
数字识别[2]一直是研究的热点，按其识别方式的不同，可以分为联机识别、脱机识别、印刷体识别和手写体数字识别。其中手写体数字识别的应用最广泛，所以人们对其研究较深入，尤其是在光学字符识别领域中，手写体字符是一个非常重要的分支。随着科技的发展，智能手机和平板电脑等电子设备越来越普及，手写汉字和数字也渐渐得到人们青睐。因此，研究手写体数字识别技术不但具备学术价值，而且具有实际应用价值。
本课题是将DBN算法应用于手写体数字图像的识别中，由于DBN的较好性能，其有监督预训练及无监督学习模型能更好的实现手写体数字识别，所以研究DBN算法的手写体数字识别很有意义。
1.2课题研究的现状
1.2.1DBN算法的研究现状
迄今为止，DBN算法已经被广泛进行研究，大体可以分为以下方面：DBN理论分析方面的研究，DBN模型结构方面的研究，DBN学习算法方面的研究以及DBN实际应用方面的研究。
DBN在理论方面的研究大致分为模型参数、激活函数、网络层数和隐含层神经元等方面。关于模型初始化，相对于随机初始化模型参数，特定的模型初始化方法会有更优的效果。2012年晁静在国内外研究成果的基础上采用DBN与共辄梯度法相结合的预测模型对汇率进行预测研究，对比研究了DBN、FFNN、其他几种经典参数模型在汇率预测中所体现的预测效果[3]。
随着时间的流逝，DBN的模型也发生了许多改变。由于DBN的灵活性，所以它可以更容易地拓展为卷积DBNs（Convolutional Deep Belief Networks，CDBN），并且可以更容易地转化为高维的图像。这种类似于序列的应用学习使得科研人员对语音的研究更进一步。
2015年洪新海等人针对DBN在语种识别中的应用提出了一种基于DNN的改进TV方法，该方法利用带有瓶颈层的深层神经网络对语种数据特征按照音素状态进行聚类，得到语种任务相关通用背景模型，然后利用该UBM模型并结合深度瓶颈特征进行 TV建模[4]，验证了其最佳语种识别的特性。
同年高强等人对巡线图像故障识别进行了研究，从中心极限定理、信息理论和实验数据等多方面出发，研究了深度信念网络权重的分层趋势，揭示了层次权值逐步趋于正态分布的规律，这一结论解释了DBN能自动提取到精细特征的原因[5]，验证了DBN在巡线图像故障识别应用中的有效性。
2016年，李倩等人根据DBN的样本图像与空间信息无关的特点，建立了DBN图像分类快速训练模型，提出了基于多幅样本图像线性叠加合成思想的DBN图像分类算法—LSMI算法[6]。利用信息熵理论，证明了样本图像与空间信息无关的特点，并以ORL库为依据进行了验证[6]。
综上所述，不论是从DBN算法的理论方面，模型结构方面还是学习算法以及实际应用方面对DBN算法进行研究，其目的都是通过提高DBN算法的性能来使其应用到不同领域。
1.2.2手写体数字识别的研究现状
随着信息时代的到来，人们对信息处理的要求更加严格，在处理信息时，人们不但要求它准确，还要它速度快。手写体数字识别技术的研究对未来的信息发展有着重要的意义，它在光学字符识别领域中是一个非常重要的分支，在现实生活中也得到了广泛的应用。
目 录
第一章 课题介绍 1
1.1课题研究的背景和意义 1
1.2课题研究的现状 1
1.2.1DBN算法的研究现状 1
1.2.2手写体数字识别的研究现状 2
1.3论文章节安排 3
第二章 开发技术 4
2.1开发平台Anaconda 4
2.1开发框架Theano 4
2.3编程语言Python 5
第三章 DBN算法介绍与分析 6
3.1受限制玻尔兹曼机模型RBM 6
3.2深度信念网络DBN 8
第四章 DBN算法的实现 10
4.1算法流程 10
4.2开发环境 10
4.3算法的实现 10
4.3.1实验数据 10
4.3.2算法实现的主要代码 11
4.4对比实验 14
结束语 17
致 谢 18
参考文献 19
第一章 课题介绍
1.1课题研究的背景和意义
图像识别可以分为预处理、特征提取和分类识别三个步骤。其中图像特征提出的方法有很多，比如使用代数特征提取、视觉特征提取等。尽管目前的提取方法很多，但是这些提取方法都很难全面地获取图像的完整特征，因此人们提出利用机器学习模拟人脑来进行特征提取。近年来，机器学习方法取得了非常大的进步，特别是深度学习算法的提出，给机器学习带来了新的活力 *好棒文|www.hbsrm.com +Q: *351916072*
。在2012年ImageNet目标识别竞赛上，由Geoff Hinton团队实现的基于神经网络的深度学习的算法以85%的准确率获得最佳算法[1]，将前几年的最佳结果提高了11个百分点，引发了学术界和工业界的又一波机器学习热潮。
本课题研究的是DBN算法的研究与应用，是深度学习的模型之一，由Geoffrey Hinton提出。深度机器学习方法可以分为监督学习与无监督学习。卷积神经网络就是有监督下的学习模型，而DBN则是无监督下的学习模型。DBN的主要组成部分是RBM算法，其训练过程是使用非监督贪婪逐层方法去预训练获得权值。这是机器学习研究的一个新的领域，深度学习的特点就是尽可能地建立和模拟人脑进行物体识别的过程，仿照人脑对图像、声音、文本等数据的机制进行解释。目前，DBN算法已被广泛地应用到人脸识别、语音识别、交通标志识别等多个领域。
数字识别[2]一直是研究的热点，按其识别方式的不同，可以分为联机识别、脱机识别、印刷体识别和手写体数字识别。其中手写体数字识别的应用最广泛，所以人们对其研究较深入，尤其是在光学字符识别领域中，手写体字符是一个非常重要的分支。随着科技的发展，智能手机和平板电脑等电子设备越来越普及，手写汉字和数字也渐渐得到人们青睐。因此，研究手写体数字识别技术不但具备学术价值，而且具有实际应用价值。
本课题是将DBN算法应用于手写体数字图像的识别中，由于DBN的较好性能，其有监督预训练及无监督学习模型能更好的实现手写体数字识别，所以研究DBN算法的手写体数字识别很有意义。
1.2课题研究的现状
1.2.1DBN算法的研究现状
迄今为止，DBN算法已经被广泛进行研究，大体可以分为以下方面：DBN理论分析方面的研究，DBN模型结构方面的研究，DBN学习算法方面的研究以及DBN实际应用方面的研究。
DBN在理论方面的研究大致分为模型参数、激活函数、网络层数和隐含层神经元等方面。关于模型初始化，相对于随机初始化模型参数，特定的模型初始化方法会有更优的效果。2012年晁静在国内外研究成果的基础上采用DBN与共辄梯度法相结合的预测模型对汇率进行预测研究，对比研究了DBN、FFNN、其他几种经典参数模型在汇率预测中所体现的预测效果[3]。
随着时间的流逝，DBN的模型也发生了许多改变。由于DBN的灵活性，所以它可以更容易地拓展为卷积DBNs（Convolutional Deep Belief Networks，CDBN），并且可以更容易地转化为高维的图像。这种类似于序列的应用学习使得科研人员对语音的研究更进一步。
2015年洪新海等人针对DBN在语种识别中的应用提出了一种基于DNN的改进TV方法，该方法利用带有瓶颈层的深层神经网络对语种数据特征按照音素状态进行聚类，得到语种任务相关通用背景模型，然后利用该UBM模型并结合深度瓶颈特征进行 TV建模[4]，验证了其最佳语种识别的特性。
同年高强等人对巡线图像故障识别进行了研究，从中心极限定理、信息理论和实验数据等多方面出发，研究了深度信念网络权重的分层趋势，揭示了层次权值逐步趋于正态分布的规律，这一结论解释了DBN能自动提取到精细特征的原因[5]，验证了DBN在巡线图像故障识别应用中的有效性。
2016年，李倩等人根据DBN的样本图像与空间信息无关的特点，建立了DBN图像分类快速训练模型，提出了基于多幅样本图像线性叠加合成思想的DBN图像分类算法—LSMI算法[6]。利用信息熵理论，证明了样本图像与空间信息无关的特点，并以ORL库为依据进行了验证[6]。
综上所述，不论是从DBN算法的理论方面，模型结构方面还是学习算法以及实际应用方面对DBN算法进行研究，其目的都是通过提高DBN算法的性能来使其应用到不同领域。
1.2.2手写体数字识别的研究现状
随着信息时代的到来，人们对信息处理的要求更加严格，在处理信息时，人们不但要求它准确，还要它速度快。手写体数字识别技术的研究对未来的信息发展有着重要的意义，它在光学字符识别领域中是一个非常重要的分支，在现实生活中也得到了广泛的应用。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/65.html
