图像处理的人脸检测与表情识别
摘 要人脸的检测与定位，人脸识别以及表情识别这三种技术是人脸识别的重要组成部分。近年来人脸识别技术逐渐成为研究热点，并得到了快速的发展，但该技术还有很多难点亟待解决，值得继续对其进行研究。本文就围绕如何有效实现人脸识别的三种关键技术做出研究，进而提出了一种基于肤色的人脸检测算法，一种基于隐马尔可夫模型的人脸识别算法以及一种基于主成分分析的表情识别算法，最终设计形成了一个人脸识别系统。具体工作如下：在人脸检测以及定位方面，采用将RGB颜色空间转化为YCbCr颜色空间的方法，建立肤色模型，并经过形态学处理以及去噪等筛选步骤，达到对人脸的精确定位的目的；在人脸识别方面，通过对隐马尔可夫模型的基本思想以及基本算法的学习，用一种以奇异值向量作为观察向量的隐马尔可夫算法，实现了对人脸的识别，未训练图像的识别率达96.5%；在表情识别方面，采用整体特征提取方法，以中性表情的各项特征为依托，采用主成分分析进行特征提取，再提取待测表情的特征与中性表情比较，计算并达到表情识别的目的；最后整合三个方面，形成一个简单的人脸识别系统。
Keywords: Face Detection; Face Recognition; Expression Recognition; HMM; PCA; YCbCr 目 录
第一章 绪论 1
1.1 选题背景和意义 1
1.2 研究现状 1
1.3 人脸识别主要困难 3
1.4 论文研究内容和组织结构 4
第二章 基于肤色模型的人脸检测研究 6
2.1 YCbCr颜色空间 6
2.2基于肤色的人脸检测算法流程及实验结果分析 7
2.2.1 肤色模型的建立 7
2.2.2 肤色的提取 7
2.2.3 人脸形态学处理 8
2.2.4 人脸区域筛选与标记 9
2.3小结 10
第三章 基于隐马尔可夫模型的人脸识别研究 11
3.1 隐马尔可夫模型(HMM) 11
3.1.1 HMM的基本思想 11
3.1.1.1 马尔可夫链 11
3.1.1.2 HMM的基本概念 12<
*好棒文|www.hbsrm.com +Q: %3^5`1^9`1^6^0`7^2#
br /> 3.1.2 HMM的三个基本问题 13
3.2 解决HMM三个基本问题的算法 13
3.2.1 前向后向算法 13
3.2.2 Viterbi算法 15
3.2.3 BaumWelch算法 16
3.3 隐马尔可夫模型的应用及实验结果分析 17
3.3.1 HMM人脸模型 18
3.3.2 特征抽取 18
3.3.3 隐马尔可夫模型训练 19
3.3.4 实验结果及分析 20
3.4 小结 21
第四章 基于主成分分析的表情识别研究 22
4.1 主成分分析(PCA) 22
4.1.1 PCA人脸识别 22
4.1.2特征向量的提取 24
4.1.3奇异值分解定理 24
4.2 PCA在表情识别中的应用 25
4.2.1 人脸表情的分类及主要提取方法 25
4.2.2 人脸表情的特征提取 26
4.2.3 实验结果及分析 27
4.3 小结 30
第五章 人脸识别系统的设计与研究 31
5.1 人脸识别系统的组成 31
5.1.1 主界面 31
5.1.2 人脸检测模块 31
5.1.3人脸识别模块 32
5.1.4 表情识别模块 34
5.2 小结 36
第六章 总结与展望 37
6.1 研究回顾与总结 37
6.2 未来工作展望 37
致 谢 42
毕 业 设 计（英文翻译） 43
第一章 绪论
1.1选题背景和意义
人脸检测是指采集图像之后，对这个图像中是不是包含人脸信息进行处理判断，假设可以在图像中找到人脸信息，接下来就需要找出人脸的区域和大小。那么什么是人脸表情识别呢？显然，表情识别就是是在对提取人脸相关表情的特征信息后，以人类自身对表情的理解和一般分类的思维方式对这些特征系统的分类，最后计算机会对这些分类信息进行分析和理解，从而达到识别图像中具体表情的目的[1]。
随着智能化信息处理技术的发展，人们所关注的重点从信息的获取开始向信息的安全衍生。在长期的有关身份识别实践经验中，不难发现，一些比较老的，传统的识别方式较为简单，并不能完全保障信息所有者的身份和信息安全。这时生物特征识别这种基于每个人生理和行为的身份鉴别手段被提出并逐渐发展为一种有效手段。人脸识别技术具有诸如非侵犯性、主动性等一些其它识别方式很难具有的优点被人们广为接受，从众多中脱颖而出，成为人们关注的热点问题[2]。自从人脸识别问题变成生物特征识别研究的热点问题以来，每年都有大量的相关论文发表，比如心理学、人机工程学等学科都把该技术作为研究重点。这种现象一方面是对这项技术的肯定，另一方面也使这项技术的成为一项综合性的，具有无限潜能的课题。
人的肌肉运动是心理作用及各种人体机能共同作用的结果，比如由心理活动控制形成表情并在脸上表现出来。现今不管是计算机技术，还是人工智能技术的发展都不容忽视，日新月异的人机交互技术已经成为研究的热点[3]，在视频会议、档案管理、医疗系统都发挥很大的作用。那么我们可以设想一个人与机器协调互助的未来，这会逐步提高机器为人类服务的能力并形成一种和谐的人机关系。
1.2研究现状
众所周知，人类具有一种很容易就从背景中甄别出人脸的能力，而且这是一种鲁棒性十分好，识别度非常高的能力[4]。不难发现人类的这种能力不受视觉上的各种变化的影响，能保持在一个稳定且准确的状态。然而，要想完全弄清楚并理解人类进行人脸识别的视觉机制，然后能熟练的以这种机制为依托搭建一个能自动而准确识别人脸的系统却十分困难。
人脸识别的研究发展至今这么多年来，引起了学术界和工业界越来越多的关注，并随着图像处理和模式识别的研究人员对人脸识别的大量试验，目前已经可以在比较的复杂条件下实现精确的人脸识别。以较常见的是关于人脸正面识别的研究为依托介绍人脸识别的发展过程，一般可将它的发展分为三个主要阶段[5]：
第一阶段是手动标识识别阶段。以Beritnon、Allne和Parke为代表；在最原始的系统中，对人脸进行简单分析后与指纹识别相联系，从而与数据库中的人脸形成关联，达到人脸识别的效果，取得了较好成绩。为了识别率的进一步提高，后面的研究者采用了摹写的手段来提高识别率，在他的摹写过程后，待识别人脸被处理以达到人脸识别的效果。最后研究者改变了先行者使用的手动工作方式，创造性的用计算机代替摹写过程，并产生了一种人脸灰度模型，这个模型的识别效果很好。这一阶段主要研究人脸识别所需面部特征，是靠操作人员来完成识别过程的，因此不属于自动识别系统。
第二阶段是人机交互式识别阶段。首先，在人脸正面表示问题上，Goldstion等人用了一种新的表示方法几何特征参数来表示，进而设计了一种基于面部特征的识别系统。其次，Kobyaashi和Kyaa在人脸特征方面使用欧氏距离表示，这是一种基于统计的识别方法，如一些脸部器官间的距离都是使用这个方法表示。第三，TKnada创造性地使用了积分投影法，匹配过程在投影后模型与库中标准人脸中展开。这类方法都是基于人脸轮廓的，之所以这些方法都还或多或少的存在不足，是因为它们操作的过程中需要操作者具有一些相关知识，并不能完全脱离人工[5]。
Keywords: Face Detection; Face Recognition; Expression Recognition; HMM; PCA; YCbCr 目 录
第一章 绪论 1
1.1 选题背景和意义 1
1.2 研究现状 1
1.3 人脸识别主要困难 3
1.4 论文研究内容和组织结构 4
第二章 基于肤色模型的人脸检测研究 6
2.1 YCbCr颜色空间 6
2.2基于肤色的人脸检测算法流程及实验结果分析 7
2.2.1 肤色模型的建立 7
2.2.2 肤色的提取 7
2.2.3 人脸形态学处理 8
2.2.4 人脸区域筛选与标记 9
2.3小结 10
第三章 基于隐马尔可夫模型的人脸识别研究 11
3.1 隐马尔可夫模型(HMM) 11
3.1.1 HMM的基本思想 11
3.1.1.1 马尔可夫链 11
3.1.1.2 HMM的基本概念 12<
*好棒文|www.hbsrm.com +Q: %3^5`1^9`1^6^0`7^2#
br /> 3.1.2 HMM的三个基本问题 13
3.2 解决HMM三个基本问题的算法 13
3.2.1 前向后向算法 13
3.2.2 Viterbi算法 15
3.2.3 BaumWelch算法 16
3.3 隐马尔可夫模型的应用及实验结果分析 17
3.3.1 HMM人脸模型 18
3.3.2 特征抽取 18
3.3.3 隐马尔可夫模型训练 19
3.3.4 实验结果及分析 20
3.4 小结 21
第四章 基于主成分分析的表情识别研究 22
4.1 主成分分析(PCA) 22
4.1.1 PCA人脸识别 22
4.1.2特征向量的提取 24
4.1.3奇异值分解定理 24
4.2 PCA在表情识别中的应用 25
4.2.1 人脸表情的分类及主要提取方法 25
4.2.2 人脸表情的特征提取 26
4.2.3 实验结果及分析 27
4.3 小结 30
第五章 人脸识别系统的设计与研究 31
5.1 人脸识别系统的组成 31
5.1.1 主界面 31
5.1.2 人脸检测模块 31
5.1.3人脸识别模块 32
5.1.4 表情识别模块 34
5.2 小结 36
第六章 总结与展望 37
6.1 研究回顾与总结 37
6.2 未来工作展望 37
致 谢 42
毕 业 设 计（英文翻译） 43
第一章 绪论
1.1选题背景和意义
人脸检测是指采集图像之后，对这个图像中是不是包含人脸信息进行处理判断，假设可以在图像中找到人脸信息，接下来就需要找出人脸的区域和大小。那么什么是人脸表情识别呢？显然，表情识别就是是在对提取人脸相关表情的特征信息后，以人类自身对表情的理解和一般分类的思维方式对这些特征系统的分类，最后计算机会对这些分类信息进行分析和理解，从而达到识别图像中具体表情的目的[1]。
随着智能化信息处理技术的发展，人们所关注的重点从信息的获取开始向信息的安全衍生。在长期的有关身份识别实践经验中，不难发现，一些比较老的，传统的识别方式较为简单，并不能完全保障信息所有者的身份和信息安全。这时生物特征识别这种基于每个人生理和行为的身份鉴别手段被提出并逐渐发展为一种有效手段。人脸识别技术具有诸如非侵犯性、主动性等一些其它识别方式很难具有的优点被人们广为接受，从众多中脱颖而出，成为人们关注的热点问题[2]。自从人脸识别问题变成生物特征识别研究的热点问题以来，每年都有大量的相关论文发表，比如心理学、人机工程学等学科都把该技术作为研究重点。这种现象一方面是对这项技术的肯定，另一方面也使这项技术的成为一项综合性的，具有无限潜能的课题。
人的肌肉运动是心理作用及各种人体机能共同作用的结果，比如由心理活动控制形成表情并在脸上表现出来。现今不管是计算机技术，还是人工智能技术的发展都不容忽视，日新月异的人机交互技术已经成为研究的热点[3]，在视频会议、档案管理、医疗系统都发挥很大的作用。那么我们可以设想一个人与机器协调互助的未来，这会逐步提高机器为人类服务的能力并形成一种和谐的人机关系。
1.2研究现状
众所周知，人类具有一种很容易就从背景中甄别出人脸的能力，而且这是一种鲁棒性十分好，识别度非常高的能力[4]。不难发现人类的这种能力不受视觉上的各种变化的影响，能保持在一个稳定且准确的状态。然而，要想完全弄清楚并理解人类进行人脸识别的视觉机制，然后能熟练的以这种机制为依托搭建一个能自动而准确识别人脸的系统却十分困难。
人脸识别的研究发展至今这么多年来，引起了学术界和工业界越来越多的关注，并随着图像处理和模式识别的研究人员对人脸识别的大量试验，目前已经可以在比较的复杂条件下实现精确的人脸识别。以较常见的是关于人脸正面识别的研究为依托介绍人脸识别的发展过程，一般可将它的发展分为三个主要阶段[5]：
第一阶段是手动标识识别阶段。以Beritnon、Allne和Parke为代表；在最原始的系统中，对人脸进行简单分析后与指纹识别相联系，从而与数据库中的人脸形成关联，达到人脸识别的效果，取得了较好成绩。为了识别率的进一步提高，后面的研究者采用了摹写的手段来提高识别率，在他的摹写过程后，待识别人脸被处理以达到人脸识别的效果。最后研究者改变了先行者使用的手动工作方式，创造性的用计算机代替摹写过程，并产生了一种人脸灰度模型，这个模型的识别效果很好。这一阶段主要研究人脸识别所需面部特征，是靠操作人员来完成识别过程的，因此不属于自动识别系统。
第二阶段是人机交互式识别阶段。首先，在人脸正面表示问题上，Goldstion等人用了一种新的表示方法几何特征参数来表示，进而设计了一种基于面部特征的识别系统。其次，Kobyaashi和Kyaa在人脸特征方面使用欧氏距离表示，这是一种基于统计的识别方法，如一些脸部器官间的距离都是使用这个方法表示。第三，TKnada创造性地使用了积分投影法，匹配过程在投影后模型与库中标准人脸中展开。这类方法都是基于人脸轮廓的，之所以这些方法都还或多或少的存在不足，是因为它们操作的过程中需要操作者具有一些相关知识，并不能完全脱离人工[5]。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wlw/674.html
