深度学习的表情识别系统(源码)
面部表情不仅是表达情感的主要途径也是交往的重要手段，对于面部表情进行识别具有广泛的应用前景。传统的面部表情识别的研究依赖于特定的数据集，普适性不高，导致很难获得较好的应用效果。近年来，深层神经网络(Deep Neural Network ，DNN)依靠其深度挖掘输入特征的能力和更好的鲁棒性，在人脸识别和自然语言识别方面都取得了很好的成绩。本课题将研究把深层神经网络技术应用于表情自动识别，主要工作有1.在keras深度学习框架上搭建多种深层神经网络，确定识别效果最优的网络结构；2.设计实验研究不同类别的表情样本分布对表情识别神经网络的性能的影响，并根据实验结果对不同类别的训练样本数量分布做最佳处理；3.设计基于深度学习的表情识别系统，完成现实条件下的人脸表情识别。
目录
摘要 1
关键词 1
Abstract 1
Key words 1
1 绪论 2
1.1 研究背景及意义 2
1.2 国内外研究现状 2
1.2.1 国外研究状况 2
1.2.2 国内研究状况 3
1.2.3 本课题研究内容 4
1.3 人脸表情识别概述 4
1.3.1 表情图像预处理 4
1.3.2 表情特征提取 5
1.3.3 表情分类 6
1.3.4 表情数据集 7
1.4 本章小结 7
2 深度学习和卷积神经网络 8
2.1 深度学习 8
2.1.1 深度学习概述 8
2.1.2 深度学习的常用方法 8
2.2 多层前馈网络 9
2.2.1 感知器单元 9
2.2.2 多层前馈网络 10
2.2.3 反向传导算法 12
2.3 卷积神经网络的基本原理 13
2.3.1 传统卷积神经网络的网络结构 13
2.3.2 稀疏连接与权值共享 13
2.4 本章小结 14
3 人脸表情识别的深度卷积神经网络模型 14
3.1 结构分析及参数优化 14
3.1.1 连续 *好棒文|www.hbsrm.com +Q: #351916072#
卷积结构分析 14
3.1.2 卷积核大小以及激活函数的选择 14
3.1.3 池化 14
3.1.4 Dropout 14
3.1.5 批规范化（Batch Normalization） 15
3.2 实验与结果分析 15
3.2.1 实验设置 15
3.2.2 对比实验 16
3.2.3 分析与比较 18
3.3 本章小结 18
4 人脸表情识别系统的设计 19
4.1 软件设计方案 19
4.1.1 功能描述 19
4.1.2 系统开发环境 19
4.2 基于深度学习的表情识别系统展示 20
4.3 本章小结 21
5 结论 21
致谢 22
参考文献 22
基于深度学习的表情识别系统
引言
1 绪论
1.1 研究背景及意义
表情在人与人的面对面交流中具有非常重要的作用。通过丰富细腻的表情，人们不仅可以准确地表达出自己的内心想法，同时也可以了解到对方隐藏的情感。心理学家Mehrabian[1]通过研究提出：在人表露的情感中，言辞占据7%，声音占据38%，面部表情占据了大部分55%。由此可见，在人与人的交往中，面部表情因为包含了大部分的情感信息，而成为了重要的交往手段。因此，对人的面部表情进行研究，深入了解人对应的心理状态十分重要。
利用深度学习技术对人的面部表情进行识别无论在技术层面还是在应用层面都具有很大意义。
从技术层面上来看，深度学习在信号处理、计算机视觉等领域效果显著。它的本质是通过将很多的训练样本输入到按照一定规则设计好的网络模型中，逐渐地把低层特征进行组合得到高层特征，增强网络模型的预测或分类能力。目前已经有大量的研究人脸表情识别的方法，但是基于深度学习的人脸面部表情识别的研究还相对较少。将深度学习方法用于表情识别领域对于提升表情识别效果具有重要意义。
从应用层面上来看，人脸表情识别技术可用于市场调研、医疗、游戏交互、教育学等领域的研究。例如在市场调研领域，表情识别通过消费者对于广告的反馈来判断消费者对于广告的喜好程序；在医疗领域，利用表情识别技术检测患者的病痛程度,对于分析儿童患者或存在交流障碍的患者的病情具有极大帮助；在游戏交互领域，在游戏平台中使用表情识别技术，可以根据游戏玩家的情绪状态及时调整游戏难度，从而增加游戏的乐趣，同时还可以扩展游戏的交互性。
1.2 国内外研究现状
1.2.1 国外研究状况
1872 年，达尔文[2]发表了论著《人类与动物的情感表达》，在这篇文章中，他首次表达了人类的面部表情具有一致性，即它所反映的情感并非按性别或者种族来判断。
1971年，Ekman和Friesen[3]对人脸表情定义了七种基本类别，如图1.1所示。这对于之后的表情识别研究和表情数据集的建立具有极大的指导意义。1978年，他们在原定义的表情类别的基础上，建立了面部行为编码系统 (Facial Action Coding System, FACS)。随着该系统的不断完善以及对面部表情研究的深入，该系统成为了当前面部表情的肌肉运动的重要参考标准，为后续表情识别研究奠定了基础。
图1 人脸表情的七种基本类别
1991年，Mase和Pentland[4]提出的使用光流法进行面部表情识别开启了计算机进行自动面部表情识别的新时期。许多发达国家如美国、日本等的研究机构开始对表情识别进行研究。其中麻省理工大学、斯坦福大学、卡内基梅隆大学、日本的东京大学和ART研究所的贡献最为突出。突出的研究成果有：MIT开发出一款能够对人的基本面部表情进行识别并且做出回应的机器人；CMU建立了一个简单的面部自动分析系统；ART研究所自己建立的JAFFE数据库被广泛应用于亚洲人脸表情识别研究。
随着深度学习技术的快速普及，研究者也将深度学习技术用于表情识别并取得了突破性的进展。Veena Mayya[5]等提出了一种面部表情自动识别的新方法，该方法基于深层卷积神经网络（Deep Convolutional Neural Networks，DCNN）。他们所提出的模型侧重于从单个图像识别个体的面部表情，并且由于使用通用图形处理单元使得特征提取时间显著降低。该方法在CK+和JAFFE数据集上分别达到了97.08%和98.12%的识别率；Andre Teixeira Lopes[6]等提出了使用卷积神经网络和特定图像预处理步骤组合识别面部表情的方法。该方法采用一些预处理技术从面部图像中提取表达特征，并在使用CNN训练过程中探索样本的表现顺序。该方法训练速度快，在CK+数据库上达到了96.76％的准确度，并且允许使用标准计算机进行实时面部表情识别。
目录
摘要 1
关键词 1
Abstract 1
Key words 1
1 绪论 2
1.1 研究背景及意义 2
1.2 国内外研究现状 2
1.2.1 国外研究状况 2
1.2.2 国内研究状况 3
1.2.3 本课题研究内容 4
1.3 人脸表情识别概述 4
1.3.1 表情图像预处理 4
1.3.2 表情特征提取 5
1.3.3 表情分类 6
1.3.4 表情数据集 7
1.4 本章小结 7
2 深度学习和卷积神经网络 8
2.1 深度学习 8
2.1.1 深度学习概述 8
2.1.2 深度学习的常用方法 8
2.2 多层前馈网络 9
2.2.1 感知器单元 9
2.2.2 多层前馈网络 10
2.2.3 反向传导算法 12
2.3 卷积神经网络的基本原理 13
2.3.1 传统卷积神经网络的网络结构 13
2.3.2 稀疏连接与权值共享 13
2.4 本章小结 14
3 人脸表情识别的深度卷积神经网络模型 14
3.1 结构分析及参数优化 14
3.1.1 连续 *好棒文|www.hbsrm.com +Q: #351916072#
卷积结构分析 14
3.1.2 卷积核大小以及激活函数的选择 14
3.1.3 池化 14
3.1.4 Dropout 14
3.1.5 批规范化（Batch Normalization） 15
3.2 实验与结果分析 15
3.2.1 实验设置 15
3.2.2 对比实验 16
3.2.3 分析与比较 18
3.3 本章小结 18
4 人脸表情识别系统的设计 19
4.1 软件设计方案 19
4.1.1 功能描述 19
4.1.2 系统开发环境 19
4.2 基于深度学习的表情识别系统展示 20
4.3 本章小结 21
5 结论 21
致谢 22
参考文献 22
基于深度学习的表情识别系统
引言
1 绪论
1.1 研究背景及意义
表情在人与人的面对面交流中具有非常重要的作用。通过丰富细腻的表情，人们不仅可以准确地表达出自己的内心想法，同时也可以了解到对方隐藏的情感。心理学家Mehrabian[1]通过研究提出：在人表露的情感中，言辞占据7%，声音占据38%，面部表情占据了大部分55%。由此可见，在人与人的交往中，面部表情因为包含了大部分的情感信息，而成为了重要的交往手段。因此，对人的面部表情进行研究，深入了解人对应的心理状态十分重要。
利用深度学习技术对人的面部表情进行识别无论在技术层面还是在应用层面都具有很大意义。
从技术层面上来看，深度学习在信号处理、计算机视觉等领域效果显著。它的本质是通过将很多的训练样本输入到按照一定规则设计好的网络模型中，逐渐地把低层特征进行组合得到高层特征，增强网络模型的预测或分类能力。目前已经有大量的研究人脸表情识别的方法，但是基于深度学习的人脸面部表情识别的研究还相对较少。将深度学习方法用于表情识别领域对于提升表情识别效果具有重要意义。
从应用层面上来看，人脸表情识别技术可用于市场调研、医疗、游戏交互、教育学等领域的研究。例如在市场调研领域，表情识别通过消费者对于广告的反馈来判断消费者对于广告的喜好程序；在医疗领域，利用表情识别技术检测患者的病痛程度,对于分析儿童患者或存在交流障碍的患者的病情具有极大帮助；在游戏交互领域，在游戏平台中使用表情识别技术，可以根据游戏玩家的情绪状态及时调整游戏难度，从而增加游戏的乐趣，同时还可以扩展游戏的交互性。
1.2 国内外研究现状
1.2.1 国外研究状况
1872 年，达尔文[2]发表了论著《人类与动物的情感表达》，在这篇文章中，他首次表达了人类的面部表情具有一致性，即它所反映的情感并非按性别或者种族来判断。
1971年，Ekman和Friesen[3]对人脸表情定义了七种基本类别，如图1.1所示。这对于之后的表情识别研究和表情数据集的建立具有极大的指导意义。1978年，他们在原定义的表情类别的基础上，建立了面部行为编码系统 (Facial Action Coding System, FACS)。随着该系统的不断完善以及对面部表情研究的深入，该系统成为了当前面部表情的肌肉运动的重要参考标准，为后续表情识别研究奠定了基础。
图1 人脸表情的七种基本类别
1991年，Mase和Pentland[4]提出的使用光流法进行面部表情识别开启了计算机进行自动面部表情识别的新时期。许多发达国家如美国、日本等的研究机构开始对表情识别进行研究。其中麻省理工大学、斯坦福大学、卡内基梅隆大学、日本的东京大学和ART研究所的贡献最为突出。突出的研究成果有：MIT开发出一款能够对人的基本面部表情进行识别并且做出回应的机器人；CMU建立了一个简单的面部自动分析系统；ART研究所自己建立的JAFFE数据库被广泛应用于亚洲人脸表情识别研究。
随着深度学习技术的快速普及，研究者也将深度学习技术用于表情识别并取得了突破性的进展。Veena Mayya[5]等提出了一种面部表情自动识别的新方法，该方法基于深层卷积神经网络（Deep Convolutional Neural Networks，DCNN）。他们所提出的模型侧重于从单个图像识别个体的面部表情，并且由于使用通用图形处理单元使得特征提取时间显著降低。该方法在CK+和JAFFE数据集上分别达到了97.08%和98.12%的识别率；Andre Teixeira Lopes[6]等提出了使用卷积神经网络和特定图像预处理步骤组合识别面部表情的方法。该方法采用一些预处理技术从面部图像中提取表达特征，并在使用CNN训练过程中探索样本的表现顺序。该方法训练速度快，在CK+数据库上达到了96.76％的准确度，并且允许使用标准计算机进行实时面部表情识别。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/1653.html
