简易手势声音转换系统的设计
简易手势声音转换系统的设计[20200406125202]
摘 要
随着科技进步和光信息采集控制技术的不断发展，传统的人机交互方式正在得到转变和扩展，手势识别作为其中一项典型应用正吸引越来越多人的关注。手势识别具有操作自然，人性化，交互感强等其它传统交互方式所没有的优势。本文即在嵌入式平台上通过相关算法实现了基本的手势识别技术，进而控制语音模块进行相应手势的语音转换。文中利用摄像头进行手势图像数据采集,采用 STM32 作为微处理器，对图像进行差影分割、噪声去除等算法处理，完成了手势基本识别,并在此基础上对语音模块进行了控制，基本实现了内置手势与语音的转换。采用3 法则来提高系统抗光线干扰能力。手势语音转换有较高的实际应用价值，它可以极大地方便残疾人士表达自己的想法；在游戏中，增添游戏的互动性和可玩性。此外，手势识别部分与其它控制部分结合还可以应用在其它领域，充分发挥手势识别的优势。
*查看完整论文请 +Q: 3 5 1 9 1 6 0 7 2
关键字:STM32手势识别差影分割噪声处理
目 录
1.绪论 1
1.1 人机交互及手势识别概述 1
1.2 手势识别优点及应用背景 1
1.3 本文研究内容 2
2.手势系统识别硬件设计 3
2.1 系统整体硬件构图 3
2.2 微控制器模块 4
2.2.1 微控制器选择 4
2.2.2 单片机STM32及其资源介绍 4
2.2.3 单片机STM32开发环境及开发方式 5
2.2 图像采集模块 5
2.2.1 图像采集概述 5
2.2.2 摄像头OV7670读取时序 6
2.3 存储器模块 7
2.3.1 图像存储概述 7
2.3.2 外部SRAM IS62WV51216 7
2.3.3 外部RAM与STM32连接方式 8
2.4 显示模块 8
2.4.1 调试概述 8
2.4.2 TFTLCD 9
2.5 语音模块 9
3.手势识别系统软件设计 10
3.1 系统整体软件构图 10
3.2 手势采集 11
3.2.1手势采集概述 11
3.2.2 图像格式 11
3.2.3 图像采集 12
3.3 手势分割 15
3.4 手势处理 19
3.4.1 图像二值化 19
3.4.2 图像去噪滤波 20
3.5 手势识别以语音控制 22
4.实验结果 25
5.结束语 29
参考文献 30
致谢 31
1.绪论
1.1 人机交互及手势识别概述
在当今智能化，自动化越来越普遍的年代，人们在日常生活中也越来越多的操作使用机器和设备。如何便捷，快速地使用这些设备便是人机交互所研究的问题。传统的人机交互设备有鼠标，键盘等，这些设备曾一度改善过人们的操作体验，新的技术的不断出现，使人们对于操作体验的要求也日益提高，传统的交互设备已经没法满足人们的需求。作为自然用户接口的方式之一，手势识别的发展前景相当可观，它让用户操作更加简单便捷,也带来更多的体验。手势识别也就是通过手势来进行人与设备之间的交互。手势识别相较于传统的交互设备，其优势是明显的。由于手势识别系统可以无接触地进行操作，因而可以解放使用者的双手，同时也减少了传统交互设备连接线距离的限制。采用手势进行交互，是一种更自然，更便捷的交互方式，对于所要完成的操作，只需真实地用手做出动作，便可完成操作，因此也更加便于使用。
手势识别系统可大致分为数据手套系统【1】和基于视觉识别系统【2】。数据手套系统要求使用者佩戴相应的传感器手套，通过手套中的传感器对手部动作的感知，来进行手势的判断。徒手系统不需要使用者额外穿戴设备，只需对着仪器使用即可。这种方式下，使用设备通过图像传感器对使用者的手势进行捕获，并进行识别，从而完成操作。采用数据手套的识别系统有很高的识别率，但其价格昂贵，且使用者必须佩带手套，操作较不舒适。基于视觉识别系统所需设备简单，只需摄像头便可完成识别，价格低廉，操作感舒适，但其识别率相对较低，受外界环境干扰较大。但基于视觉识别系统这种无接触，自然的，高效的交互方式显然更满足未来人机交互的发展方式，因此研究此种 手势识别系统有重要意义。
1.2 手势识别优点及应用背景
手势识别系统优点明显，它能更简单地交互控制，摆脱了操作距离，操作设备的限制。强大的交互体验，可以使游戏，虚拟现实等变得更真实，交互感更强.满足特殊需要，如残疾或行动不便的可方便控制。目前国内外，手势识别技术正变得越发流行，是国内外研究热点之一，手势识别技术便被用在三星电子（SAMSUNG）公司于2013年推出GALASY S4手机中，其全新的操作方式受到一致好评【3】。手势识别可以应用在许多领域，像在虚拟现实应用领域，利用手势操作虚拟环境中的物体，增加交互的真实感，能够在不适宜使用鼠标键盘等传统人机交互的公共场合如机场、候车厅的信息显示系统中发挥作用【4】。应用在游戏中，可能是手势识别系统的又要用武之地，其自然的操作方式必会极大丰富游戏的操作体验，掀起游戏改良的热潮。对于传统的家用电器如电视，DVD等设备，手势识别系统同样能够充当遥控器的功能。手势识别还可应用于现代化办公中，手势识别技术可以让我们像科幻般的操作文件，进行办公。对于那些手脚不便，或有身体缺陷的人士手势识别也可以提供极大的便利，。所以手势识别具有重要的研究意义。
1.3 本文研究内容
本文是在嵌入式平台上完成静态背景下，简易手势的识别。选用的背景在识别过程中固定，不发生改变。识别的手势为简单的“1”，“2”和“3”。选用STM32作为系统的控制器。使用摄像头OV7670采集图像，由STM32完成手势分割，对图像的去噪滤波，手势的识别，以及完成对语音模块的控制。对摄像头采集的图片采用差影分割将手与背景分开，去除背景信息。再对分割后的图片进行二值化处理，局部平均处理得到较好的二值化图像。对得到的二值化图像进行逐行分析，得到整帧图像中手势的信息，通过与已有手势信息的比对，识别出手势。根据手势控制语音模块来发出相应声音。
2.手势系统识别硬件设计
2.1 系统整体硬件构图
手势识别的硬件系统大致可分为控制器模块，图像采集，存储以及语音这四部分。微控制器作为整个系统的数据处理中心，负责系统的控制，图像的采集，处理以及语音模块的控制。图像采集模块主要负责图像的收集，是整个手势识别系统的输入设备。存储器模块负责对于采集图像的储存，由于图像处理中需保存大量数据，因此存储空间必须较大。语音模块式手势识别系统的控制部分，是手势识别的具体应用，也是手势识别发挥作用的体现，良好的手势控制能够增添手势识别技术的功能和使用范围。显示模块是系统调试所需，用于显示所采集的图像以及中间的处理过程的数据，便于系统的开发。
系统开发平台选用的是嵌入式平台，微控制器选取STM32F103ZET6，图像采集选用摄像头OV7670及FIFO先进先出存储器AL422B，语音模块选用ISD1760，存储选用片外SRAM IS62WV51216，显示选用TFTLCD。
图2.1 手势识别系统
2.2 微控制器模块
2.2.1 微控制器选择
手势识别系统主要完成手势图像的采集，手势识别及手势控制这三方面的功能。其中为了实现对手势的实时跟踪和定位，就必须保证手势的采集速率足够的高；手势识别的算法有相当的计算量，算法较复杂；手势的控制包括液晶的显示和语音模块的控制；以上这三方面都可以决定了作为手势识别系统的微控制器需要有较强的数据运算处理能力，和实时响应能力。
基础的51单片机虽然使用方便，价格低廉，但硬件资源较少，且时钟晶振较低及数据处理能力较弱，显然不适于手势识别系统。DSP数字信号处理器有很强的数据处理能力，但其编写较为复杂，且费用较为昂贵。因此，综合数据处理，开发难度，自身水平和经济状况，本手势识别系统采用意法半导体的32位单片机STM32F103ZET6作为控制器。STM32是一款高性能，低成本的微处理器。其最高工作频率为72MHz，具有较强的数据处理，能够实现单周期乘法，内部含有硬件除法，能够处理较复杂的算法，足够胜任简易的手势识别处理。16个外部中断也能确保图像采集的实时性和有效性。
摘 要
随着科技进步和光信息采集控制技术的不断发展，传统的人机交互方式正在得到转变和扩展，手势识别作为其中一项典型应用正吸引越来越多人的关注。手势识别具有操作自然，人性化，交互感强等其它传统交互方式所没有的优势。本文即在嵌入式平台上通过相关算法实现了基本的手势识别技术，进而控制语音模块进行相应手势的语音转换。文中利用摄像头进行手势图像数据采集,采用 STM32 作为微处理器，对图像进行差影分割、噪声去除等算法处理，完成了手势基本识别,并在此基础上对语音模块进行了控制，基本实现了内置手势与语音的转换。采用3 法则来提高系统抗光线干扰能力。手势语音转换有较高的实际应用价值，它可以极大地方便残疾人士表达自己的想法；在游戏中，增添游戏的互动性和可玩性。此外，手势识别部分与其它控制部分结合还可以应用在其它领域，充分发挥手势识别的优势。
*查看完整论文请 +Q: 3 5 1 9 1 6 0 7 2
关键字:STM32手势识别差影分割噪声处理
目 录
1.绪论 1
1.1 人机交互及手势识别概述 1
1.2 手势识别优点及应用背景 1
1.3 本文研究内容 2
2.手势系统识别硬件设计 3
2.1 系统整体硬件构图 3
2.2 微控制器模块 4
2.2.1 微控制器选择 4
2.2.2 单片机STM32及其资源介绍 4
2.2.3 单片机STM32开发环境及开发方式 5
2.2 图像采集模块 5
2.2.1 图像采集概述 5
2.2.2 摄像头OV7670读取时序 6
2.3 存储器模块 7
2.3.1 图像存储概述 7
2.3.2 外部SRAM IS62WV51216 7
2.3.3 外部RAM与STM32连接方式 8
2.4 显示模块 8
2.4.1 调试概述 8
2.4.2 TFTLCD 9
2.5 语音模块 9
3.手势识别系统软件设计 10
3.1 系统整体软件构图 10
3.2 手势采集 11
3.2.1手势采集概述 11
3.2.2 图像格式 11
3.2.3 图像采集 12
3.3 手势分割 15
3.4 手势处理 19
3.4.1 图像二值化 19
3.4.2 图像去噪滤波 20
3.5 手势识别以语音控制 22
4.实验结果 25
5.结束语 29
参考文献 30
致谢 31
1.绪论
1.1 人机交互及手势识别概述
在当今智能化，自动化越来越普遍的年代，人们在日常生活中也越来越多的操作使用机器和设备。如何便捷，快速地使用这些设备便是人机交互所研究的问题。传统的人机交互设备有鼠标，键盘等，这些设备曾一度改善过人们的操作体验，新的技术的不断出现，使人们对于操作体验的要求也日益提高，传统的交互设备已经没法满足人们的需求。作为自然用户接口的方式之一，手势识别的发展前景相当可观，它让用户操作更加简单便捷,也带来更多的体验。手势识别也就是通过手势来进行人与设备之间的交互。手势识别相较于传统的交互设备，其优势是明显的。由于手势识别系统可以无接触地进行操作，因而可以解放使用者的双手，同时也减少了传统交互设备连接线距离的限制。采用手势进行交互，是一种更自然，更便捷的交互方式，对于所要完成的操作，只需真实地用手做出动作，便可完成操作，因此也更加便于使用。
手势识别系统可大致分为数据手套系统【1】和基于视觉识别系统【2】。数据手套系统要求使用者佩戴相应的传感器手套，通过手套中的传感器对手部动作的感知，来进行手势的判断。徒手系统不需要使用者额外穿戴设备，只需对着仪器使用即可。这种方式下，使用设备通过图像传感器对使用者的手势进行捕获，并进行识别，从而完成操作。采用数据手套的识别系统有很高的识别率，但其价格昂贵，且使用者必须佩带手套，操作较不舒适。基于视觉识别系统所需设备简单，只需摄像头便可完成识别，价格低廉，操作感舒适，但其识别率相对较低，受外界环境干扰较大。但基于视觉识别系统这种无接触，自然的，高效的交互方式显然更满足未来人机交互的发展方式，因此研究此种 手势识别系统有重要意义。
1.2 手势识别优点及应用背景
手势识别系统优点明显，它能更简单地交互控制，摆脱了操作距离，操作设备的限制。强大的交互体验，可以使游戏，虚拟现实等变得更真实，交互感更强.满足特殊需要，如残疾或行动不便的可方便控制。目前国内外，手势识别技术正变得越发流行，是国内外研究热点之一，手势识别技术便被用在三星电子（SAMSUNG）公司于2013年推出GALASY S4手机中，其全新的操作方式受到一致好评【3】。手势识别可以应用在许多领域，像在虚拟现实应用领域，利用手势操作虚拟环境中的物体，增加交互的真实感，能够在不适宜使用鼠标键盘等传统人机交互的公共场合如机场、候车厅的信息显示系统中发挥作用【4】。应用在游戏中，可能是手势识别系统的又要用武之地，其自然的操作方式必会极大丰富游戏的操作体验，掀起游戏改良的热潮。对于传统的家用电器如电视，DVD等设备，手势识别系统同样能够充当遥控器的功能。手势识别还可应用于现代化办公中，手势识别技术可以让我们像科幻般的操作文件，进行办公。对于那些手脚不便，或有身体缺陷的人士手势识别也可以提供极大的便利，。所以手势识别具有重要的研究意义。
1.3 本文研究内容
本文是在嵌入式平台上完成静态背景下，简易手势的识别。选用的背景在识别过程中固定，不发生改变。识别的手势为简单的“1”，“2”和“3”。选用STM32作为系统的控制器。使用摄像头OV7670采集图像，由STM32完成手势分割，对图像的去噪滤波，手势的识别，以及完成对语音模块的控制。对摄像头采集的图片采用差影分割将手与背景分开，去除背景信息。再对分割后的图片进行二值化处理，局部平均处理得到较好的二值化图像。对得到的二值化图像进行逐行分析，得到整帧图像中手势的信息，通过与已有手势信息的比对，识别出手势。根据手势控制语音模块来发出相应声音。
2.手势系统识别硬件设计
2.1 系统整体硬件构图
手势识别的硬件系统大致可分为控制器模块，图像采集，存储以及语音这四部分。微控制器作为整个系统的数据处理中心，负责系统的控制，图像的采集，处理以及语音模块的控制。图像采集模块主要负责图像的收集，是整个手势识别系统的输入设备。存储器模块负责对于采集图像的储存，由于图像处理中需保存大量数据，因此存储空间必须较大。语音模块式手势识别系统的控制部分，是手势识别的具体应用，也是手势识别发挥作用的体现，良好的手势控制能够增添手势识别技术的功能和使用范围。显示模块是系统调试所需，用于显示所采集的图像以及中间的处理过程的数据，便于系统的开发。
系统开发平台选用的是嵌入式平台，微控制器选取STM32F103ZET6，图像采集选用摄像头OV7670及FIFO先进先出存储器AL422B，语音模块选用ISD1760，存储选用片外SRAM IS62WV51216，显示选用TFTLCD。
图2.1 手势识别系统
2.2 微控制器模块
2.2.1 微控制器选择
手势识别系统主要完成手势图像的采集，手势识别及手势控制这三方面的功能。其中为了实现对手势的实时跟踪和定位，就必须保证手势的采集速率足够的高；手势识别的算法有相当的计算量，算法较复杂；手势的控制包括液晶的显示和语音模块的控制；以上这三方面都可以决定了作为手势识别系统的微控制器需要有较强的数据运算处理能力，和实时响应能力。
基础的51单片机虽然使用方便，价格低廉，但硬件资源较少，且时钟晶振较低及数据处理能力较弱，显然不适于手势识别系统。DSP数字信号处理器有很强的数据处理能力，但其编写较为复杂，且费用较为昂贵。因此，综合数据处理，开发难度，自身水平和经济状况，本手势识别系统采用意法半导体的32位单片机STM32F103ZET6作为控制器。STM32是一款高性能，低成本的微处理器。其最高工作频率为72MHz，具有较强的数据处理，能够实现单周期乘法，内部含有硬件除法，能够处理较复杂的算法，足够胜任简易的手势识别处理。16个外部中断也能确保图像采集的实时性和有效性。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/gdxx/236.html
