手势识别的车载多媒体控制系统【字数：13411】
摘 要手势识别是最近大热的人机交互方式，在诸多领域得到广泛应用，通过在汽车上实施功能性安全技术，减少驾驶员的分神行为，并且在一定程度上，提升驾驶员的驾车体验与安全性。车载手势识别，通过不同的手势，控制车内的多媒体播放器，在驾驶员专心开车的同时，可以十分方便快捷的通过展示不同的手势对多媒体播放器进行操作。系统基于Opencv和Tensorflow，运用卷积神经网络对手势进行训练，车载计算单元选用低成本的32位树莓派，通过手势对安装在树莓派上的32位播放器进行控制。目前可以在树莓派中识别出正确的手势并根据手相应的手势对树莓派内的播放器进行控制，可以完成的操作有暂停/开始，调高/调低音量，切换上一首/下一首。
目录
1. 绪论 1
1.1 课题的研究背景 1
1.2 目的和意义 1
1.3 当前研究现状 1
1.4 课题主要研究工作 2
2. 核心技术介绍 3
2.1 开发语言及开源库 3
2.2 智能车介绍 3
2.3 设备介绍 4
2.3.1 树莓派介绍 4
2.3.2 摄像头 4
2.3.3 显示器（自带音箱） 5
2.4 Vlc播放器 5
2.5 机器学习 6
2.6 卷积神经网络 10
3. 系统分析 13
3.1 可行性分析 13
3.1.1 技术可行性 13
3.1.2 运行可行性 13
3.1.3 软件可行性 13
3.1.4 经济可行性 13
3.2需求分析 13
3.2.1 手势控制播放器需求分析 13
3.2.2 播放器需求分析 14
3.2.3 环境配置 18
3.2.4 数据需求分析 18
3.2.5 非功能性需求分析 19
4. 详细设计 20
4.1 收集数据 20
4.2 数据处理 24
4.3 网络架构 24
4.4 训练算法 25
4.5 测试算法 25
4 *好棒文|www.hbsrm.com +Q: &351916072&
.6 使用算法 25
4.7 播放器详细设计 26
4.8 手势识别控制播放器方式 30
5. 实现效果并进行测试 32
5.1 摄像头捕捉到手势并对播放器发出指令 32
5.2 黑盒测试 35
5.3 白盒测试 37
6. 系统开发对社会人文，环境，法律的影响 41
7．总结与展望 42
参考文献 43
致 谢 44
1. 绪论
1.1 课题的研究背景
汽车出现之后，人们和汽车的交互的方式产生了变化。这些年来，越来越明显。仅在车内资讯娱乐系统中，互动方式也开始从最早的实体按键转向包含按键、触控荧屏、语音的多维互动。
尽管互动模式正在改变，但遵守的逻辑从未改变：方便和安全。例如，智能后视镜、抬头显示器、智能语音、导航等，都扩大了手触的面积，都是为了使驾驶员在驾驶时尽可能容易地传递指令，减少注意力的分散，并确保安全。
现在车载语音交互慢慢普及，然而，它仍有其自身的局限性，如识别率、识别速度、对自然语言的支持等。
这可能是一个更好的解决方案，就像在科幻小说中，你可以只是移动你的手指和给一些指示。
1.2 目的和意义
最初的手势识别主要是使用可穿戴设备直接检测手部和手臂各关节的角度和空间位置。这些设备大多通过电缆技术连接计算机系统和用户，使用户的手势信息完整地传输到识别系统中。之前的方式，像数据手套。虽然这些设备可以提供良好的检测结果，但它们在公共区域的应用是昂贵的。
然后，光学的发展替代了数据手套，这种方式也可以提供很好的效果，但仍然需要更加复杂的设备。
手势识别包含由让视频采集设备采集的、经过计算机视觉技术来进行处理、接，他也也被用在汽车上了。
仅在车内资讯娱乐系统中，互动方式也开始从最早的实体按键转向包含按键、触控萤幕、语音的多维互动。
1.3 当前研究现状
事实上，主要的机器工厂确实朝这个方向移动。2015年，宝马率先发布了具有手势识别功能的第七系列，而欧姆也一直在尝试推出大规模生产汽车（如梅赛德斯、巴滕、君马）和demo（奥迪、福特、大众等）。
通过不同的手势，手势交互可以达到连接电话、调节音量、选择歌曲、控制导航、控制车辆（空调、座椅、窗户等）、并且也有主人与副驾驶与后乘客互动的各种场景。
手势控制可以实现很多功能，但即使是与语音交互的功能也是重复的。手势和言语之间的关系决不是一种或另一种。这必须是共同的成就。
人机交互的未来必须是多维的。例如，新的5系列宝马配备五维人机交互接口，其中包括自然语音识别、触摸屏、手势控制、idrive系统和热敏感按钮。
此外，如果我们从驾驶员的手势中展开我们的眼睛，类似的技术可以在驾驶场景中实现更多的功能。
1.4 课题主要研究工作
车内手势控制播放器采用OpenCV收集手势，用卷积神经网络在笔记本端训练数据，生成模型，将模型拷贝在树莓派中，在树莓派端识别手势并进行控制树莓派内32位的播放器。
课题主要研究工作包括：
1)OpenCV调用摄像头收集手势；
2)卷积神经网络训练手势；
3)测试识别手势的精度；
4)对手势进行正确的预测；
5)针对不同的识别手势，控制树莓派内的32位播放器
2. 核心技术介绍
基于卷积神经网络技术，使用OpenCV调用摄像头，开发语言为Python和Java，Python开发工具使用Anaconda3和Pycharm，以及在树莓派端使用原始的Python（IDLE）,Java开发工具使用IDEA和jdk树莓派型号是树莓派3 Model B+，系统是Debian，摄像头为CSI接口 ，500万像素。播放器采用的是32位的Vlc播放器。在智能车上进行手势的识别与控制车载多媒体播放器。
2.1开发语言及开源库
1) Python技术
Python是脚本语言，而且可以跨平台，同样的程序可在不同的系统上正常的运行，而且他和Java一样，是面向对象的，同样有对象，封装等。而且Python语言特别的简洁。
目录
1. 绪论 1
1.1 课题的研究背景 1
1.2 目的和意义 1
1.3 当前研究现状 1
1.4 课题主要研究工作 2
2. 核心技术介绍 3
2.1 开发语言及开源库 3
2.2 智能车介绍 3
2.3 设备介绍 4
2.3.1 树莓派介绍 4
2.3.2 摄像头 4
2.3.3 显示器（自带音箱） 5
2.4 Vlc播放器 5
2.5 机器学习 6
2.6 卷积神经网络 10
3. 系统分析 13
3.1 可行性分析 13
3.1.1 技术可行性 13
3.1.2 运行可行性 13
3.1.3 软件可行性 13
3.1.4 经济可行性 13
3.2需求分析 13
3.2.1 手势控制播放器需求分析 13
3.2.2 播放器需求分析 14
3.2.3 环境配置 18
3.2.4 数据需求分析 18
3.2.5 非功能性需求分析 19
4. 详细设计 20
4.1 收集数据 20
4.2 数据处理 24
4.3 网络架构 24
4.4 训练算法 25
4.5 测试算法 25
4 *好棒文|www.hbsrm.com +Q: &351916072&
.6 使用算法 25
4.7 播放器详细设计 26
4.8 手势识别控制播放器方式 30
5. 实现效果并进行测试 32
5.1 摄像头捕捉到手势并对播放器发出指令 32
5.2 黑盒测试 35
5.3 白盒测试 37
6. 系统开发对社会人文，环境，法律的影响 41
7．总结与展望 42
参考文献 43
致 谢 44
1. 绪论
1.1 课题的研究背景
汽车出现之后，人们和汽车的交互的方式产生了变化。这些年来，越来越明显。仅在车内资讯娱乐系统中，互动方式也开始从最早的实体按键转向包含按键、触控荧屏、语音的多维互动。
尽管互动模式正在改变，但遵守的逻辑从未改变：方便和安全。例如，智能后视镜、抬头显示器、智能语音、导航等，都扩大了手触的面积，都是为了使驾驶员在驾驶时尽可能容易地传递指令，减少注意力的分散，并确保安全。
现在车载语音交互慢慢普及，然而，它仍有其自身的局限性，如识别率、识别速度、对自然语言的支持等。
这可能是一个更好的解决方案，就像在科幻小说中，你可以只是移动你的手指和给一些指示。
1.2 目的和意义
最初的手势识别主要是使用可穿戴设备直接检测手部和手臂各关节的角度和空间位置。这些设备大多通过电缆技术连接计算机系统和用户，使用户的手势信息完整地传输到识别系统中。之前的方式，像数据手套。虽然这些设备可以提供良好的检测结果，但它们在公共区域的应用是昂贵的。
然后，光学的发展替代了数据手套，这种方式也可以提供很好的效果，但仍然需要更加复杂的设备。
手势识别包含由让视频采集设备采集的、经过计算机视觉技术来进行处理、接，他也也被用在汽车上了。
仅在车内资讯娱乐系统中，互动方式也开始从最早的实体按键转向包含按键、触控萤幕、语音的多维互动。
1.3 当前研究现状
事实上，主要的机器工厂确实朝这个方向移动。2015年，宝马率先发布了具有手势识别功能的第七系列，而欧姆也一直在尝试推出大规模生产汽车（如梅赛德斯、巴滕、君马）和demo（奥迪、福特、大众等）。
通过不同的手势，手势交互可以达到连接电话、调节音量、选择歌曲、控制导航、控制车辆（空调、座椅、窗户等）、并且也有主人与副驾驶与后乘客互动的各种场景。
手势控制可以实现很多功能，但即使是与语音交互的功能也是重复的。手势和言语之间的关系决不是一种或另一种。这必须是共同的成就。
人机交互的未来必须是多维的。例如，新的5系列宝马配备五维人机交互接口，其中包括自然语音识别、触摸屏、手势控制、idrive系统和热敏感按钮。
此外，如果我们从驾驶员的手势中展开我们的眼睛，类似的技术可以在驾驶场景中实现更多的功能。
1.4 课题主要研究工作
车内手势控制播放器采用OpenCV收集手势，用卷积神经网络在笔记本端训练数据，生成模型，将模型拷贝在树莓派中，在树莓派端识别手势并进行控制树莓派内32位的播放器。
课题主要研究工作包括：
1)OpenCV调用摄像头收集手势；
2)卷积神经网络训练手势；
3)测试识别手势的精度；
4)对手势进行正确的预测；
5)针对不同的识别手势，控制树莓派内的32位播放器
2. 核心技术介绍
基于卷积神经网络技术，使用OpenCV调用摄像头，开发语言为Python和Java，Python开发工具使用Anaconda3和Pycharm，以及在树莓派端使用原始的Python（IDLE）,Java开发工具使用IDEA和jdk树莓派型号是树莓派3 Model B+，系统是Debian，摄像头为CSI接口 ，500万像素。播放器采用的是32位的Vlc播放器。在智能车上进行手势的识别与控制车载多媒体播放器。
2.1开发语言及开源库
1) Python技术
Python是脚本语言，而且可以跨平台，同样的程序可在不同的系统上正常的运行，而且他和Java一样，是面向对象的，同样有对象，封装等。而且Python语言特别的简洁。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/550.html
