基于手势识别的智能小车控制
基于手势识别的智能小车控制[20191214192736]
摘 要 1
ABSTRACT 2
第1章 概述 3
1.1手势识别提出及研究意义 3
1.2 手势识别的进程及国内外研究现状 4
1.3本文研究内容与组织结构 6
第2章 系统设计概述 7
2.1总体设计 7
2.2 认识Kinect 7
2.2.1 Kinect的介绍 7
2.2.2 Kinect深度图像及原理简介 9
2.3 智能小车 11
2.3.1 智能小车的模块 12
2.3.2 智能小车组装与控制 14
2.4 OpenNi 15
第3章 手势识别 17
3.1 概述 17
3.2 Kinect手势识别 18
3.2.1 深度图像成像原理 中LIght Coding技术 18
3.2.2 图像数据流 19
3.2.3手势分类 19
3.3 手势识别效果 22
第4章 总结与展望 23
4.1毕业课设中遇到的问题及解决方案 23
4.2 毕设工作与心得 24
4.3总结 25
致 谢 26
参考文献 27
摘 要
这几年随着科技的飞速发展,人机交互从开始的人去适应计算机的程序变为计算机程序开始适应人。人机交互的发展经历了五个阶段，从最早开始的手工业阶段、到后来通过命令语言控制阶段、再往后发展为通过图形与用户交互阶段、以及用户通过网络界面交互的阶段、最后为多种方式的智能化人机互动阶段。操作方式也由僵硬的鼠标键盘等控制器，发展为触摸式的，以及变为现在最新的体感控制器。本文主要利用手势中的多种手势通过Kinect进行识别，主要制作的基础手势有挥手Wave，推掌Click以及举手RaiseHand等几个。
手势识别在各领域中展露出了新的魅力，在日常以及生活娱乐，工业生产方面都开始研究，方便的控制将造成更直接简单的操作，所以未来可以看到的是手势感应将对人们的生活产生巨大的影响。本文主要通过vs2010编程，结合OpenNI，通过微软外设Kinect Xbox360进行图像获取，利用单片机，从而能够开发一套小车运动控制系统。通过无线传感器将控制命令发送给小车，从而控制小车的运动。并通过手势感知Kinect系统将控制命令无线方式发给小车，小车通过这些控制指令信息作出一些移动指令。
查看完整论文请+Q: 351916072
关键字:字手势识别；智能小车控制；Kinect；
目录
ABSTRACT
In recent years, with the rapid development of science and technology, human-computer interaction, from the beginning of the people to adapt to the computer program began to adapt to people as a computer program.The development of interactive experiences five stages, from the stage, the handicraft industry began to later by the command language control stage, later development stage, through interactive graphics and user and users over the network interface interaction stage, finally for the intelligent man-machine interaction in various ways.Operation is also controller consists of a rigid mouse and keyboard, to touch, and now becomes the new motion sensing controller. In this paper, using a variety of hand gesture in the identified by Kinect, the main production of the basic gestures waving Wave, push the palm Click and hand RaiseHand etc.
Gesture recognition in various fields show a new attraction in the daily life, as well as entertainment, industrial production began to study, convenient control will result in a more direct and simple operation, so the future can see is a gesture sensing will have great influence on peoples life.This paper mainly through the VS2010 programming, combined with OpenNI, the Microsoft peripheral Kinect Xbox360 image acquisition, SCM, so as to be able to develop a set of motion control system.The control commands are sent to the car by a wireless sensor, to control the car movement. And through the gesture sensing Kinect system control commands to the car radio, car make some move instruction through the control instruction information.
Key words: Gesture recognition；The intelligent car control；Kinect；
第1章 概述
1.1手势识别提出及研究意义
科学技术产生，往往都是由于构想的出现，而电影无疑使这些构想产生的最好故乡。从多年的好莱坞大片中，我们看到了许多各式各样的新鲜科技，包括各种各样的人工智能化的产生，当然现实源于幻想，有了想法我们才会去想办法实现它，如同电影《星际迷航》中的科技，我们现在可以看到现实中很多都受它的影响，你会发现最早的电影，无疑诠释了如今很多科技，而其中语音识别，无人操控机，手术机器人等，有的是未实现的有的是已经实现的。再如《少数派报告》中人机交互里的超级计算机，其中的操作都是用了手势和肢体进行资料检索的。
近年来，人们通过各式各样的努力在创造更多便利的东西，而识别部分依然成为其中一个不可或缺的部分，当《水果忍者》这类游戏出现时，我们发现原来通过体感识别已经横空出世了。而未来也必然会向着这方面的科技所发展。在各个方面有如下意义：
(1)在智能机器人方面：
这几年，智能机器人的智能技术得到了迅速发展，于此同时出现了一个业界的难题———机器人怎样才能能提高对周围环境的识别能力。该传感器是为了提高机器人的理解能力的前提。在kinect上市以前，市面上的传感器多数比较精贵与巨大，不易携带，而且测量方面精准度不够。Kinect与之有着巨大的改善，不仅在成本上节省、而且做到了小巧玲珑、同时又保证了精准度的需求、并且有着更为强大的功能支持等优点。Kinect可以使用相机的3D图形，如果Kinect为智能机器人的识别，和环境的识别，建立三维建模[2]，并指导作用，这种方法肯定能够让智能机器人在面对复杂的环境中，在识别方面更加理想。并且这些年来随着自然灾害，救援机器方面一直在尝试，用一些微型智能机器人通过体积小，灵活轻便，可以深度进入探查被救援对象并发出信号，而这种功能的实现无疑离不开对周围环境的高度识别。
智能无人控制飞机也是很依赖识别技术的，不管是微型智能机器人，还是无人控制飞机都需要高识别技术来提供支持，当然其中精度也是至关重要，当智能机器在一些很复杂环境中，不论是自然还是日常生活中的环境，在智能机器执行特殊的任务，实时监控成为了最大的难题。但是随着识别技术的发展，我们可以看见未来这些问题都将会迎刃而解。
(2)在商业方面：
网购无疑成为现实生活中常用的一种手段，而现在网上购物往往会出现许多问题，如：衣服不合身，鞋子大小不对，衣服买回来发现不怎么搭配等。而如果可以通过一种软件来对人体进行识别，并传输相应数据，使得人体数据出现在网上，并且可以“在线试穿”，这样无疑使买卖方面更加方便快捷。并且让双方更加满意。无疑会促进商业发展。
(3)在医疗方面：
在治疗很多疾病时，我们现在的科技只能进行一些透析或浅显的观察，对于很多疾病不能深入了解。从而导致对病症掌握方面有所疏漏。现在有能够深入观察的微型芯片，但是在识别方面做的不是太理想。如果在这上面进行改进，所以我相信识别技术未来在治疗领域大有可为。
(4)在教育方面：
在如今教育事业上，虽然有了老师们上课进行远程对投影仪进行翻页等简单操作。我们在手势识别方面加以运用，就可以再未来让老师通过自己的手进行远距离更有效的操作，不在是只能翻翻页这样，而是可以直接用双手进行写，改等操作。
1.2 手势识别的进程及国内外研究现状
我们知道的是08年比尔·盖茨首先提出了“自然用户界面”的概念，同时他给出预言，在未来的几年中，智能机器与人中间的互相交流会发生大的改变，我们平时所见的这些控制硬件设备会慢慢被替代，也就是被能够提供给人更自然地交互方式所代替，当人更为自然的用户交互其实就是通过人手的触碰，语音，以及视觉控制。自然人机交互的发展也经历了许多，几年前在麻省理工学院的Pranav Mistry，通过将手势识别Kinect、摄像头装置、投影仪器和计算器拼装成一体，成功的发明了所谓的“第六感设备”，这是一种极具创造力的发明。这种设备可以悬挂在胸前，当你要拍照时，只需用四根手指摆出一个框；当你要玩竞速游戏时，你可以任意取一张白纸，白纸就会代表荧幕，而你可以通过改变白纸的倾斜角，从而来改变竞速游戏的方向。在如《水果忍者》体感版，人们可以用手来代替刀进行切割。著名科学家霍金，他有一个神奇的座椅，座椅通过眼动跟踪红外传感器，他可以使用闪烁和外部沟通，通过眼睛跟踪控制的智能计算机的句子，对话的合成语音交流。再如《碟中谍》中的脸部识别。这些都是自然人机的交互。也是体感识别。
当然这些都是后来发展中的一部分，而最早我们熟悉的控制器则不是这些，而是在游戏机上的。当我们现在玩射击游戏时，控制器是我们手里的塑胶枪，轻按动设计按钮，电视荧幕上的“我们”就同时扣下扳机，向敌人发射子弹，而小时候的我们在玩类似的游戏时，用的是手柄，而不能体会这般感觉；当我们现在玩飞行游戏时，它是我们手中的操作杆，靠着我们精妙的操作，使飞机能够尽情在蓝天里躲避地敌人的攻击、作战，让我们觉得身处F16战机的座舱中，而不是某个狭小的房间里，同样的我们在小时候，只有在电视上盯着荧幕，而像看动画一样看着自己控制那个小飞机；当我们现在在玩竞速等游戏时，它就是我们手中的方向盘，虽然我们的座位没有产生位移，但是通过方向盘我们能够感受到坐在急速跑车中飞驰的快感，而小时候的我们，或许只能拿这个小型游戏机玩着，只能从电视的画面中感到车在跑，而没有立体的感觉。现在与小时候的对比，只因为这个奇妙的东西，就是游戏控制器而改变。
同样的游戏，只因不同的操作方式就能带给你更为舒适的体验，这便是体感控制的奥妙也是体感识别的魅力所在。而我们从小长大过程中，游戏的发展史，何尝不代表了手势识别（体感识别）的发展呢？微软Kinect综合运用了很多先进技术，拥有实时语音辨识、动态捕捉等多种功能。微软发明Kinect，在进行游戏宣传时的宣讲词——“你就是游戏控制器”，同时微软在Kinect的实际表演中，它可以说是办到了这点：玩家只需在荧幕前对着它作出各种动作，游戏角色则相应的作出同样的类似动作；参与者可以利用语音与NPC进行对话交谈，使我们可以切身体会到荧幕另一侧的虚拟世界，让我们会真正的感触到游戏的魅力，当时的参与者和与会玩家感到惊奇的同时也对未来游戏的发展充满了憧憬。而如今我们渐渐发现Kinect不光是在游戏方面有着卓越的体验，还在别的地方有着多种多样的应用，于是人们开始开发出了大量新的手势识别类的应用，既方便了人们的日常生活，又促进了文明，这也是手势识别的发展原因。
1.3本文研究内容与组织结构
本文第2章主要介绍系统概况以及基本原理，并叙述所用的硬件如Kinect Xbox360，智能小车等，软件有OpenNi，Vs2010,Kinect等，并将重点Kinect深度成像原理进行了一番简单介绍。第3章介绍手势部分算法，并对Kinect如何进行手势识别做了详细的解说，并进行了手势识别的识别效果展示。第4章对硬件小车制作与控制。第五章总结发言。
第2章 系统设计概述
2.1总体设计
本次毕设主要完成俩个目的：第一，设计出多种手势，并通过Kinect进行可识别操作；第二，通过手势识别分别简单的控制智能小车。
第一个目的的实现是在Kinect前发出手势指令，通过Pc中已有的软件进行识别，然后进行反馈信号，并识别图像和进行图像的同步显示，在通过对手掌中心点的运动轨迹从而判断基础的动作，并且加以识别。
第二个目的的实现智能小车的控制，通过目的一种的手势识别，在Kinect前发出手势，然后经过Pc机中软件OpenNi进行手势识别，然后通过无线串口连接与小车通行，从而实现手势识别中反馈出的指令进行智能小车的简单控制。总体流程图如下：
手势 kinect图像获取 pc进行手势识别
智能小车操控 无线串口通信
图2.1基本流程架构
摘 要 1
ABSTRACT 2
第1章 概述 3
1.1手势识别提出及研究意义 3
1.2 手势识别的进程及国内外研究现状 4
1.3本文研究内容与组织结构 6
第2章 系统设计概述 7
2.1总体设计 7
2.2 认识Kinect 7
2.2.1 Kinect的介绍 7
2.2.2 Kinect深度图像及原理简介 9
2.3 智能小车 11
2.3.1 智能小车的模块 12
2.3.2 智能小车组装与控制 14
2.4 OpenNi 15
第3章 手势识别 17
3.1 概述 17
3.2 Kinect手势识别 18
3.2.1 深度图像成像原理 中LIght Coding技术 18
3.2.2 图像数据流 19
3.2.3手势分类 19
3.3 手势识别效果 22
第4章 总结与展望 23
4.1毕业课设中遇到的问题及解决方案 23
4.2 毕设工作与心得 24
4.3总结 25
致 谢 26
参考文献 27
摘 要
这几年随着科技的飞速发展,人机交互从开始的人去适应计算机的程序变为计算机程序开始适应人。人机交互的发展经历了五个阶段，从最早开始的手工业阶段、到后来通过命令语言控制阶段、再往后发展为通过图形与用户交互阶段、以及用户通过网络界面交互的阶段、最后为多种方式的智能化人机互动阶段。操作方式也由僵硬的鼠标键盘等控制器，发展为触摸式的，以及变为现在最新的体感控制器。本文主要利用手势中的多种手势通过Kinect进行识别，主要制作的基础手势有挥手Wave，推掌Click以及举手RaiseHand等几个。
手势识别在各领域中展露出了新的魅力，在日常以及生活娱乐，工业生产方面都开始研究，方便的控制将造成更直接简单的操作，所以未来可以看到的是手势感应将对人们的生活产生巨大的影响。本文主要通过vs2010编程，结合OpenNI，通过微软外设Kinect Xbox360进行图像获取，利用单片机，从而能够开发一套小车运动控制系统。通过无线传感器将控制命令发送给小车，从而控制小车的运动。并通过手势感知Kinect系统将控制命令无线方式发给小车，小车通过这些控制指令信息作出一些移动指令。
查看完整论文请+Q: 351916072
关键字:字手势识别；智能小车控制；Kinect；
目录
ABSTRACT
In recent years, with the rapid development of science and technology, human-computer interaction, from the beginning of the people to adapt to the computer program began to adapt to people as a computer program.The development of interactive experiences five stages, from the stage, the handicraft industry began to later by the command language control stage, later development stage, through interactive graphics and user and users over the network interface interaction stage, finally for the intelligent man-machine interaction in various ways.Operation is also controller consists of a rigid mouse and keyboard, to touch, and now becomes the new motion sensing controller. In this paper, using a variety of hand gesture in the identified by Kinect, the main production of the basic gestures waving Wave, push the palm Click and hand RaiseHand etc.
Gesture recognition in various fields show a new attraction in the daily life, as well as entertainment, industrial production began to study, convenient control will result in a more direct and simple operation, so the future can see is a gesture sensing will have great influence on peoples life.This paper mainly through the VS2010 programming, combined with OpenNI, the Microsoft peripheral Kinect Xbox360 image acquisition, SCM, so as to be able to develop a set of motion control system.The control commands are sent to the car by a wireless sensor, to control the car movement. And through the gesture sensing Kinect system control commands to the car radio, car make some move instruction through the control instruction information.
Key words: Gesture recognition；The intelligent car control；Kinect；
第1章 概述
1.1手势识别提出及研究意义
科学技术产生，往往都是由于构想的出现，而电影无疑使这些构想产生的最好故乡。从多年的好莱坞大片中，我们看到了许多各式各样的新鲜科技，包括各种各样的人工智能化的产生，当然现实源于幻想，有了想法我们才会去想办法实现它，如同电影《星际迷航》中的科技，我们现在可以看到现实中很多都受它的影响，你会发现最早的电影，无疑诠释了如今很多科技，而其中语音识别，无人操控机，手术机器人等，有的是未实现的有的是已经实现的。再如《少数派报告》中人机交互里的超级计算机，其中的操作都是用了手势和肢体进行资料检索的。
近年来，人们通过各式各样的努力在创造更多便利的东西，而识别部分依然成为其中一个不可或缺的部分，当《水果忍者》这类游戏出现时，我们发现原来通过体感识别已经横空出世了。而未来也必然会向着这方面的科技所发展。在各个方面有如下意义：
(1)在智能机器人方面：
这几年，智能机器人的智能技术得到了迅速发展，于此同时出现了一个业界的难题———机器人怎样才能能提高对周围环境的识别能力。该传感器是为了提高机器人的理解能力的前提。在kinect上市以前，市面上的传感器多数比较精贵与巨大，不易携带，而且测量方面精准度不够。Kinect与之有着巨大的改善，不仅在成本上节省、而且做到了小巧玲珑、同时又保证了精准度的需求、并且有着更为强大的功能支持等优点。Kinect可以使用相机的3D图形，如果Kinect为智能机器人的识别，和环境的识别，建立三维建模[2]，并指导作用，这种方法肯定能够让智能机器人在面对复杂的环境中，在识别方面更加理想。并且这些年来随着自然灾害，救援机器方面一直在尝试，用一些微型智能机器人通过体积小，灵活轻便，可以深度进入探查被救援对象并发出信号，而这种功能的实现无疑离不开对周围环境的高度识别。
智能无人控制飞机也是很依赖识别技术的，不管是微型智能机器人，还是无人控制飞机都需要高识别技术来提供支持，当然其中精度也是至关重要，当智能机器在一些很复杂环境中，不论是自然还是日常生活中的环境，在智能机器执行特殊的任务，实时监控成为了最大的难题。但是随着识别技术的发展，我们可以看见未来这些问题都将会迎刃而解。
(2)在商业方面：
网购无疑成为现实生活中常用的一种手段，而现在网上购物往往会出现许多问题，如：衣服不合身，鞋子大小不对，衣服买回来发现不怎么搭配等。而如果可以通过一种软件来对人体进行识别，并传输相应数据，使得人体数据出现在网上，并且可以“在线试穿”，这样无疑使买卖方面更加方便快捷。并且让双方更加满意。无疑会促进商业发展。
(3)在医疗方面：
在治疗很多疾病时，我们现在的科技只能进行一些透析或浅显的观察，对于很多疾病不能深入了解。从而导致对病症掌握方面有所疏漏。现在有能够深入观察的微型芯片，但是在识别方面做的不是太理想。如果在这上面进行改进，所以我相信识别技术未来在治疗领域大有可为。
(4)在教育方面：
在如今教育事业上，虽然有了老师们上课进行远程对投影仪进行翻页等简单操作。我们在手势识别方面加以运用，就可以再未来让老师通过自己的手进行远距离更有效的操作，不在是只能翻翻页这样，而是可以直接用双手进行写，改等操作。
1.2 手势识别的进程及国内外研究现状
我们知道的是08年比尔·盖茨首先提出了“自然用户界面”的概念，同时他给出预言，在未来的几年中，智能机器与人中间的互相交流会发生大的改变，我们平时所见的这些控制硬件设备会慢慢被替代，也就是被能够提供给人更自然地交互方式所代替，当人更为自然的用户交互其实就是通过人手的触碰，语音，以及视觉控制。自然人机交互的发展也经历了许多，几年前在麻省理工学院的Pranav Mistry，通过将手势识别Kinect、摄像头装置、投影仪器和计算器拼装成一体，成功的发明了所谓的“第六感设备”，这是一种极具创造力的发明。这种设备可以悬挂在胸前，当你要拍照时，只需用四根手指摆出一个框；当你要玩竞速游戏时，你可以任意取一张白纸，白纸就会代表荧幕，而你可以通过改变白纸的倾斜角，从而来改变竞速游戏的方向。在如《水果忍者》体感版，人们可以用手来代替刀进行切割。著名科学家霍金，他有一个神奇的座椅，座椅通过眼动跟踪红外传感器，他可以使用闪烁和外部沟通，通过眼睛跟踪控制的智能计算机的句子，对话的合成语音交流。再如《碟中谍》中的脸部识别。这些都是自然人机的交互。也是体感识别。
当然这些都是后来发展中的一部分，而最早我们熟悉的控制器则不是这些，而是在游戏机上的。当我们现在玩射击游戏时，控制器是我们手里的塑胶枪，轻按动设计按钮，电视荧幕上的“我们”就同时扣下扳机，向敌人发射子弹，而小时候的我们在玩类似的游戏时，用的是手柄，而不能体会这般感觉；当我们现在玩飞行游戏时，它是我们手中的操作杆，靠着我们精妙的操作，使飞机能够尽情在蓝天里躲避地敌人的攻击、作战，让我们觉得身处F16战机的座舱中，而不是某个狭小的房间里，同样的我们在小时候，只有在电视上盯着荧幕，而像看动画一样看着自己控制那个小飞机；当我们现在在玩竞速等游戏时，它就是我们手中的方向盘，虽然我们的座位没有产生位移，但是通过方向盘我们能够感受到坐在急速跑车中飞驰的快感，而小时候的我们，或许只能拿这个小型游戏机玩着，只能从电视的画面中感到车在跑，而没有立体的感觉。现在与小时候的对比，只因为这个奇妙的东西，就是游戏控制器而改变。
同样的游戏，只因不同的操作方式就能带给你更为舒适的体验，这便是体感控制的奥妙也是体感识别的魅力所在。而我们从小长大过程中，游戏的发展史，何尝不代表了手势识别（体感识别）的发展呢？微软Kinect综合运用了很多先进技术，拥有实时语音辨识、动态捕捉等多种功能。微软发明Kinect，在进行游戏宣传时的宣讲词——“你就是游戏控制器”，同时微软在Kinect的实际表演中，它可以说是办到了这点：玩家只需在荧幕前对着它作出各种动作，游戏角色则相应的作出同样的类似动作；参与者可以利用语音与NPC进行对话交谈，使我们可以切身体会到荧幕另一侧的虚拟世界，让我们会真正的感触到游戏的魅力，当时的参与者和与会玩家感到惊奇的同时也对未来游戏的发展充满了憧憬。而如今我们渐渐发现Kinect不光是在游戏方面有着卓越的体验，还在别的地方有着多种多样的应用，于是人们开始开发出了大量新的手势识别类的应用，既方便了人们的日常生活，又促进了文明，这也是手势识别的发展原因。
1.3本文研究内容与组织结构
本文第2章主要介绍系统概况以及基本原理，并叙述所用的硬件如Kinect Xbox360，智能小车等，软件有OpenNi，Vs2010,Kinect等，并将重点Kinect深度成像原理进行了一番简单介绍。第3章介绍手势部分算法，并对Kinect如何进行手势识别做了详细的解说，并进行了手势识别的识别效果展示。第4章对硬件小车制作与控制。第五章总结发言。
第2章 系统设计概述
2.1总体设计
本次毕设主要完成俩个目的：第一，设计出多种手势，并通过Kinect进行可识别操作；第二，通过手势识别分别简单的控制智能小车。
第一个目的的实现是在Kinect前发出手势指令，通过Pc中已有的软件进行识别，然后进行反馈信号，并识别图像和进行图像的同步显示，在通过对手掌中心点的运动轨迹从而判断基础的动作，并且加以识别。
第二个目的的实现智能小车的控制，通过目的一种的手势识别，在Kinect前发出手势，然后经过Pc机中软件OpenNi进行手势识别，然后通过无线串口连接与小车通行，从而实现手势识别中反馈出的指令进行智能小车的简单控制。总体流程图如下：
手势 kinect图像获取 pc进行手势识别
智能小车操控 无线串口通信
图2.1基本流程架构
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/dzkxyjs/2488.html
