基于单摄像头视觉系统的触控屏设计与实现
基于单摄像头视觉系统的触控屏设计与实现[20200406124737]
摘 要
当今计算机性能快速的发展提高给我们带来巨大的方便，因此各个行业领域对计算机的使用也不断强化深入。触摸屏技术的人机交互系统可以不依赖于鼠标键盘，提供更加方便的服务。而目前的基于触摸屏技术的人机交互基本都依靠硬件为基础，非常容易受电子器件的性能所影响，成本也很高。
目前计算机的视觉跟踪技术已可以做到对物体进行的实时跟踪，为基于触摸屏的视觉跟踪技术打下夯实基础。视觉人机交互系统可以让操作者在不直接使用输入设备的情景下可以进行输入操作。所以基于触摸屏的视觉交互系统是未来输入设备的发展方向。
本文在相对静止的背景下通过单个摄像头收集人手指的图像信息，进一步获取手指的触点信息，模拟传统的触摸屏完成单机，长按，滑动三种动作。根据单目视觉的触摸屏技术研究大致采用了两种方法进行手指触摸信息的采集。其中一种是把手指所在位置用颜色标记出来，并且用Camshift方法跟踪手指位置信息，再利用算法搜寻框的变化特征来进一步获取手指的触摸深度信息。最后用三个程序检测三种具体动作，结果大体上和预计吻合，同时还有些不足如跟踪精度不高，手指触摸深度信息获取的准确度不高等。
*查看完整论文请 +Q: 3 5 1 9 1 6 0 7 2
关键字:模拟触摸屏触点位置检测Camshift深度信息提取动作识别
目 录
1. 引言 1
1.1 人机交互原理及发展 1
1.2 触摸屏原理及发展 3
1.3 课题研究内容 5
2. 多点触控视觉跟踪技术原理 6
2.1 多点触控技术原理 6
2.2 视觉跟踪技术及算法 7
3.1触点信息的识别检测 8
3.2 触点深度信息的提取 12
4. 硬件系统的设计及调试 15
4.1硬件系统的设计 15
4.2硬件系统的构建 16
4.3硬件系统的调试 21
结束语 24
参考文献 25
致谢 26
附录 27
1. 引言
1.1 人机交互原理及发展
人机交互（英文：Human–Computer Interaction或者Human–Machine Interaction，简称HCI或者HMI），简单的说是人与其他机器之间的交流如触摸屏[1]，归根结底上说其实是人与电脑之间的信息交流，也可以说是人与具有计算机系统的机器之间的信息交流，人机互动主要涉及研究的内容是为了弄明白怎样才能让计算机更加强大，以至于可以帮助或替代人类去完成任务，并且完成地更加精确高效。从发明出计算机之后，人机互动[2][3][4]也应运而生，经历了许多不同阶段，主要有纸带打孔，批量处理，联机终端，多媒体界面等一系列阶段，研究者们一直在努力让计算机基本像人类一样有感官和思考能力，就是能听说读写，有像人一样的感觉。但怎样才能实现呢？人与计算机之间的交流[3]即人机互动成为唯一的通道。
人机互动的发展史简述一下几段[5]：
开始时期（1929—1970）1959年人类思考怎样在控制计算机的时候能让人类不要太累，经过思考发表第一篇有关计算机控制有关的人机互动工程的文章。上世纪69年代时，人们又第一次发现了人与计算机栖息相关的概念，人们都认为这是人机互动平台的启蒙点。
奠定基础期（1970—1979）自从70年到73年研究者们陆续发表了人与计算机互动工程的论文，之后，人们在此课题上的研究有了新的方向。1970年的时候又创建了两个有关人机互动的研究中心。其中一个是位于美国的Xerox研究中心，另一个则是Loghbocough大学的HUSAT研究中心位于英国。
逐渐发展期（1980—1995)上世纪80年代开始，研究界中陆续发表了几本专著，对人们与计算机互动研究的最新结果作了个总结陈词。这门科学才渐渐进入了人类的科学框架和知识体系中。理论方面，此课题从人机工程学分立开，单独成立一门学科，并且比以往更加注重人的心理及行为和社科理论知识。在实际工作中，从人机互动的连接口扩展，注重计算机对人类给它的指示后作出的反应进行完善，人机互动界面一词就替代人机交互。
快速发展期（1996至今）上世纪90年代后，伴着高速芯片，互联网和多媒体技术的发展，人们把人机互动的研究侧重在多功能智能化方面，多通道多方式交互，虚拟及协同交互，更加以人为本。
以人为本的人机互动也称为人机自然互动，从一般人机互动到人与计算机的自然的交互[6]是一个质的飞越，代表着是以计算机为主的人机互动变为以人为中心的互动，其实，人机互动本就应该是以人类为本，如果让计算机做主，也就失去了实际意义。人类不需要去迎合计算机，让计算机去适应人类，更加任性化，更加以人为本，让计算机认识分辨人，用人类的语言，学会人类一样去感觉，有像人类一样情绪，懂得人的感情。最重要的是可以作出相应的反馈于人们。
人与计算机自然互动是未来主要发展趋势，它的主要特性有以下几点：
（1） 可以分辨交互对象，可以知道是谁在与计算机讲话，即讲话人识别。这必须从视觉，听觉这两种通道得到信息再进行分辨判断。
（2） 让计算机能够懂人们说话的内容，这样计算机才能作出反馈命令。相当于回复人们对计算机提的问题。这种方式主要通过听觉通道得到信息。但是人们的语言自身就是双模式，这样的话通过视觉获得人类说话时的唇动信息也就异常重要了。
（3） 计算机要可以懂得人们的情感，这样的话让计算机能够理解人们对话的态度。目的，思维，都极其重要。
（4） 要让计算机对讲话的人可以识别定位，就像人们说话的时候总是看着对方。计算机也要看着说话的人，更复杂的是要让计算机在与很多人同时对话时能够区分到底是谁在讲话，并看着那个讲话的人。
1.2 触摸屏原理及发展
触摸屏其实就是个传感器。一般由触摸检测部分和控制部分构成，如图1.1所示。触摸检测部分由很多不同的感应元件构成，它们都安置在显示屏前，用来实时监督屏幕的触摸信息，当发生触摸，互动等触摸动作后，检测部分中许多感应元件将触摸动作发生的位置信息发送给控制器。触摸控制器的功能则是将从触摸点检测设备中获得触点信息，同时将这些触点信息的坐标输送到CPU，然后再收到来自CPU的指令后，执行该指令[8][9]。
图 1.1 触摸屏的工作原理
触摸屏的关键技术其实就是怎样检测触点信息，触摸屏的分类则是根据触摸屏中的传感器的不同来分类的，大致有红外式，电阻式，电容式，表面声波式这四种[7]。这四种触摸屏获得手指触点深度信息的方式是各有特点的。
（1） 电阻式：其关键部分就是安装一个和屏幕表面很匹配的电阻薄膜，首先需要OTI透明的金属氧化物导电层，然后把它们涂在一块强化的玻璃表面。其控制部分则通过压力感应器。屏幕表面受到接触后，其表面两层导电层就会在发生接触动作的所在位置发生接触，发生接触点处的电阻也随之改变，触摸屏的控制器也随之检测到这一接触点，经过CPU后，模拟鼠标操作。这种触摸屏的优点很多，不怕粉尘颗粒，尘埃影响，不怕进水和污垢，工作环境没有苛刻要求。但其缺点就是抗暴性差，寿命不长，因为其外层大部分是塑料制成，如图1.2透明触摸屏。
图 1.2 透明屏
（2） 红外式：此种屏幕会在显示器前安置一个电路板，其结构很特殊，板的四周分布许多红外线的发射器和接受器，每一个发射器都对应一个接收器，在没有接触发生时，接收器都能接受到红外线，当表面发生触摸动作时，手就会挡住红外线的光路，此点横竖两条红外线就确定了手指的信息。此种屏幕的优点是适应恶劣的环境，不受外界电流，电压，磁场的扰乱，成本低廉，工艺简单。使用普遍。
（3） 表面声波式：声波是一种沿着介质传播的机械波，触摸屏的四角上安置了一种叫做超声波换能器的装置，此装置起了关键作用。它能发出一种频率很高的声波，且能横跨屏幕表面。当触摸屏上发生触摸动作后，发生触摸的地方的声波就会被阻止，位置信息就可确定。这种触摸屏的优点是不受环境因素的影响，如湿度，温度，而且此屏分辨率高，防物理创伤，使用寿命长。屏幕显示的画质也相当不错的。缺点就是容易受粉尘，水，污垢影响其工作，要经常保持表面的干净如图1.3声波式触摸屏。
图 1.3 声波式屏
（4） 电容式：此种屏幕在玻璃表面装了一层很薄的金属导电膜，且要求透明的，它的工作原理是利用人手上的电流感应，导电物质碰到涂有金属导电层的玻璃时，触点处的电容立即发生变化，进而可以得到触点信息了。绝缘物体触碰此种触摸屏无任何作用。此种触摸屏优点是感应非常灵敏，防物理刮伤，防水，防尘，工作环境要求不高。但缺点也突出。主要是电容受空气温度，湿度以及周围干扰电场作用后，稳定性就会很差，其分辨率也不高。
摘 要
当今计算机性能快速的发展提高给我们带来巨大的方便，因此各个行业领域对计算机的使用也不断强化深入。触摸屏技术的人机交互系统可以不依赖于鼠标键盘，提供更加方便的服务。而目前的基于触摸屏技术的人机交互基本都依靠硬件为基础，非常容易受电子器件的性能所影响，成本也很高。
目前计算机的视觉跟踪技术已可以做到对物体进行的实时跟踪，为基于触摸屏的视觉跟踪技术打下夯实基础。视觉人机交互系统可以让操作者在不直接使用输入设备的情景下可以进行输入操作。所以基于触摸屏的视觉交互系统是未来输入设备的发展方向。
本文在相对静止的背景下通过单个摄像头收集人手指的图像信息，进一步获取手指的触点信息，模拟传统的触摸屏完成单机，长按，滑动三种动作。根据单目视觉的触摸屏技术研究大致采用了两种方法进行手指触摸信息的采集。其中一种是把手指所在位置用颜色标记出来，并且用Camshift方法跟踪手指位置信息，再利用算法搜寻框的变化特征来进一步获取手指的触摸深度信息。最后用三个程序检测三种具体动作，结果大体上和预计吻合，同时还有些不足如跟踪精度不高，手指触摸深度信息获取的准确度不高等。
*查看完整论文请 +Q: 3 5 1 9 1 6 0 7 2
关键字:模拟触摸屏触点位置检测Camshift深度信息提取动作识别
目 录
1. 引言 1
1.1 人机交互原理及发展 1
1.2 触摸屏原理及发展 3
1.3 课题研究内容 5
2. 多点触控视觉跟踪技术原理 6
2.1 多点触控技术原理 6
2.2 视觉跟踪技术及算法 7
3.1触点信息的识别检测 8
3.2 触点深度信息的提取 12
4. 硬件系统的设计及调试 15
4.1硬件系统的设计 15
4.2硬件系统的构建 16
4.3硬件系统的调试 21
结束语 24
参考文献 25
致谢 26
附录 27
1. 引言
1.1 人机交互原理及发展
人机交互（英文：Human–Computer Interaction或者Human–Machine Interaction，简称HCI或者HMI），简单的说是人与其他机器之间的交流如触摸屏[1]，归根结底上说其实是人与电脑之间的信息交流，也可以说是人与具有计算机系统的机器之间的信息交流，人机互动主要涉及研究的内容是为了弄明白怎样才能让计算机更加强大，以至于可以帮助或替代人类去完成任务，并且完成地更加精确高效。从发明出计算机之后，人机互动[2][3][4]也应运而生，经历了许多不同阶段，主要有纸带打孔，批量处理，联机终端，多媒体界面等一系列阶段，研究者们一直在努力让计算机基本像人类一样有感官和思考能力，就是能听说读写，有像人一样的感觉。但怎样才能实现呢？人与计算机之间的交流[3]即人机互动成为唯一的通道。
人机互动的发展史简述一下几段[5]：
开始时期（1929—1970）1959年人类思考怎样在控制计算机的时候能让人类不要太累，经过思考发表第一篇有关计算机控制有关的人机互动工程的文章。上世纪69年代时，人们又第一次发现了人与计算机栖息相关的概念，人们都认为这是人机互动平台的启蒙点。
奠定基础期（1970—1979）自从70年到73年研究者们陆续发表了人与计算机互动工程的论文，之后，人们在此课题上的研究有了新的方向。1970年的时候又创建了两个有关人机互动的研究中心。其中一个是位于美国的Xerox研究中心，另一个则是Loghbocough大学的HUSAT研究中心位于英国。
逐渐发展期（1980—1995)上世纪80年代开始，研究界中陆续发表了几本专著，对人们与计算机互动研究的最新结果作了个总结陈词。这门科学才渐渐进入了人类的科学框架和知识体系中。理论方面，此课题从人机工程学分立开，单独成立一门学科，并且比以往更加注重人的心理及行为和社科理论知识。在实际工作中，从人机互动的连接口扩展，注重计算机对人类给它的指示后作出的反应进行完善，人机互动界面一词就替代人机交互。
快速发展期（1996至今）上世纪90年代后，伴着高速芯片，互联网和多媒体技术的发展，人们把人机互动的研究侧重在多功能智能化方面，多通道多方式交互，虚拟及协同交互，更加以人为本。
以人为本的人机互动也称为人机自然互动，从一般人机互动到人与计算机的自然的交互[6]是一个质的飞越，代表着是以计算机为主的人机互动变为以人为中心的互动，其实，人机互动本就应该是以人类为本，如果让计算机做主，也就失去了实际意义。人类不需要去迎合计算机，让计算机去适应人类，更加任性化，更加以人为本，让计算机认识分辨人，用人类的语言，学会人类一样去感觉，有像人类一样情绪，懂得人的感情。最重要的是可以作出相应的反馈于人们。
人与计算机自然互动是未来主要发展趋势，它的主要特性有以下几点：
（1） 可以分辨交互对象，可以知道是谁在与计算机讲话，即讲话人识别。这必须从视觉，听觉这两种通道得到信息再进行分辨判断。
（2） 让计算机能够懂人们说话的内容，这样计算机才能作出反馈命令。相当于回复人们对计算机提的问题。这种方式主要通过听觉通道得到信息。但是人们的语言自身就是双模式，这样的话通过视觉获得人类说话时的唇动信息也就异常重要了。
（3） 计算机要可以懂得人们的情感，这样的话让计算机能够理解人们对话的态度。目的，思维，都极其重要。
（4） 要让计算机对讲话的人可以识别定位，就像人们说话的时候总是看着对方。计算机也要看着说话的人，更复杂的是要让计算机在与很多人同时对话时能够区分到底是谁在讲话，并看着那个讲话的人。
1.2 触摸屏原理及发展
触摸屏其实就是个传感器。一般由触摸检测部分和控制部分构成，如图1.1所示。触摸检测部分由很多不同的感应元件构成，它们都安置在显示屏前，用来实时监督屏幕的触摸信息，当发生触摸，互动等触摸动作后，检测部分中许多感应元件将触摸动作发生的位置信息发送给控制器。触摸控制器的功能则是将从触摸点检测设备中获得触点信息，同时将这些触点信息的坐标输送到CPU，然后再收到来自CPU的指令后，执行该指令[8][9]。
图 1.1 触摸屏的工作原理
触摸屏的关键技术其实就是怎样检测触点信息，触摸屏的分类则是根据触摸屏中的传感器的不同来分类的，大致有红外式，电阻式，电容式，表面声波式这四种[7]。这四种触摸屏获得手指触点深度信息的方式是各有特点的。
（1） 电阻式：其关键部分就是安装一个和屏幕表面很匹配的电阻薄膜，首先需要OTI透明的金属氧化物导电层，然后把它们涂在一块强化的玻璃表面。其控制部分则通过压力感应器。屏幕表面受到接触后，其表面两层导电层就会在发生接触动作的所在位置发生接触，发生接触点处的电阻也随之改变，触摸屏的控制器也随之检测到这一接触点，经过CPU后，模拟鼠标操作。这种触摸屏的优点很多，不怕粉尘颗粒，尘埃影响，不怕进水和污垢，工作环境没有苛刻要求。但其缺点就是抗暴性差，寿命不长，因为其外层大部分是塑料制成，如图1.2透明触摸屏。
图 1.2 透明屏
（2） 红外式：此种屏幕会在显示器前安置一个电路板，其结构很特殊，板的四周分布许多红外线的发射器和接受器，每一个发射器都对应一个接收器，在没有接触发生时，接收器都能接受到红外线，当表面发生触摸动作时，手就会挡住红外线的光路，此点横竖两条红外线就确定了手指的信息。此种屏幕的优点是适应恶劣的环境，不受外界电流，电压，磁场的扰乱，成本低廉，工艺简单。使用普遍。
（3） 表面声波式：声波是一种沿着介质传播的机械波，触摸屏的四角上安置了一种叫做超声波换能器的装置，此装置起了关键作用。它能发出一种频率很高的声波，且能横跨屏幕表面。当触摸屏上发生触摸动作后，发生触摸的地方的声波就会被阻止，位置信息就可确定。这种触摸屏的优点是不受环境因素的影响，如湿度，温度，而且此屏分辨率高，防物理创伤，使用寿命长。屏幕显示的画质也相当不错的。缺点就是容易受粉尘，水，污垢影响其工作，要经常保持表面的干净如图1.3声波式触摸屏。
图 1.3 声波式屏
（4） 电容式：此种屏幕在玻璃表面装了一层很薄的金属导电膜，且要求透明的，它的工作原理是利用人手上的电流感应，导电物质碰到涂有金属导电层的玻璃时，触点处的电容立即发生变化，进而可以得到触点信息了。绝缘物体触碰此种触摸屏无任何作用。此种触摸屏优点是感应非常灵敏，防物理刮伤，防水，防尘，工作环境要求不高。但缺点也突出。主要是电容受空气温度，湿度以及周围干扰电场作用后，稳定性就会很差，其分辨率也不高。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/gdxx/363.html
