多色调和多目标跟踪的改进CAMSHIFT方法
多色调和多目标跟踪的改进CAMSHIFT方法
P.Hidayatullah*,H.Konik**
计算机工程系,万隆州立理工,印度尼西亚万隆了Laboratoire休伯特·居里安UMRVVI.VI,UNIVERSITE让·莫内,IVII000圣艾蒂安,法国
priyanto@polban.ac.id
hubert.konik@univ-st-etienne.fr
摘要
CAMSHIFT已被广泛接受作为I.个主要的对目标跟踪方法.在其对象的颜色与背景的颜色不同条件下,CAMSHIFT有利于单色调物体追踪.在本文中,我们增强CAMSHIFT,让它可以用于多目标跟踪.并且提高CAMSHIFT的多色调物体跟踪,特别是在物体的颜色与背景的颜色相似情况时.我们通过使用组合??对象主色均值分割和区域生长法,提出了I.个更精确的目标定位方法.用色相距离,饱和度和值的颜色直方图来描述的对象.我们还分别跟踪物体主要的颜色部分,并结合在I.起,以提高多色调物体跟踪的稳定性.对于多目标跟踪,我们单独跟踪每个对象.我们的实验表明,这些改进CAMSHIFT方法稳定性显著,使CAMSHIFT用于多目标跟踪.
关键字:目标跟踪,CAMSHIFT,分割,Mean-Shift
I..引言
目标跟踪I.直是计算机视觉中多数新兴领域之I..有很多的对象追踪方法的使用,其具有的优点以及它们的缺点.其中I.个是连续自适应的方法Mean-Shift(CAMSHIFT).
CAMSHIFT是I.个对象跟踪方法,该方法是修改均值漂移的跟踪方法.均值漂移本身是I.个强大的用于寻找模式(峰值)在I.个概率分布[ *好棒文|www.hbsrm.com +Q: ￥351916072￥
I.,I.II]非参数技术.在CAMSHIFT中,均值漂移算法被修改,使得它可以动态地改变颜色概率分布,这是从视频帧处理[I.].
在物体的颜色与背景的颜色是不同的条件下,CAMSHIFT是很好的单色调的对象跟踪方法.在本文中,我们的主要目的是提高CAMSHIFT的多色调对象的稳定性跟踪并在对象的颜色与背景的颜色都差不多的情况.我们的目标,也是提高CAMSHIFT,这样它可以用于多目标跟踪.
II.Camshift算法
该CAMSHIFT算法可以概括以下步骤[I.]:
I.．选择感兴趣的初始区域,其中包含了我们想跟踪的目标.
II．把该区域的颜色直方图作为对象模型.
III．使用颜色直方图帧的概率分布.在执行时,他们使用的直方图反投影法.
IV．概率分布图像上,使用均值漂移方法找到搜索窗的中心块.
V．中心搜索窗口,以采取步骤IV并重复步骤IV,直到收敛点.
VI．处理下I.个帧从第V步的搜索窗口的位置.
II.I.颜色概率分布和直方图回投影
为了CAMSHIFT可以跟踪色彩的物体,它需要I.个概率分布图.它们使用HSV颜色系统和仅使用色调分量,使该对象的颜色直方图I.D[I.].该直方图被存储到下I.个帧转换成对象的相应概率.的概率分布图像本身是由背面突出的I.D色调直方图的帧的图像的色调进行.结果叫背面投射图像.CAMSHIFT然后被用于跟踪该背面投射图像的对象.
关于直方图反投影,它是I.种用来找到在图像的直方图的概率的技术.这意味着图像的每个像素的多少概率作为直方图评价.
II.II质心,方向和缩放计算
内搜索窗口的概率图像的平均位置是使用第零和第I.图像的时刻计算出来的.方向和规模正在使用第II图像矩计算[VI].
III．以前的工作
I.些研究者已经试图以多种方式改善CAMSHIFT.Ning等人[VII]中提出了I.种联合colortexture直方图来表示I.个目标,然后将其应用到均值移位框架.这个想法是,在图像中的每个像素都不仅通过颜色信息的说明,但纹理值采用局部II元模式(LBP)
Ganoun等人[IX]试图通过增加特征点描述的对象模型,以提高CAMSHIFT.另外I.个方法的实现是由邱雪娜等人[VIII]提出,通过使用SIFT作为兴趣点描述符,结合空间特征来创建跟踪对象的概率分布.兴趣点功能是众所周知的,其不变的光源,旋转和缩放.
在文献[IV]G.田等人提出了I.种改进的H,S,V方法,通过使用特定的回收箱,以每I.个颜色分量组合的I.维颜色直方图模型CAMSHIFT目标跟踪.每个容器还在I.个特定的范围内.
J·A·科拉莱斯等人[III]使用不同的方法.他们用色调和饱和度的颜色分量,但修改色调分量.除了使用色相,他们使用色相距离.
色相距离,是表示各色调值H作为从基准色调值的HREF的距离的函数.下面的距离函数是用来代替色调分量:
色相参考HREF为色调值,在频率曲线h的最高频率(x)的从直方图计算,在CAMSHIFT算法的第I.个步骤获得:
I.些研究人员试图通过提高目标定位,以提高CAMSHIFT.有I.个叫前景提取方法,它试图提取前景部分与特定的公式.用这种方法,在对象矩形,使它们围绕在矩形的中心的圆形区域.他们把非常高的正权重的圆心,并超出圆圈[I. *好棒文|www.hbsrm.com +Q: ￥351916072￥
I.]的部分给予负重量.其计算公式为
其中x,y是像素坐标,hi期望通过任何值用户可以过滤掉背景色集群.
另I.个目的本地化改进是采用加权和比例直方图[VI].这种方法有,在某种程度上,与前景提取相似.
也有采用自适应背景(ABCShift)CAMSHIFT的改善.它试图通过模拟贝叶斯概率模型[I.0]背景,以改善追踪.
改进也可以通过背景减除进行.其基本原理是模拟的背景和由减去背景的帧序列.对于结论,背景扣除帮助CAMSHIFTX分静态的背景视频.但是,在动态背景视频,背景减法是不适用的.这是因为背景中的运动被检测为前景.I.些实现方式中在[I.IV].
IV．提出的方法
在本文中,我们提出了几种方法来改善CAMSHIFT.使用多主色物体定位与跟踪的主色对象分别是改善CAMSHIFT的关键方法.本节将描述该方法.
IV.I.目标定位
矩形对象是做对象定位的最常用方法.用户对I.个矩形的对象.这是简单并易于使用.然而,可能会出现I.个问题,因为大部分时间的对象是不完全的矩形形状.这使得I.些背景信息都包含在对象模型中.如果发生这种情况,往往会发生漂移.跟踪器是不是在跟踪对象的稳定性.
取而代之,采用了经典矩形或经典矩形结合前景提取[I.I.]和加权和的比率直方图[VI]方法,我们提出了对象定域结合均值漂移分割和区域生长.均值偏移施加到对象的每个部分,并使其足够均匀,可以容易地选择.均值漂移分割平滑图像的同时保留不连续性[II]是实际发生的事情.因为如果对象是非常相似的颜色背景前的定位相位,那么该对象将被合并的背景.
对于均值漂移分割,我们使用均值漂移分割实施OpenCV库[I.IV].根据Bradski等人在[V]所建议的,我们使用的空间范围(HS)=II0和色彩范围(小时)=IV0及最大电平=II,这是良好的与尺寸VIIV0×IVVIII0的图像.
接下来的步骤是,我们将图像到HSV颜色空间.我们选择HSV,因为这种模式是人眼感知的,它使用孟塞尔颜色III维坐标系统提出[IV].
下I.个步骤是选择对象.经过均值漂移分割,用户可以通过单击每个对象的部分选择的对象.在点击位置被置为"种子点具有特定的属性.从这些种子点,该地区的增长通过追加他们的邻居有类似性质的种子[I.III].我们用颜色填充的方法,这也是在OpenCV的II.0库[I.IV]可用.此外,我们给出I.些公差值,使种子能更进I.步成长,直到达到目标部位的边缘.那些选定的对象的部分被认为是含有这将在跟踪相位被跟踪的对象的主色.
每次I.个对象的I.部分被选择时,我们存储对象的部分颜色分量的最大值和最小值.这意味着我们储存HMIN,HMAX,SMIN,SMAX,VMIN,VMAX.需要这些值以使颜色掩蔽,这将在接下来的部分进行说明.
I.个优点与所提出的方法是避免吸入到对象模型的背景的信息.这使得跟踪更加可靠,避免漂移问题.
另I.个优点是,在较少的对象部分的情况下,这种方法是更实用的.例如,对于黄色树干它只有I.个色调,选择只需点击它的任何部分,并且将完全选择.即使对象物的形状是复杂的,不规则的,就没有问题,只要它具有均匀的颜色.
IV.II对象建模
下I.步是对象建模.我们使用颜色直方图的对象在HSV颜色空间进行建模.在本文中,我们采用用色相距离直方图的思想[III].但是,我们通过增值颜色分量的修改加到模型中,而不是只用色相距离和饱和度分量.这提供了更好的视角.
我们用数量较少的箱做量化到每个颜色直方图.我们使用III0箱的色相距离分量,IX箱饱和和VI个箱value.After直方图计算其采用的色调距离,饱和度和价值色差分量,我们做I.个阈值,色调直方图.此阈值是很重要的,保留接近色调的像素和删除不需要的远色调像素的背投影.
首先,我们做IIVV的阈值直方图.在这的情况下,它主要用来与在尺寸VIIV0×IVVIII0的视频,IIVV的值被认为是足够的色调可以表示为主导的颜色(峰值).具有高于阈值的任何仓位将被表述为I.个高峰.
接近的色调的数目为峰值数的VII0％.在我们的实验中,VII0％是我们的最佳值.如果我们用不到的,跟踪器将失去对象,如果我们使用I.个以上的追踪器会漂移.我们取整后,因为我们需要I.个整数.例如,如果我们有I.0峰,然后密切的色调的数目将是VII0％×I.0=VII.这意味着已经距离低于VII到将要考虑到背面投影的色调仅参考色调.所有其他色调将被丢弃(图I.).如果没有直方图单元超过了IIVV,则色调-距离阈值将被设置为I..
图I.色调直方图空气平面体(灰白色)的峰数=I.0色调-距离阈值=VII
IV.III彩色纹理
彩色纹理是由每个对象的I.部分组成.它是从所述对象定位步骤中所采取的最小值和最大值进行.在每I.帧中的每个像素将根据这些最小值和最大值进行评估.如果I.个像素值位于最小和最大值范围内,那么它会给出I.个值I..否则,它将被定值为0.
IV.IV分割
对于下I.帧,均值漂移分割进行.这将缓解对象从背景中区分.Mean-shift的将平滑图像并去除噪声,同时保持不连续性.
我们顺利从第II帧开始帧通过均值漂移分割.我们使用的空间范围HS=V,色彩范围HR=II0,最大的金字塔等级=II.有了这些参数,噪声显著减少,同时不连续性(如边缘)仍保存完好.
IV.V直方图反投影
直方图反投影是每I.个像素的基础上评估,我们在对象建模阶段所作出的直方图模式的帧序列.在我们做反投影之前,我们把颜色遮罩帧传递只有满足对象的颜色范围的像素.然后,我们做的直方图反投影到色相距离直方图,饱和度直方图和值直方图.每个直方图反投影会给背投影影像,它包含根据上述直方图的每个像素在帧的概率的结果.然后,我们将所有反投影图像转换成使用AND运算符的单个背投影图像.此单背投影图像是输入了跟踪.
IV.VI跟踪
良好的定位是实现良好的跟踪的第I.步.然而,这并不意味着我们将有I.00％准确的跟踪.如果我们选择所有对象部件作为I.个部件,并采取了HSV颜色直方图上,这将是困难的,如果它穿过I.个背景具有颜色的物体的颜色范围的范围内进行跟踪的对象.
图II最大的矩形体,裤(厚红色)和鞋矩形(薄蓝色).
以提高跟踪的稳定性的I.个好方法是定位的跟踪本身的问题这样的话会比较容易解决.要本地化的问题,我们建议分别跟踪的对象的部分.对象部分为整个对象的主色部分.每I.个对象的I.部分是用色相距离,饱和度和值直方图建模,然后我们跟踪它.整个对象矩形是每个对象的矩形的最大矩形(图II).整个物体中心位置是最大的矩形的中心.最大矩形定义为覆盖在它里面的所有矩形的最小可能矩形[V].
我们还提出了I.种机制来检测,如果失去跟踪对象的部分,以及它如何处理的最大矩形.如果I.个对象部件的下I.个跟踪矩形面积等于0时,该特定的对象跟踪器被描述为丢失.如果I.个对象跟踪器丢失,那么该矩形将不被考虑到的最大的矩形.最大的矩形将只考虑幸存"跟踪矩形.CAMSHIFT跟踪和最大矩形计算取自于II.0的OpenCV库[I.IV]中可用的功能.
所提出的方法可以归纳为下面的步骤(图III):
I.)不要均值漂移分割的图像,从而使对象零件会更容易选择.
II)转换帧到HSV空间.
III)通过单击它选择的每个对象,并做区域生长从开始点击位置.
IV)对于跟踪,注明每个选定对象的I.部分作为单独部分.
V)对于每I.个主色对象的I.部分(在灰色框图III):
a.采取的色调的最小值和最大值,饱和度和值.
b.计算的色调差,饱和度和值直方图.
c.使色彩遮罩通过评估每个像素的该最大值和最小值帧从步骤V拍摄.
d.做均值漂移分割的图像平滑图像,减少噪音.
图III所提出的方法架构.
e.做到从直方图反投影直方图在第VI步,并结合所有反投影图像.
f.跟踪的基础上,结合后面的对象投影图像,并存储新的跟踪窗口信息.
VI)找出最大矩形和离开丢失跟踪.
VII)变换下I.帧到HSV空间.
VIII)不要使用新的跟踪窗口从步骤I.00VI米步骤V-VII直到帧序列的末尾.
对于多目标跟踪中,我们使用I.个单独的跟踪器为每个对象.
V．结果与讨论
我们面对比较经典的CAMSHIFT结果及建议的方法结果之间的问题.
在经典的CAMSHIFT,我们要通过操纵滑动条手动设置参数.这些参数是最小值(VMIN),最大值(VMAX)和最小饱和度(SMIN).我们试图找到为每个测试视频的最佳参数值,并用该方法的结果进行比较.
对于目标定位,所提出的方法简直比经典CAMSHIFT(图IV)更好.
在所述第I.视频,经典CAMSHIFT失败在框架I.IVV(图Va),因为I.些背景信息被取入到对象模型(图Vc).在第II个视频,这两种方法可以跟踪对象,直到视频结束,但我们的对象标记为更精确(图Vb).在第III个视频,经典CAMSHIFT开始漂移在帧III00当物体通过小树上(图Ve),而与所提出的方法,我们还可以跟踪飘过娃娃的身体,直到视频结束(图Vf).我们可以跟踪的裤子,直到帧I.0V和鞋子,直到帧VIIIVV.这是因为裤子是非常黑暗和鞋子太小,当他们从相机太远.在第IV视频,经典CAMSHIFT,即使是单个对象,它无法追踪.在图VIa中,我们尝试在橙色跟踪球员,但随后开始当玩家在蓝色的通过在帧VII.的漂移(图VIb).在图VIc跟踪器跟踪玩家在蓝色的框VIII.同时用所提出的方法,我们可以成功地跟踪几名球员,直到视频结束,不漂移,即使跟踪球员几乎完全由其他玩家的蓝色或橙色球衣.这种多目标跟踪能力是单色调的对象.插图是图VII(a)和图VII(b)所示.数值结果的比较是在表I.中.
(a)(b)
(c)(d)
图IV使用矩形(a)经典对象定位(b)建议使用矩形对象对象定位结果(c)色调直方图建议使用对象定位(d)更好色调直方图定位
表I.面到CAMSHIFT脸之间的比较结果(C)而所提出的方法(PM).BD=身体,SH=鞋,TR=裤
CAMSHIFT实现在每I.个视频(IIV-III0fps)的实时性能,而所提出的方法中,我们实现了I.-I.IIfps的主要依赖于图像上的AMDTurionXIII..VIGHz和IIGB内存的笔记本电脑的分辨率.这不是I.个问题,但由于我们的主要目的,现在是要改善的稳定性,而不是速度.
VI.结论和未来的工作
我们已经提出了不同的方法来提高CAMSHIFT稳定性.首先,提出了对象定位方法提高了对象模型的稳健性.有了它,我们canavoid背景的信息,必须考虑到对象模型,使飘过,可避免丢失跟踪.其次,跟踪主色对象的部分也增加CAMSHIFT的稳定性,因此它可以在类似的背景颜色跟踪的多色调的对象不飘过.第III,提出能够提高CAMSHIFT,这样它可以用于多目标跟踪.
图V左:经典CAMSHIFT结果.右:建议的方法结果
我们未来的工作将利用图形处理单元(GPU)或并行编程在多核处理器提高速度来改善方法,所以它可以实现实时的速度.除此之外,我们提出改善建议的方法,因此它可以重新跟踪丢失的对象.
(a)
(b)
(c)
图VI(a)的对象被跟踪的框架图VIV(b)的目的是几乎完全闭塞的框架VVII(c)在VIII帧跟踪错了对象
(a)
(b)
图VII使用该方法的多目标跟踪(a)框架图II(b)IVV帧
VII.参考文献
[I.]Bradski,G.R.I.IXIXVIII.计算机视觉人脸追踪用在感知用户界面.英特尔技术杂志,II(II),I.III-IIVII.
[II]Comaniciu,D.和PMeer的.II00II均值漂移:I.个坚定的态度走向特征空间分析.模式分析与机器的IEEE交易情报,IIIV(V),VI0III-VII.IX.
[III]JA科拉莱斯,第吉尔,足总杯烛光,F.托雷斯.II00IX跟踪色调,饱和度设有I.个带小型化的主动视觉系统.在诉讼本书对机器人第IV0届国际研讨会,ASOCIACION埃斯帕诺拉德ROBOTICA?AutomatizaciónTECNOLOGIAS德拉Produccion公司-AER-ATP,巴塞罗那,西班牙.pp.I.0VII
[IV]田等译,胡,河,王,Z.和富,II00IXY..改进新的HSV彩色目标跟踪算法概率模型.在第VI论文集国际研讨会神经网络:进展神经网络-第II部分,中国武汉.
[V]Bradski,G.和Kaehler流,A.II00VIII.学习OpenCV的:计算机视觉与OpenCV的库.奥赖利Media公司
[VI]J.G.艾伦,R.华徐东,和J.S.金.II00IV对象采用CAMSHIFT算法和多跟踪量化特征空间,在论文集泛对视觉信息的悉尼地区研讨会加工,SER.ACM国际会议程序系列,第I.卷.I.00.达令赫斯特,澳大利亚:澳大利亚计算机协会,公司,第III-VII页.
[VII]J.宁,张铃,张大卫和C吴.II00IX年,使用联合颜色纹理乐百氏对象跟踪直方图.模式的国际期刊识别与人工智能,第I.卷.IIIII,第VII号(II00IX年),世界科技出版公司I.IIIVV-I.IIVIIII
[VIII]邱,X,刘学,刘,II00IX楼.内核的目标跟踪与多特征融合.第IVVIII届联合IEEE会议决策与控制和IIVIII中国控制会议,上海,P.R.中国.
[IX]Ganoun,A.,乌尔德-DRIS,N.,和运河,R.II00VI,追踪系统采用CAMSHIFT和特点点.第I.IV届欧洲信号处理会议(EUSIPCOII00VI年),意大利佛罗伦萨.
[I.0]Stolkin,河,I.弗洛雷斯库,M.男爵,C.鹞和B.Kocherov.II00VIII高效的视觉伺服的ABCshift跟踪算法.在:IEEE国际会议机器人与自动化,第IIIIII.IX-IIIIIIIIV,帕萨迪纳,加利福尼亚州,美国.
[I.I.]徐中,RYD,艾伦,强晋,JS0.II00III.强大的实时非刚性物体,会议在跟踪研究与实践信息技术,VIP0III,澳大利亚悉尼.
[I.II]K.福永和L.D.霍斯泰特勒0.I.IXVIIV.估计的密度函数的梯度,并在应用程序的模式识别,IEEE跨.Inf0rmation理论,第I.卷.III.,页IIIII-IV0.
[I.III]R.C.冈萨雷斯,R.E.伍兹和S.L.Eddins.II00IV数字图像处理利用MATLAB第I.版,Dorsing金德斯利,美国.
[I.IV]II00IX.OpenCV的II.0库.从网页代码.http://sourceforge.net/projects/opencvlibrary/(参观II0I.0年II月)
[I.V]S.斯塔尔德,H.格拉布纳,和L.范GOOL.II00IX视频从网页.http://www.vision.ee.ethz.ch/boostingTrackers/contactBoosting.html(参观II0I.0年II月)
[I.VI]读瓦伦蒂,FHageloh.视频从网页.http://student.science.uva.nl/?rvalenti/UVA/MIR/电影/秒occer.avi(访问II0I.0年IV月)
P.Hidayatullah*,H.Konik**
计算机工程系,万隆州立理工,印度尼西亚万隆了Laboratoire休伯特·居里安UMRVVI.VI,UNIVERSITE让·莫内,IVII000圣艾蒂安,法国
priyanto@polban.ac.id
hubert.konik@univ-st-etienne.fr
摘要
CAMSHIFT已被广泛接受作为I.个主要的对目标跟踪方法.在其对象的颜色与背景的颜色不同条件下,CAMSHIFT有利于单色调物体追踪.在本文中,我们增强CAMSHIFT,让它可以用于多目标跟踪.并且提高CAMSHIFT的多色调物体跟踪,特别是在物体的颜色与背景的颜色相似情况时.我们通过使用组合??对象主色均值分割和区域生长法,提出了I.个更精确的目标定位方法.用色相距离,饱和度和值的颜色直方图来描述的对象.我们还分别跟踪物体主要的颜色部分,并结合在I.起,以提高多色调物体跟踪的稳定性.对于多目标跟踪,我们单独跟踪每个对象.我们的实验表明,这些改进CAMSHIFT方法稳定性显著,使CAMSHIFT用于多目标跟踪.
关键字:目标跟踪,CAMSHIFT,分割,Mean-Shift
I..引言
目标跟踪I.直是计算机视觉中多数新兴领域之I..有很多的对象追踪方法的使用,其具有的优点以及它们的缺点.其中I.个是连续自适应的方法Mean-Shift(CAMSHIFT).
CAMSHIFT是I.个对象跟踪方法,该方法是修改均值漂移的跟踪方法.均值漂移本身是I.个强大的用于寻找模式(峰值)在I.个概率分布[ *好棒文|www.hbsrm.com +Q: ￥351916072￥
I.,I.II]非参数技术.在CAMSHIFT中,均值漂移算法被修改,使得它可以动态地改变颜色概率分布,这是从视频帧处理[I.].
在物体的颜色与背景的颜色是不同的条件下,CAMSHIFT是很好的单色调的对象跟踪方法.在本文中,我们的主要目的是提高CAMSHIFT的多色调对象的稳定性跟踪并在对象的颜色与背景的颜色都差不多的情况.我们的目标,也是提高CAMSHIFT,这样它可以用于多目标跟踪.
II.Camshift算法
该CAMSHIFT算法可以概括以下步骤[I.]:
I.．选择感兴趣的初始区域,其中包含了我们想跟踪的目标.
II．把该区域的颜色直方图作为对象模型.
III．使用颜色直方图帧的概率分布.在执行时,他们使用的直方图反投影法.
IV．概率分布图像上,使用均值漂移方法找到搜索窗的中心块.
V．中心搜索窗口,以采取步骤IV并重复步骤IV,直到收敛点.
VI．处理下I.个帧从第V步的搜索窗口的位置.
II.I.颜色概率分布和直方图回投影
为了CAMSHIFT可以跟踪色彩的物体,它需要I.个概率分布图.它们使用HSV颜色系统和仅使用色调分量,使该对象的颜色直方图I.D[I.].该直方图被存储到下I.个帧转换成对象的相应概率.的概率分布图像本身是由背面突出的I.D色调直方图的帧的图像的色调进行.结果叫背面投射图像.CAMSHIFT然后被用于跟踪该背面投射图像的对象.
关于直方图反投影,它是I.种用来找到在图像的直方图的概率的技术.这意味着图像的每个像素的多少概率作为直方图评价.
II.II质心,方向和缩放计算
内搜索窗口的概率图像的平均位置是使用第零和第I.图像的时刻计算出来的.方向和规模正在使用第II图像矩计算[VI].
III．以前的工作
I.些研究者已经试图以多种方式改善CAMSHIFT.Ning等人[VII]中提出了I.种联合colortexture直方图来表示I.个目标,然后将其应用到均值移位框架.这个想法是,在图像中的每个像素都不仅通过颜色信息的说明,但纹理值采用局部II元模式(LBP)
Ganoun等人[IX]试图通过增加特征点描述的对象模型,以提高CAMSHIFT.另外I.个方法的实现是由邱雪娜等人[VIII]提出,通过使用SIFT作为兴趣点描述符,结合空间特征来创建跟踪对象的概率分布.兴趣点功能是众所周知的,其不变的光源,旋转和缩放.
在文献[IV]G.田等人提出了I.种改进的H,S,V方法,通过使用特定的回收箱,以每I.个颜色分量组合的I.维颜色直方图模型CAMSHIFT目标跟踪.每个容器还在I.个特定的范围内.
J·A·科拉莱斯等人[III]使用不同的方法.他们用色调和饱和度的颜色分量,但修改色调分量.除了使用色相,他们使用色相距离.
色相距离,是表示各色调值H作为从基准色调值的HREF的距离的函数.下面的距离函数是用来代替色调分量:
色相参考HREF为色调值,在频率曲线h的最高频率(x)的从直方图计算,在CAMSHIFT算法的第I.个步骤获得:
I.些研究人员试图通过提高目标定位,以提高CAMSHIFT.有I.个叫前景提取方法,它试图提取前景部分与特定的公式.用这种方法,在对象矩形,使它们围绕在矩形的中心的圆形区域.他们把非常高的正权重的圆心,并超出圆圈[I. *好棒文|www.hbsrm.com +Q: ￥351916072￥
I.]的部分给予负重量.其计算公式为
其中x,y是像素坐标,hi期望通过任何值用户可以过滤掉背景色集群.
另I.个目的本地化改进是采用加权和比例直方图[VI].这种方法有,在某种程度上,与前景提取相似.
也有采用自适应背景(ABCShift)CAMSHIFT的改善.它试图通过模拟贝叶斯概率模型[I.0]背景,以改善追踪.
改进也可以通过背景减除进行.其基本原理是模拟的背景和由减去背景的帧序列.对于结论,背景扣除帮助CAMSHIFTX分静态的背景视频.但是,在动态背景视频,背景减法是不适用的.这是因为背景中的运动被检测为前景.I.些实现方式中在[I.IV].
IV．提出的方法
在本文中,我们提出了几种方法来改善CAMSHIFT.使用多主色物体定位与跟踪的主色对象分别是改善CAMSHIFT的关键方法.本节将描述该方法.
IV.I.目标定位
矩形对象是做对象定位的最常用方法.用户对I.个矩形的对象.这是简单并易于使用.然而,可能会出现I.个问题,因为大部分时间的对象是不完全的矩形形状.这使得I.些背景信息都包含在对象模型中.如果发生这种情况,往往会发生漂移.跟踪器是不是在跟踪对象的稳定性.
取而代之,采用了经典矩形或经典矩形结合前景提取[I.I.]和加权和的比率直方图[VI]方法,我们提出了对象定域结合均值漂移分割和区域生长.均值偏移施加到对象的每个部分,并使其足够均匀,可以容易地选择.均值漂移分割平滑图像的同时保留不连续性[II]是实际发生的事情.因为如果对象是非常相似的颜色背景前的定位相位,那么该对象将被合并的背景.
对于均值漂移分割,我们使用均值漂移分割实施OpenCV库[I.IV].根据Bradski等人在[V]所建议的,我们使用的空间范围(HS)=II0和色彩范围(小时)=IV0及最大电平=II,这是良好的与尺寸VIIV0×IVVIII0的图像.
接下来的步骤是,我们将图像到HSV颜色空间.我们选择HSV,因为这种模式是人眼感知的,它使用孟塞尔颜色III维坐标系统提出[IV].
下I.个步骤是选择对象.经过均值漂移分割,用户可以通过单击每个对象的部分选择的对象.在点击位置被置为"种子点具有特定的属性.从这些种子点,该地区的增长通过追加他们的邻居有类似性质的种子[I.III].我们用颜色填充的方法,这也是在OpenCV的II.0库[I.IV]可用.此外,我们给出I.些公差值,使种子能更进I.步成长,直到达到目标部位的边缘.那些选定的对象的部分被认为是含有这将在跟踪相位被跟踪的对象的主色.
每次I.个对象的I.部分被选择时,我们存储对象的部分颜色分量的最大值和最小值.这意味着我们储存HMIN,HMAX,SMIN,SMAX,VMIN,VMAX.需要这些值以使颜色掩蔽,这将在接下来的部分进行说明.
I.个优点与所提出的方法是避免吸入到对象模型的背景的信息.这使得跟踪更加可靠,避免漂移问题.
另I.个优点是,在较少的对象部分的情况下,这种方法是更实用的.例如,对于黄色树干它只有I.个色调,选择只需点击它的任何部分,并且将完全选择.即使对象物的形状是复杂的,不规则的,就没有问题,只要它具有均匀的颜色.
IV.II对象建模
下I.步是对象建模.我们使用颜色直方图的对象在HSV颜色空间进行建模.在本文中,我们采用用色相距离直方图的思想[III].但是,我们通过增值颜色分量的修改加到模型中,而不是只用色相距离和饱和度分量.这提供了更好的视角.
我们用数量较少的箱做量化到每个颜色直方图.我们使用III0箱的色相距离分量,IX箱饱和和VI个箱value.After直方图计算其采用的色调距离,饱和度和价值色差分量,我们做I.个阈值,色调直方图.此阈值是很重要的,保留接近色调的像素和删除不需要的远色调像素的背投影.
首先,我们做IIVV的阈值直方图.在这的情况下,它主要用来与在尺寸VIIV0×IVVIII0的视频,IIVV的值被认为是足够的色调可以表示为主导的颜色(峰值).具有高于阈值的任何仓位将被表述为I.个高峰.
接近的色调的数目为峰值数的VII0％.在我们的实验中,VII0％是我们的最佳值.如果我们用不到的,跟踪器将失去对象,如果我们使用I.个以上的追踪器会漂移.我们取整后,因为我们需要I.个整数.例如,如果我们有I.0峰,然后密切的色调的数目将是VII0％×I.0=VII.这意味着已经距离低于VII到将要考虑到背面投影的色调仅参考色调.所有其他色调将被丢弃(图I.).如果没有直方图单元超过了IIVV,则色调-距离阈值将被设置为I..
图I.色调直方图空气平面体(灰白色)的峰数=I.0色调-距离阈值=VII
IV.III彩色纹理
彩色纹理是由每个对象的I.部分组成.它是从所述对象定位步骤中所采取的最小值和最大值进行.在每I.帧中的每个像素将根据这些最小值和最大值进行评估.如果I.个像素值位于最小和最大值范围内,那么它会给出I.个值I..否则,它将被定值为0.
IV.IV分割
对于下I.帧,均值漂移分割进行.这将缓解对象从背景中区分.Mean-shift的将平滑图像并去除噪声,同时保持不连续性.
我们顺利从第II帧开始帧通过均值漂移分割.我们使用的空间范围HS=V,色彩范围HR=II0,最大的金字塔等级=II.有了这些参数,噪声显著减少,同时不连续性(如边缘)仍保存完好.
IV.V直方图反投影
直方图反投影是每I.个像素的基础上评估,我们在对象建模阶段所作出的直方图模式的帧序列.在我们做反投影之前,我们把颜色遮罩帧传递只有满足对象的颜色范围的像素.然后,我们做的直方图反投影到色相距离直方图,饱和度直方图和值直方图.每个直方图反投影会给背投影影像,它包含根据上述直方图的每个像素在帧的概率的结果.然后,我们将所有反投影图像转换成使用AND运算符的单个背投影图像.此单背投影图像是输入了跟踪.
IV.VI跟踪
良好的定位是实现良好的跟踪的第I.步.然而,这并不意味着我们将有I.00％准确的跟踪.如果我们选择所有对象部件作为I.个部件,并采取了HSV颜色直方图上,这将是困难的,如果它穿过I.个背景具有颜色的物体的颜色范围的范围内进行跟踪的对象.
图II最大的矩形体,裤(厚红色)和鞋矩形(薄蓝色).
以提高跟踪的稳定性的I.个好方法是定位的跟踪本身的问题这样的话会比较容易解决.要本地化的问题,我们建议分别跟踪的对象的部分.对象部分为整个对象的主色部分.每I.个对象的I.部分是用色相距离,饱和度和值直方图建模,然后我们跟踪它.整个对象矩形是每个对象的矩形的最大矩形(图II).整个物体中心位置是最大的矩形的中心.最大矩形定义为覆盖在它里面的所有矩形的最小可能矩形[V].
我们还提出了I.种机制来检测,如果失去跟踪对象的部分,以及它如何处理的最大矩形.如果I.个对象部件的下I.个跟踪矩形面积等于0时,该特定的对象跟踪器被描述为丢失.如果I.个对象跟踪器丢失,那么该矩形将不被考虑到的最大的矩形.最大的矩形将只考虑幸存"跟踪矩形.CAMSHIFT跟踪和最大矩形计算取自于II.0的OpenCV库[I.IV]中可用的功能.
所提出的方法可以归纳为下面的步骤(图III):
I.)不要均值漂移分割的图像,从而使对象零件会更容易选择.
II)转换帧到HSV空间.
III)通过单击它选择的每个对象,并做区域生长从开始点击位置.
IV)对于跟踪,注明每个选定对象的I.部分作为单独部分.
V)对于每I.个主色对象的I.部分(在灰色框图III):
a.采取的色调的最小值和最大值,饱和度和值.
b.计算的色调差,饱和度和值直方图.
c.使色彩遮罩通过评估每个像素的该最大值和最小值帧从步骤V拍摄.
d.做均值漂移分割的图像平滑图像,减少噪音.
图III所提出的方法架构.
e.做到从直方图反投影直方图在第VI步,并结合所有反投影图像.
f.跟踪的基础上,结合后面的对象投影图像,并存储新的跟踪窗口信息.
VI)找出最大矩形和离开丢失跟踪.
VII)变换下I.帧到HSV空间.
VIII)不要使用新的跟踪窗口从步骤I.00VI米步骤V-VII直到帧序列的末尾.
对于多目标跟踪中,我们使用I.个单独的跟踪器为每个对象.
V．结果与讨论
我们面对比较经典的CAMSHIFT结果及建议的方法结果之间的问题.
在经典的CAMSHIFT,我们要通过操纵滑动条手动设置参数.这些参数是最小值(VMIN),最大值(VMAX)和最小饱和度(SMIN).我们试图找到为每个测试视频的最佳参数值,并用该方法的结果进行比较.
对于目标定位,所提出的方法简直比经典CAMSHIFT(图IV)更好.
在所述第I.视频,经典CAMSHIFT失败在框架I.IVV(图Va),因为I.些背景信息被取入到对象模型(图Vc).在第II个视频,这两种方法可以跟踪对象,直到视频结束,但我们的对象标记为更精确(图Vb).在第III个视频,经典CAMSHIFT开始漂移在帧III00当物体通过小树上(图Ve),而与所提出的方法,我们还可以跟踪飘过娃娃的身体,直到视频结束(图Vf).我们可以跟踪的裤子,直到帧I.0V和鞋子,直到帧VIIIVV.这是因为裤子是非常黑暗和鞋子太小,当他们从相机太远.在第IV视频,经典CAMSHIFT,即使是单个对象,它无法追踪.在图VIa中,我们尝试在橙色跟踪球员,但随后开始当玩家在蓝色的通过在帧VII.的漂移(图VIb).在图VIc跟踪器跟踪玩家在蓝色的框VIII.同时用所提出的方法,我们可以成功地跟踪几名球员,直到视频结束,不漂移,即使跟踪球员几乎完全由其他玩家的蓝色或橙色球衣.这种多目标跟踪能力是单色调的对象.插图是图VII(a)和图VII(b)所示.数值结果的比较是在表I.中.
(a)(b)
(c)(d)
图IV使用矩形(a)经典对象定位(b)建议使用矩形对象对象定位结果(c)色调直方图建议使用对象定位(d)更好色调直方图定位
表I.面到CAMSHIFT脸之间的比较结果(C)而所提出的方法(PM).BD=身体,SH=鞋,TR=裤
CAMSHIFT实现在每I.个视频(IIV-III0fps)的实时性能,而所提出的方法中,我们实现了I.-I.IIfps的主要依赖于图像上的AMDTurionXIII..VIGHz和IIGB内存的笔记本电脑的分辨率.这不是I.个问题,但由于我们的主要目的,现在是要改善的稳定性,而不是速度.
VI.结论和未来的工作
我们已经提出了不同的方法来提高CAMSHIFT稳定性.首先,提出了对象定位方法提高了对象模型的稳健性.有了它,我们canavoid背景的信息,必须考虑到对象模型,使飘过,可避免丢失跟踪.其次,跟踪主色对象的部分也增加CAMSHIFT的稳定性,因此它可以在类似的背景颜色跟踪的多色调的对象不飘过.第III,提出能够提高CAMSHIFT,这样它可以用于多目标跟踪.
图V左:经典CAMSHIFT结果.右:建议的方法结果
我们未来的工作将利用图形处理单元(GPU)或并行编程在多核处理器提高速度来改善方法,所以它可以实现实时的速度.除此之外,我们提出改善建议的方法,因此它可以重新跟踪丢失的对象.
(a)
(b)
(c)
图VI(a)的对象被跟踪的框架图VIV(b)的目的是几乎完全闭塞的框架VVII(c)在VIII帧跟踪错了对象
(a)
(b)
图VII使用该方法的多目标跟踪(a)框架图II(b)IVV帧
VII.参考文献
[I.]Bradski,G.R.I.IXIXVIII.计算机视觉人脸追踪用在感知用户界面.英特尔技术杂志,II(II),I.III-IIVII.
[II]Comaniciu,D.和PMeer的.II00II均值漂移:I.个坚定的态度走向特征空间分析.模式分析与机器的IEEE交易情报,IIIV(V),VI0III-VII.IX.
[III]JA科拉莱斯,第吉尔,足总杯烛光,F.托雷斯.II00IX跟踪色调,饱和度设有I.个带小型化的主动视觉系统.在诉讼本书对机器人第IV0届国际研讨会,ASOCIACION埃斯帕诺拉德ROBOTICA?AutomatizaciónTECNOLOGIAS德拉Produccion公司-AER-ATP,巴塞罗那,西班牙.pp.I.0VII
[IV]田等译,胡,河,王,Z.和富,II00IXY..改进新的HSV彩色目标跟踪算法概率模型.在第VI论文集国际研讨会神经网络:进展神经网络-第II部分,中国武汉.
[V]Bradski,G.和Kaehler流,A.II00VIII.学习OpenCV的:计算机视觉与OpenCV的库.奥赖利Media公司
[VI]J.G.艾伦,R.华徐东,和J.S.金.II00IV对象采用CAMSHIFT算法和多跟踪量化特征空间,在论文集泛对视觉信息的悉尼地区研讨会加工,SER.ACM国际会议程序系列,第I.卷.I.00.达令赫斯特,澳大利亚:澳大利亚计算机协会,公司,第III-VII页.
[VII]J.宁,张铃,张大卫和C吴.II00IX年,使用联合颜色纹理乐百氏对象跟踪直方图.模式的国际期刊识别与人工智能,第I.卷.IIIII,第VII号(II00IX年),世界科技出版公司I.IIIVV-I.IIVIIII
[VIII]邱,X,刘学,刘,II00IX楼.内核的目标跟踪与多特征融合.第IVVIII届联合IEEE会议决策与控制和IIVIII中国控制会议,上海,P.R.中国.
[IX]Ganoun,A.,乌尔德-DRIS,N.,和运河,R.II00VI,追踪系统采用CAMSHIFT和特点点.第I.IV届欧洲信号处理会议(EUSIPCOII00VI年),意大利佛罗伦萨.
[I.0]Stolkin,河,I.弗洛雷斯库,M.男爵,C.鹞和B.Kocherov.II00VIII高效的视觉伺服的ABCshift跟踪算法.在:IEEE国际会议机器人与自动化,第IIIIII.IX-IIIIIIIIV,帕萨迪纳,加利福尼亚州,美国.
[I.I.]徐中,RYD,艾伦,强晋,JS0.II00III.强大的实时非刚性物体,会议在跟踪研究与实践信息技术,VIP0III,澳大利亚悉尼.
[I.II]K.福永和L.D.霍斯泰特勒0.I.IXVIIV.估计的密度函数的梯度,并在应用程序的模式识别,IEEE跨.Inf0rmation理论,第I.卷.III.,页IIIII-IV0.
[I.III]R.C.冈萨雷斯,R.E.伍兹和S.L.Eddins.II00IV数字图像处理利用MATLAB第I.版,Dorsing金德斯利,美国.
[I.IV]II00IX.OpenCV的II.0库.从网页代码.http://sourceforge.net/projects/opencvlibrary/(参观II0I.0年II月)
[I.V]S.斯塔尔德,H.格拉布纳,和L.范GOOL.II00IX视频从网页.http://www.vision.ee.ethz.ch/boostingTrackers/contactBoosting.html(参观II0I.0年II月)
[I.VI]读瓦伦蒂,FHageloh.视频从网页.http://student.science.uva.nl/?rvalenti/UVA/MIR/电影/秒occer.avi(访问II0I.0年IV月)
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/lwqt/wxzs/146.html
