基于相关滤波器的抗遮挡目标跟踪算法

廖强，廖繁昌*

（重庆大学机械工程学院）

2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.0College of Mechanical Engineering, Chongqing University；College of Mechanical Engineering, Chongqing University重庆大学机械工程学院;重庆大学机械工程学院400044;40004418983944156;1889613137718983944156;18896131377重庆市沙坪坝区沙坪坝正街174号重庆大学A区;重庆市沙坪坝区沙坪坝正街174号重庆大学A区lq922@163.com;flylfclfc@163.com廖强（1963—），男，教授、博导，主要研究方向：机电一体化;廖强;廖繁昌LIAO Qiang;LIAO Fanchang廖强 2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*论文集*|*Bolme D S, Beveridge J R, Draper B A, et al, editor. Visual object tracking using adaptive correlation filters[A]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]. 2010. 2544-2550.<CR>2*|*论文集*|*Henriques J F, Rui C, Martins P, et al, editor. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[A]. European conference on computer vision[C]. Springer, Berlin, Heidelberg, 2012. 702-715.<CR>3*|*论文集*|*LI Yang, ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[A]. Proceedings of European Conference on Computer Vision[C]. Zurich, Switzerland, 2014. 254-265. <CR>4*|*论文集*|*Danelljan M, Häger G, Khan F, et al. Accurate scale estimation for robust visual tracking [A]. British Machine Vision Conference[C]. Nottingham, September 1-5, 2014. BMVA Press, 2014.<CR>5*|*论文集*|*Kiani Galoogahi H, Fagg A, Lucey S. Learning background-aware correlation filters for visual tracking[A]. Proceedings of the IEEE international conference on computer vision[C]. 2017. 1135-1143.<CR>6*|*论文集*|*Ma C, Yang X K, Zhang C Y, et al. Long-term correlation tracking[A]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition[C]. Boston, MA, USA：IEEE, 2015. 5388-5396.<CR>7*|*论文集*|*Cai C, Liang X, Wang B, et al. A Target Tracking MethodBased on KCF for Omnidirectional Vision[A]. 第37届中国控制会议论文集[C]. 2018: 962-967.<CR>8*|*论文集*|*BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[A]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition[C]. Las Vegas, USA, 2016. 1401-1409.<CR>9*|*期刊*|*Felzenszwalb P F , Girshick R B , Mcallester D ,et al. Object Detection with Discriminatively Trained Part-Based Models[J]. IEEE Transactions on Software Engineering, 2010, 32(9): 1627-1645.<CR>10*|*期刊*|*Danelljan, Martin, Hger, et al, Discriminative Scale Space Tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 39(8): 1561-1575.<CR>11*|*论文集*|*Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg et al. Adaptive Color Attributes for Real-Time Visual Tracking[A]. Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition[C]. Columbus, OH, USA: IEEE, 2014. 1090-1097. <CR>12*|*论文集*|*Wang M, Liu Y, Huang Z. Large margin object tracking with circulant feature maps[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. 2017. 4021-4029.<CR>13*|*期刊*|*Kalal Z , Mikolajczyk K , Matas J . Tracking-learning-detection[J]. IEEE Transactions on Software Engineering, 2011, 34(7): 1409-1422..<CR>14*|*在线文献*|*陈志旺,王航,刘旺,宋娟,彭勇. 抗遮挡与尺度自适应的改进KCF跟踪算法研究[OL]. [2020-03-20].https://doi.org/10.13195/j.kzyjc.2019.0394.<CR>15*|*论文集*|*WU Yi, LIM J, YANG M H. Online object tracking: a benchmark[A]. Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition[C]. Portland, USA, 2013. 2411-2418.基于相关滤波器的抗遮挡目标跟踪算法|Anti-occlusion target tracking algorithm based on correlation filter|*|1|廖强|LIAO Qiang|重庆大学机械工程学院|College of Mechanical Engineering, Chongqing University|廖强（1963—），男，教授、博导，主要研究方向：机电一体化|重庆市沙坪坝区沙坪坝正街174号重庆大学A区|400044|lq922@163.com|18983944156|18983944156<CR>|2|廖繁昌|LIAO Fanchang|重庆大学机械工程学院|College of Mechanical Engineering, Chongqing University||重庆市沙坪坝区沙坪坝正街174号重庆大学A区|400044|flylfclfc@163.com|18896131377|18896131377

摘要：传统核相关滤波目标跟踪算法在尺度变化、遮挡等场景中无法准确跟踪。本文提出改进，结合自适应核相关滤波器算法，尺度变换和平移滤波环节均采用特征降维方法提升速度。融合了判断遮挡更新机制，若存在遮挡，停止对模型的更新并预测目标新位置，利用预测信息修正目标位置。通过对OTB50测试视频集跟踪实验分析，结果表明本文算法在抗遮挡和速度方面优于传统算法。

关键词：目标跟踪；遮挡；相关滤波；特征降维

中图分类号：TP391

Anti-occlusion target tracking algorithm based on correlation filter

LIAO Qiang, LIAO Fanchang

(College of Mechanical Engineering, Chongqing University)

Abstract: The traditional kernel correlation filtering target tracking algorithms can not accurately track in some scenes, such as scale changes and occlusions. This article proposes improvements, combinate with the adaptive kernel correlation filter algorithm, the scale transformation and the parallel-shift filter all adopt the adopt feature dimensionality reduction to increase the speed. Integrate the judgment occlusion update mechanism, if there is occlusion, stop updating the model and predict the new target position, use the predicted information to correct the target postion. The experimental analysis of the OTB50 test video set tracking results show that the algorithm in this paper is superior to traditional algorithms in terms of anti-occlusion and speed.

Key words: Target Tracking;Occlude;Correlation filtering;Feature reduction

引言

目标跟踪是计算机视觉领域研究的重要部分，其广泛应用在安防监控领域。但由于复杂背景和目标遮挡等不确定因素，很难同时满足高精度和高速的要求。相关滤波目标跟踪方法作为一种判别式跟踪方法，其具有高速和较强鲁棒性，因此对相关滤波目标跟踪方法进行研究具有重要意义。

Bolme等人[1]提出最小平方误差输出和(Minimum Output Sum of Squared Error,MOSSE)算法，其跟踪速度达到615fps，且鲁棒性较好，自此相关滤波受到广泛关注。Henriques等人[2]进一步提出核相关滤波算法，利用循环矩阵进行稠密采样来扩充样本集合，并通过循环矩阵的傅里叶对角化，减少了矩阵求逆环节，实现了高效的目标跟踪。但上述算法在目标表观剧烈变化时可能会产生漂移现象，进而导致跟踪误差的产生。针对尺度变化问题，Yang Li等[3]将平移滤波器在多尺度缩放的图像块上进行目标检测，取响应最大的那个平移位置及所在尺度，Martin等人[4]专门训练一个类似MOSSE的相关滤波器来检测尺度变化，开创了平移滤波加尺度滤波。针对边界效应问题，文献[5]采用更大的检测区域，同时加入空域正则化。针对目标遮挡问题，文献[6]增加了第三个负责检测目标置信度的相关滤波器，MOSSE采用峰值旁瓣比来判断目标是否跟踪失败，检测到跟踪失败后立即停止更新模型。Cai等[7]将多尺度与遮挡判断相结合进行全向跟踪。随着深度学习的发展，结合深度特征的相关滤波方法逐渐成为主流。

上述算法针对相关滤波目标跟踪算法进行了创新与改进，但仍存在以下问题：目标跟踪的精度和鲁棒性有待提高，对目标遮挡的判断机制以及发生遮挡后模板更新问题有待优化，算法复杂程度提高，无法应用在嵌入式平台上。

针对上述问题，本文在文献[8]中(Complementary Learners for Real-Time Tracking, Staple)算法的基础上通过PCA方法降低(fast Histogram of Oriented Gradient, FHOG)方向梯度直方图特征[9]维度，针对尺度变换环节，采用QR分解[10]进行特征降维，在加快运行速度的同时，通过三角插值方法保证检测精度。设立遮挡判断机制，若存在遮挡，停止对模型的更新并预测目标新位置，利用预测信息修正目标跟踪区域。

Staple算法原理

本文的目标跟踪算法是对Staple算法的一种改进，因此只对其作简单介绍。相关滤波模板类特征(HOG)对快速变形和快速运动效果不佳，但对运动模糊光照变化等情况较好，而颜色统计特征对目标变形不敏感，而且不属于相关滤波框架，没有边界效应，可适用于快速运动，但对光照变化和背景颜色相似场景效果较差。综上，这两类方法可以互补，在平移检测中，相关滤波环节和颜色前景概率的响应图线性加权，得到最终响应分数图，如式(1)所示，其中和分别为模板和颜色直方图响应，和分别为对应加权系数。模板得分函数中，代表图像中的一个图像块，为该图像块中的一个像素位置，特征模板h和该图像块的特征对应位置的值相乘，然后求和，作为当前点u的响应值，模板更新与DSST算法相同。

(1)

颜色概率模型用于区分前景目标与背景，通过统计前景目标和背景区域的颜色直方图，判别每个像素属于前景目标和背景的概率，得到像素级的前景目标概率响应图，分数越高的位置，目标的位置可能性最大。直方图得分函数中，如式(2)所示，可视为颜色直方图滤波器，对于本文采用的三通道RGB颜色特征，相应为一个尺度为3的向量，为前景目标特征，H代表图像中的一个图像块，为该图像块中的一个像素位置。

(2)

计算公式为式(3)，，分别为前景目标和背景的颜色直方图特征在各个颜色通道中不为零的区域中的像素的比例。是区域A中所有位于颜色直方图j通道的像素数目。利用可计算出每个像素的相似度，每像素的得分在以先前图像中的位置为中心的搜索区域中计算，然后被用来有效地计算密集直方图响应，为加快运行速度，通过积分图技术求得基于目标区域的相似度。

与模板类特征更新方式相同，直方图得分也采用线性插值方法式(4)对和进行更新。

(3)

(4)

式中，分别代表第t帧图像中计算得到的初步像素比例值，而分别代表第t帧图像最终用于计算响应的像素比例值，为更新系数，为的向量元素，，对于本文所采用的RGB颜色直方图，。

算法改进

经过实验验证，相关滤波器中特征通道数目与计算量成线性关系，因此平移滤波器中31维的FHOG特征通道数仍较多，而且训练一个额外的尺度滤波器会大幅降低算法整体速度，没有遮挡判断机制，对于存在遮挡的场景，鲁棒性较差。针对上述问题，采用特征降维和遮挡处理方法，在提高算法速度的同时，保证算法精度和鲁棒性。

特征降维

文献[11]采用PCA方法的自适应降维，将颜色特征通道数量从11下降到2，性能只下降1.37%，处理速度却上升57.20%。参考该方法，对于平移滤波器，本文采用PCA方法将平移滤波器中串联的31维FHOG特征和1维灰度特征从32降维到18。由于FHOG特征会降低响应分辨率，因此采用三角插值方法，将响应图的分辨率上采样到原始图像分辨率，也就是将响应图插值以提高检测精度。

对于尺度滤波器，训练尺度滤波器用的是一维样本，而且没有循环移位，处理速度很慢，由于自相关矩阵维度较大，影响处理速度，直接进行奇异值分解计算量非常大，利用QR分解，作间接的奇异值分解，可以减小计算量。QR方法将尺度滤波器的FHOG特征从近1000*17降维到17*17，多尺度数量是17，响应图是1*17。也通过三角插值方法将尺度数量从17插值到33，以获得更精确的尺度定位，在经过特征降维后，可以有效提高尺度判断速度。

遮挡处理

遮挡判断与动态模型更新

在目标跟踪算法中，遮挡问题是常见的也是难以解决的问题， Staple目标跟踪算法中，FHOG和颜色特征模型都采用线性插值方法进行模型更新。然而当目标在遮挡情况下，错误的特征信息加入到模型中，不断积累误差，最终导致目标丢失。

只有在跟踪置信度比较高的时候才更新跟踪模型，文献[12]采用最大响应峰值和平均峰值相关能量(average peak-to correlation energy, APCE)来进行判断，当和APCE值均以一定比例系数大于历史均值时更新模型。APCE反应了响应图的波动程度和检测目标的置信水平，当APCE突然减小时，就是目标被遮挡或丢失的情况，其计算方法如式(5)所示，分别表示响应最高、最低和位置上的响应。

(5)

但是不同场景中，采取固定置信度阈值会降低算法的鲁棒性，参考该方法，本文提出自适应阈值，通过历史信息与当前帧信息来自适应判断目标遮挡等情况，从而提高阈值设定的广适性，阈值设置如下：

(6)

其中，为更新系数，AP为APCE值，为峰值的历史均值。

因此本文模型更新策略为当和APCE值均高于阈值时更新模型，否则停止更新，并预测下一帧目标位置，式中分别为相关滤波模板特征和颜色直方图特征学习率。

(7)

位置预测

在以判别类方法进行目标跟踪过程中，无论检测有多准确，漏检的问题是无法避免的，比如目标间相互遮挡，甚至就是漏检。文献采用级联检测器[13]进行重检测，但是实时性极差，参考各种算法思路，考虑和生成类跟踪方法进行互补，例如卡尔曼滤波等。虽然未能检测到目标，但是可以根据之前的运动状态估算出当前目标的位置，当目标再次出现时重新跟踪上目标，尽管该方法只能适用于目标运动规律的场景。参数估计中，当对于系统参数不够了解时，使用最小二乘法比较合适，而对于系统了解比较多时，可以采用卡尔曼滤波，否则精度太低。考虑到已知系统信息较少，因此本文采用渐消记忆法[14]预测目标位置。作为递推最小二乘法的一种，解决了最小二乘法的数据饱和现象，同时减小计算量。目标未发生遮挡时正常更新模型，当目标发生遮挡时，停止模型更新，预测出目标可能的位置，并用预测值修正目标位置。

本文位置预测通常分为三步。首先利用渐消记忆法设定权值，为向量，

(8)

式中：，m为当前帧数目。第二步根据从第一帧开始收集的目标位置p，p为向量，计算相邻帧的位置差，为向量。

(9)

在系统判定目标未被遮挡时，利用实时更新的目标位置数据更新p，当第t帧被判定为遮挡时，停止更新平移滤波器，停止尺度预测环节，保持当前尺度不变，同时预测下一帧目标位置。最后根据第t帧的位置和预测的帧间位置差计算得到第帧的位置，

(10)

并用预测得到的修正目标位置。

实验结果及分析

实验环境及参数设置

用于完成本文算法的计算机硬件配置为：CPU为Inter Core i7-8700，主频3.20GHz，内存8GB。算法的软件开发平台为MATALAB 2017a。本文选取了OTB50公开测试集[15]。数据集中每个数据目标对象包含遮挡、目标丢失、背景干扰等部分影响因素。实验参数设置如下：平移检测环节中，相关滤波模型和颜色特征模型等学习率同Staple算法，遮挡判断更新系数取0.85，目标尺度估计方法参数同DSST算法加权融合系数。

实验结果定量分析

为了验证算法效果，采用对比实验方法，除文中算法外，另设置一些近几年提出的优秀相关滤波算法进行对比，如KCF、DSST、SAMF、BACF等。主要采用中心位置误差CLE(Center location error)、距离精度(Distance Precision，DP)和重叠精度(Overlap Precision，OP)三个评价指标，实现对各个算法的性能比较。CLE指跟踪算法预测的目标中心位置与标注的目标实际中心位置的距离。

(11)

式中，表示一个视频序列中第i帧图像的中心位置误差。定义CLE小于设定阈值的视频帧数量占该视频序列全部帧数的百分比为DP指标，不同的阈值可以得到不同的百分比数值，以CLE为横轴，DP为纵轴，可以获得一条曲线，即精度图(precision plot)，一般取阈值为20时的比例值作为该算法的距离精度值。

OP指标用算法预测的目标边界框与实际标注框的重叠率(Overlap Score，OS)来评估。

(12)

若当前帧的重叠率大于设定阈值，则视为跟踪成功，其占该视频序列全部帧数的百分比即为成功率，成功率越高则说明跟踪效果越好。重叠率阈值的取值范围为0-1，以OS为横轴，OP为纵轴，可以绘制出一条曲线，即成功率图(Success Plot)，一般取阈值为0.5时的值作为该算法的成功率。

使用一次通过成功率（one-pass evaluation，OPE)来统计距离精度和成功率指标，即只在初始化第一帧时给定目标位置和尺寸信息，然后运行跟踪算法，若跟踪失败则不会再次初始化算法，这也最符合实际应用场景。

所有算法的整体精确度和成功率的对比结果如图1所示，由于算法采用了特征降维，特征性能必然会下降，可以看到，与staple算法比较，相比改进前的算法整体性能略有下降，但由于同时采用三角插值方法提高了响应图精度，本文算法在跟踪精确度上只降低了1.34%，成功率只降低了0.96%，本文算法性能与其它算法相比均有较好的表现，由于增加了颜色概率直方图特征，且在响应图层面融合，减弱了Fhog特征和颜色特征间的相互干扰，特征性能更强，相比直接将每个通道的响应简单加在一起的SAMF算法和采用单一特征的DSST算法，本文算法整体性能更好。

图1 综合评价指标对比图

Fig. 1 Comprehensive evaluation index comparison

在目标被遮挡场景中，如图2所示，由于增加了遮挡处理环节，在遮挡评价指标中，与staple算法比较，本文改进算法在跟踪精确度上提高了3.02%，成功率提高了3.35%。相比DSST算法，在跟踪精确度上提高了20.91%，成功率提高了18.9%。

图2 遮挡评价指标对比图

Fig. 2 Comparison chart of occlusion evaluation index

为了能更直观的展示本文算法对遮挡情形的处理能力，以OTB数据集中视频序列“Box”为例，图3展示了各算法在不同图像帧的跟踪结果，图中的第一列为第一帧，用一个矩形框标出了目标的初始位置和尺寸大小，其他三列则是视频序列后续图像帧的跟踪结果。目标的位置和尺寸用矩形框标出，不同的颜色表示各种算法的跟踪结果。

图3 Box序列的跟踪结果

Figure 3 The tracking results of sequence Box

可以看到，从第一帧到470帧，由于目标物与背景颜色纹理等特征差距较大，所以各算法都能准确跟踪目标，但是从470帧开始，目标逐渐受到遮挡，由于目标运动速度很小，在相邻帧中距离很近，所以各算法的预测位置离实际位置较近，能够勉强跟踪目标。在485帧时，此时目标已经逐渐脱离遮挡物，但是除了本文算法Ours之外，其余算法由于模型更新不断地添加错误信息，同时没有遮挡处理环节，已经逐渐远离实际位置。在493帧时，只有Ours能够准确跟踪目标，其余算法跟踪失败。因此本文提出的遮挡处理方法能够有效的应对遮挡场景。

同时，尽管本文算法整体性能略有下降，但是如表1所示，横向对比算法速度，本文改进算法平均速度为71.6，其处理速度完全能够满足实时性要求。

表1 平均每秒处理的帧数比较

Tab. 1 Comparison of average frames per second

Ours	DSST	BACF	Staple	fDSST	SAMF
71.6	16.8	32.5	66.8	39.5	9.6

结论

本文给出了基于Staple算法的改进算法。改进算法对平移滤波器和尺度更新模型环节进行特征降维，从而提高运行速度。在目标被判定为未遮挡时，用快速尺度估计算法对跟踪目标进行尺度变换，当检测目标受到遮挡时，停止对目标的尺度估计并同时停止对平移滤波器模型的更新，以保证错误信息不会添加到模型中。利用目标未被遮挡前的位置信息，利用最小二乘法预测并修正目标位置。在OTB50数据集上对改进算法进行验证，实验现象表明较Staple和一些其他常见算法，在提高速度的同时，改进算法在整体性能只有略微下降，同时在抗遮挡方面有较大改善，跟踪效果有显著提高。

[参考文献] (References)

[1] Bolme D S, Beveridge J R, Draper B A, et al, editor. Visual object tracking using adaptive correlation filters[A]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]. 2010. 2544-2550.
[2] Henriques J F, Rui C, Martins P, et al, editor. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[A]. European conference on computer vision[C]. Springer, Berlin, Heidelberg, 2012. 702-715.
[3] LI Yang, ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[A]. Proceedings of European Conference on Computer Vision[C]. Zurich, Switzerland, 2014. 254-265.
[4] Danelljan M, Häger G, Khan F, et al. Accurate scale estimation for robust visual tracking [A]. British Machine Vision Conference[C]. Nottingham, September 1-5, 2014. BMVA Press, 2014.
[5] Kiani Galoogahi H, Fagg A, Lucey S. Learning background-aware correlation filters for visual tracking[A]. Proceedings of the IEEE international conference on computer vision[C]. 2017. 1135-1143.
[6] Ma C, Yang X K, Zhang C Y, et al. Long-term correlation tracking[A]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition[C]. Boston, MA, USA：IEEE, 2015. 5388-5396.
[7] Cai C, Liang X, Wang B, et al. A Target Tracking MethodBased on KCF for Omnidirectional Vision[A]. 第37届中国控制会议论文集[C]. 2018: 962-967.
[8] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[A]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition[C]. Las Vegas, USA, 2016. 1401-1409.
[9] Felzenszwalb P F , Girshick R B , Mcallester D ,et al. Object Detection with Discriminatively Trained Part-Based Models[J]. IEEE Transactions on Software Engineering, 2010, 32(9): 1627-1645.
[10] Danelljan, Martin, Hger, et al, Discriminative Scale Space Tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 39(8): 1561-1575.
[11] Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg et al. Adaptive Color Attributes for Real-Time Visual Tracking[A]. Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition[C]. Columbus, OH, USA: IEEE, 2014. 1090-1097.
[12] Wang M, Liu Y, Huang Z. Large margin object tracking with circulant feature maps[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. 2017. 4021-4029.
[13] Kalal Z , Mikolajczyk K , Matas J . Tracking-learning-detection[J]. IEEE Transactions on Software Engineering, 2011, 34(7): 1409-1422..
[14] 陈志旺,王航,刘旺,宋娟,彭勇. 抗遮挡与尺度自适应的改进KCF跟踪算法研究[OL]. [2020-03-20].https://doi.org/10.13195/j.kzyjc.2019.0394.
[15] WU Yi, LIM J, YANG M H. Online object tracking: a benchmark[A]. Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition[C]. Portland, USA, 2013. 2411-2418.

作者简介：廖强（1963—），男，教授、博导，主要研究方向：机电一体化. E-mail: lq922@163.com