一种目标跟踪抗遮挡的方法及装置制造方法及图纸

本发明专利技术涉及一种目标跟踪抗遮挡的方法及装置，用于解决有遮挡情况下的目标跟踪。本发明专利技术首先选定图像序列中的跟踪目标；其次利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪；然后提取跟踪目标特征并根据所述跟踪目标的特征向量计算跟踪置信度；最后根据跟踪置信度判断是否存在遮挡，若无遮挡则直接输出跟踪结果，否则进行目标轨迹预测，然后输出跟踪结果。本发明专利技术方法可以快速简单进行跟踪效果评价，易于实现并保证实时性要求。所使用的工程化实现算法与人工特征提取方法相比，识别准确率更高。通过抗遮挡算法可以有效解决跟踪目标丢失或被遮挡的情况。

An anti occlusion method and device for target tracking

【技术实现步骤摘要】
一种目标跟踪抗遮挡的方法及装置
本专利技术涉及图像目标跟踪
，具体涉及一种目标跟踪抗遮挡的方法及装置对感兴趣目标进行持续跟踪时，会出现遮挡等情况，使得跟踪目标丢失。
技术介绍
目标视觉跟踪是与许多现实应用相关的重要问题，包括视频监控、自主车辆导航、人机交互等。跟踪的过程一般是在给定视频初始帧中选定目标对象，并获取目标的初始状态(如位置和大小)，在后续帧中自动估计移动对象的状态。基于多层网络的卷积神经网络，可以在有效提取不同层次的特征，相比传统的图像处理算法，在目标检测与分类上有着极大的泛化能力和准确程度。而将卷积神经网络应用在视觉目标跟踪上，可以有效提取不同类型目标不同层次特征，并结合相关滤波作为判别式，进行快速准确的视觉跟踪。尽管视觉跟踪已经研究了几十年，但由于部分遮挡、快速和突然的物体运动、照明变化以及视点和姿势的大变化等各种因素，目标跟踪仍然是一个具有挑战性的问题。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种解决跟踪目标遮挡情况下的方法。本方法采用全卷积孪生网络，对输入图像序列或者视频中目标进行持续快速跟踪，设计了一种新的检测机制，基于快速高效的跟踪置信度参数，来判断跟踪的目标是否被遮挡，从而决定是否更新模板。如果出现遮挡并不断预测物体运动轨迹，并不断纠正。在输入的视频中第一帧选定需要跟踪的目标。将该帧与后续帧输入全卷积孪生网络，提取跟踪目标的特征，两个卷积神经网络共享权值。提取输入图像对中目标回归模型，然后通过相关滤波方法，筛选相关度强的图谱，在频域中进行计算完成目标跟踪。通过跟踪置信度参数T判断跟踪过程是否出现遮挡等异常情况，并不断刷新计算跟踪置信度指标参数T。本专利技术解决上述技术问题的技术方案如下：第一方面，本专利技术提供一种目标跟踪抗遮挡的方法，包括以下步骤：获取图像序列并选定跟踪目标；利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪；提取跟踪目标特征并根据所述跟踪目标的特征向量计算跟踪置信度；根据跟踪置信度判断是否存在遮挡，若无遮挡则直接输出跟踪结果，否则进行目标轨迹预测，然后输出跟踪结果。进一步的，所述的跟踪目标的选定方法包括人为选择矩形区域框选跟踪目标或利用运动物体检测算法自动选取跟踪目标。进一步的，所述的利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪，包括：选择相邻两帧分别作为全卷积非对称孪生网络的两个分支的输入；其中前一帧x'为模板图片，下一帧图像z'为测试图片，对应目标物搜索图像，用于在矩形区域内利用滑动窗口进行搜索；在所述全卷积非对称孪生网络的其中一个分支网络后加入相关滤波，对所述全卷积非对称孪生网络的两个分支做互相关；构建空间映射用于表达相邻两帧的互相关结果，特征映射中的最大值及为目标位置。进一步的，所述全卷积非对称孪生网络为将对称的孪生网络中的其中一个分支增加可微分层，所述可微分层用于实现相关滤波及裁剪。进一步的，所述的孪生网络包括两个学习参数为ρ的卷积神经网络CNN分支，所述卷积神经网络CNN由依次连接的卷积层、归一化层、非线性激活层、池化层、卷积层、归一化层、非线性激活层、池化层、卷积层、非线性激活、卷积层、非线性激活、卷积层、非线性激活构成，所述池化层采用max-pooling，除最后一卷积层外，其他卷积层后均连接有一个ReLU非线性激活层。进一步的，所述的提取跟踪目标特征并根据所述跟踪目标的特征向量计算跟踪置信度，包括：计算跟踪目标矩形框中每个像素位置的梯度方向值；将图像划分为多个元胞，每个元胞为6×6个像素，然后每2×2的元胞构成一个模块；根据像素位置的梯度方向值计算元胞的特征向量，然后根据所述元胞的特征向量计算每个模块的特征向量；串联所有所述模块的特征向量构成图像的特征向量；将预设时间片段内所有图像中的目标特征向量组成一个一维向量，计算该一维向量的峭度和方差，并根据所述峭度和方差计算位置置信度。进一步的，所述的目标轨迹预测，包括：假设tn时刻出现遮挡，则将前两个时刻tn-2和tn-1的帧图像作为参考，计算每帧图像上跟踪目标的运动方向矢量；利用所述运动方向矢量构建线性方程，并根据所述线性方程设计损失代价函数，当所述代价函数达到最小情况，则认为实际值与预测值最接近；将所述代价函数达到最小情况时的线性方程映射到图像中，确定相应像素位置。第二方面，本专利技术提供一种目标跟踪抗遮挡的装置，包括：视频帧获取模块，用于获取图像序列并选定跟踪目标；位置跟踪模块，利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪；跟踪置信度计算模块，用于提取跟踪目标特征并根据所述跟踪目标的特征向量计算跟踪置信度；跟踪结果输出模块，用于根据跟踪置信度判断是否存在遮挡，若无遮挡则直接输出跟踪结果，否则进行目标轨迹预测，然后输出跟踪结果。第三方面，本专利技术提供一种电子设备，包括：存储器，用于存储计算机软件程序；处理器，用于读取并执行所述存储器中存储的计算机软件程序，并实现本专利技术第一方面所述的一种目标跟踪抗遮挡的方法。第四方面，本专利技术提供一种非暂态计算机可读存储介质，所述存储介质内存储有用于实现本专利技术第一方面所述的一种目标跟踪抗遮挡的方法的计算机软件程序。本专利技术的有益效果是：本专利技术设计了一种新的检测机制即跟踪置信度参数，在跟踪过程中不断评估跟踪效果来判断目标是否被遮挡或丢失。采用了卷积孪生网络方法，提取跟踪目标的不同层次特征，并结合相关滤波作为判据，实现快速准确的跟踪。当目标被遮挡或丢失后，通过抗遮挡算法，不断更新运动轨迹方程，预测目标位置。与当前的工程化方法相比，本专利技术方法可以快速简单进行跟踪效果评价，易于实现并保证实时性要求。所使用的工程化实现算法与人工特征提取方法相比，识别准确率更高。通过抗遮挡算法可以有效解决跟踪目标丢失或被遮挡的情况。附图说明图1为本专利技术实施例提供的一种目标跟踪抗遮挡的方法流程图；图2为本专利技术实施例提供的一种目标跟踪抗遮挡的装置结构图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例一本专利技术实施例提出一种解决跟踪目标遮挡情况下的方法。本方法采用全卷积孪生网络，对输入图像序列或者视频中目标进行持续快速跟踪，设计了一种新的检测机制，基于快速高效的跟踪置信度参数，来判断跟踪的目标是否被遮挡，从而决定是否更新模板。如果出现遮挡并不断预测物体运动轨迹，并不断纠正。在输入的视频中第一帧选定需要跟踪的目标。将该帧与后续帧输入全卷积孪生网络，提取跟踪目标的特征，两个卷积神经网络共享权值。提取输入图像对中目标回归模型，然后通过相关滤波方法，筛选相关度强的图谱，在频域中进行计算完成目标跟踪。通过跟踪置信度本文档来自技高网...

【技术保护点】
1.一种目标跟踪抗遮挡的方法，其特征在于，包括以下步骤：/n获取图像序列并选定跟踪目标；/n利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪；/n提取跟踪目标特征并根据所述跟踪目标的特征向量计算跟踪置信度；/n根据跟踪置信度判断是否存在遮挡，若无遮挡则直接输出跟踪结果，否则进行目标轨迹预测，然后输出跟踪结果。/n

【技术特征摘要】
1.一种目标跟踪抗遮挡的方法，其特征在于，包括以下步骤：
获取图像序列并选定跟踪目标；
利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪；
提取跟踪目标特征并根据所述跟踪目标的特征向量计算跟踪置信度；
根据跟踪置信度判断是否存在遮挡，若无遮挡则直接输出跟踪结果，否则进行目标轨迹预测，然后输出跟踪结果。


2.根据权利要求1所述的方法，其特征在于，所述的跟踪目标的选定方法包括人为选择矩形区域框选跟踪目标或利用运动物体检测算法自动选取跟踪目标。


3.根据权利要求1所述的方法，其特征在于，所述的利用卷积神经网络对图像序列中前后相邻两帧图像中的所述跟踪目标进行位置跟踪，包括：
选择相邻两帧分别作为全卷积非对称孪生网络的两个分支的输入；其中前一帧x'为模板图片，下一帧图像z'为测试图片，对应目标物搜索图像，用于在矩形区域内利用滑动窗口进行搜索；
在所述全卷积非对称孪生网络的其中一个分支网络后加入相关滤波，对所述全卷积非对称孪生网络的两个分支做互相关；
构建空间映射用于表达相邻两帧的互相关结果，特征映射中的最大值及为目标位置。


4.根据权利要求3所述的方法，其特征在于，所述全卷积非对称孪生网络为将对称的孪生网络中的其中一个分支增加可微分层，所述可微分层用于实现相关滤波及裁剪。


5.根据权利要求3或4所述的方法，其特征在于，所述的孪生网络包括两个学习参数为ρ的卷积神经网络CNN分支，所述卷积神经网络CNN由依次连接的卷积层、归一化层、非线性激活层、池化层、卷积层、归一化层、非线性激活层、池化层、卷积层、非线性激活、卷积层、非线性激活、卷积层、非线性激活构成，所述池化层采用max-pooling，除最后一卷积层外，其他卷积层后均连接有一个ReLU非线性激活层。


6.根据权利要求1所述的方法，其特征在于，所述的提取跟踪目标特征并根据所述...

【专利技术属性】
技术研发人员：范强，张智杰，徐寅，孙刚波，王洪，
申请(专利权)人：中国船舶重工集团公司第七一七研究所，
类型：发明
国别省市：湖北;42