一种基于运动特征和相似度特征的抗遮挡跟踪算法制造技术

本发明专利技术涉及抗遮挡跟踪技术领域，且公开了一种基于运动特征和相似度特征的抗遮挡跟踪算法，包括以下步骤：A、Target‑目标图像：目标检测结果，不含多余背景区域，每帧都更新目标图像；B、Search region‑搜索区域。该基于运动特征和相似度特征的抗遮挡跟踪算法，该算法具备极高的遮挡鲁棒性，目标处于完全遮挡状态下，首先可以根据相似度信息筛除掉大部分的遮挡物，之后可以根据目标的运动朝向将不同运动轨迹的干扰筛除掉，再根据目标的运动速度信息可以筛除掉相同运动轨迹但是不同运动频率的遮挡目标，最后根据自身的运动信息预测出在当前帧中的位置，直到越过遮挡物之后再次使用相似度匹配出目标位置。

An anti occlusion tracking algorithm based on motion feature and similarity feature

The invention relates to the field of anti occlusion tracking technology, and discloses an anti occlusion tracking algorithm based on motion feature and similarity feature, which includes the following steps: A. target \u2011 target image: target detection result, without redundant background area, updating target image every frame; B. search region \u2011 search area. This anti occlusion tracking algorithm based on motion feature and similarity feature has high occlusion robustness. When the target is completely occluded, most of the occlusions can be filtered out first according to similarity information, then the interference of different motion tracks can be filtered out according to the target's motion direction, and then the same can be filtered out according to the target's motion speed information Finally, the position in the current frame is predicted according to the motion information of the object. After passing the object, the similarity is used to match the target position again.

【技术实现步骤摘要】
一种基于运动特征和相似度特征的抗遮挡跟踪算法
本专利技术涉及抗遮挡跟踪
，具体为一种基于运动特征和相似度特征的抗遮挡跟踪算法。
技术介绍
现有的跟踪算法大致分为两类，一种是基于深度特征信息进行相似度匹配的方式，另一种是基于运动信息进行目标位置的预测，目前跟踪准确性较好的跟踪算法都是利用深度学习特征进行相似度匹配实现的，例如现在效果最好的SiamRPN系列，包括SiamRPN、DaSiamRPN、SiamRPN++，这些网络都是采取Siamnet孪生网络结构，即分别提取目标和搜索区域的深度学习特征，找到搜索区域中与目标的匹配相似度最高的位置作为跟踪结果，还有一种基于运动信息预测的跟踪算法，其中最有代表性的就是kalman滤波，没有做特征提取操作，而是通过对目标的运动状态做出目标下一个出现位置的预测，并不断累积该目标的运动信息，提高预测精度，这种预测是在下一帧出现之前就可以计算出的结果了，即没有用到目标自身的特征。基于上述两种跟踪算法搭建思路，不难看出基于相似度匹配方式的跟踪算法准确性高，但是依赖当前帧中该目标出现的完整性，在目标被遮挡的情况下，当前帧中失去了目标的特征，该类跟踪算法就会失效，需要等待目标从新出现之后再次提取目标特征，这种情况即目标跟丢了，由于只用到目标的图像特征，因此在训练时不需要使用视频序列作为训练集，而是使用检测样本作为网络输入，检测样本中的目标作为一个网络分支，检测样本作为待搜索区域，匹配相似度最高的位置作为跟踪结果，这种训练方式也导致了该网络只利用了图像的静态特征，没有使用目标的运动序列特征，而只使用目标运动状态信息的kalman的准确性很差，因为只是一种运动状态的预测，并没有提取目标自身图像特征，所以在光照、遮挡等外因干扰下跟踪不稳定，而且目标形变时的跟踪输出框包含过多背景，即跟踪框定位不准。
技术实现思路
本专利技术提供了一种基于运动特征和相似度特征的抗遮挡跟踪算法，具备极高的遮挡鲁棒性，单独使用相似度特征做跟踪准确性高的优点，解决了以上
技术介绍
中提到的问题。本专利技术提供如下技术方案：一种基于运动特征和相似度特征的抗遮挡跟踪算法，包括以下步骤：A、Target-目标图像：目标检测结果，不含多余背景区域，每帧都更新目标图像；B、Searchregion-搜索区域：是上一帧目标位置的外扩图，一般是长宽各外扩一倍，用上一帧中目标位置定位到当前帧中，并将宽高各外扩一倍得到的图像区域；C、SiamRPNnet-孪生网络：对目标图像和搜索区域分别通过卷积神经网络(CNN)进行特征提取，再从搜索区域中生成候选区域，最后匹配目标图像特征和这些候选区域，输出与每个候选区域的匹配度值以及对应的区域位置；D、Pose-stage1：经过SiamRPN_net输出目标位置，这个是只用相似度特征预测出的目标位置，不是最终输出结果，还需要加上运动特征进行预测；E、dx，dy，w，h：将通过相似度特征预测出来的结果分为两部分，一个是目标相对上一帧中位置移动距离dx，dy，另一个是目标当前帧中预测出来的宽w和高h；F、LSTM-长短期记忆网络：LSTM是一种循环神经网络，对于输入信息有选择的保留一部分在网络内，LSTM的输出是当前的输入以及之前多帧信息共同作用的结果，第一个分支中输入是dx，dy即目标的运动位移信息，通过目标位移信息的积累可以获取目标的运动速度信息，由于目标在相邻帧的位移较小，因此可以视为目标做匀加速运动；G、target_toward-目标朝向：这个分支是直接从target单独训练一个分支，target是每帧都更新，创建一个预测目标朝向的分支，代入CNN网络提取最终的语义信息；H、pose_stage2：经过一个CNN网络，从输入的目标运动速度、目标形状、目标运动朝向三个信息中，提取抽象的语义信息，最终输出目标在当前帧的预测位置。优选的，所述步骤B中通过匹配搜索区域内各种位置和形状的图像区域，找到和target匹配度最高的位置作为跟踪位置。优选的，所述步骤C中SiamRPN_net-孪生网络中target(目标图像)和search_region(搜索区域)分别代入CNN(卷积神经网络)进行深度特征提取，输出的特征维度依次是：宽*高*特征图数量，输出特征分别代入四个conv(卷积层)，输出特征维度依次是：宽*高*特征图数量，其中k是指候选框数量，候选框即搜索区域上的一系列位置、形状的区域，再次输入conv，第一个分支表示的是对全部候选区域匹配之后的得分，第二个分支对应的是候选区域的位置。优选的，所述步骤F中的运动公式如下：S＝[V0+(Vt-V0)/2]*T，其中，已知量：S就是位移，V0是起始速度，T是时间未知量：Vt当前速度，第一个分支最终输出目标的运动速度，代入CNN网络提取最终的语义信息，第二个分支输入目标的宽和高，通过LSTM有选择的保留目标整个序列中的宽高信息，可以预测目标的当前形状，不会发生突然的形变，即跟踪位置错误的情况，网络会根据积累的形状信息给出合理的目标宽高值，第二个分支最终输出目标的形状，代入CNN网络提取最终的语义信息。本专利技术具备以下有益效果：1、该基于运动特征和相似度特征的抗遮挡跟踪算法，该算法具备极高的遮挡鲁棒性，目标处于完全遮挡状态下，首先可以根据相似度信息筛除掉大部分的遮挡物，之后可以根据目标的运动朝向将不同运动轨迹的干扰筛除掉，再根据目标的运动速度信息可以筛除掉相同运动轨迹但是不同运动频率的遮挡目标，最后根据自身的运动信息预测出在当前帧中的位置，直到越过遮挡物之后再次使用相似度匹配出目标位置。2、该基于运动特征和相似度特征的抗遮挡跟踪算法，同时结合目标的图像深度特征信息以及目标的运动信息，作为跟踪算法中目标的特征进行训练，使用LSTM网络结构获取目标速度特征，运动信息积累在网络中，使用视频序列作为跟踪网络的训练集(以往的跟踪算法都是使用检测样本集作为跟踪网络的训练集，没有目标序列走位训练因素)，是由LSTM网络结构获取目标的形变特征，防止出现预测跟踪框不稳定现象。附图说明图1为本专利技术基于运动特征和相似度特征的CNN+LSTM跟踪网络图；图2为本专利技术SiamRPN提取目标相似度特征和初步预测位置图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-2，一种基于运动特征和相似度特征的抗遮挡跟踪算法，1.包括以下步骤：A、Target-目标图像：目标检测结果，不含多余背景区域，每帧都更新目标图像；B、Searchregion-搜索区域：是上一帧目标位置的外扩图，一般是长宽各外扩一倍，用上一帧中目标位置定位到当前帧中，并将宽高各外扩一倍得到的图像区域，通过匹配搜索区域内各种位置和形状的图像区域，找到和target匹配度最高的位置作为跟踪位置；C、SiamRPNnet-孪生网络：对目标图像和搜索区域分别通过卷积神经网络(CNN)进行特征提取，再从搜索区域中生成候选区域，最后匹配目标图像特征和这些候选区域，输出与每个候选区域的匹配度本文档来自技高网...

【技术保护点】
1.一种基于运动特征和相似度特征的抗遮挡跟踪算法，其特征在于，包括以下步骤：A、Target‑目标图像：目标检测结果，不含多余背景区域，每帧都更新目标图像；B、Search region‑搜索区域：是上一帧目标位置的外扩图，一般是长宽各外扩一倍，用上一帧中目标位置定位到当前帧中，并将宽高各外扩一倍得到的图像区域；C、SiamRPN net‑孪生网络：对目标图像和搜索区域分别通过卷积神经网络(CNN)进行特征提取，再从搜索区域中生成候选区域，最后匹配目标图像特征和这些候选区域，输出与每个候选区域的匹配度值以及对应的区域位置；D、Pose‑stage1：经过SiamRPN_net输出目标位置，这个是只用相似度特征预测出的目标位置，不是最终输出结果，还需要加上运动特征进行预测；E、dx，dy，w，h：将通过相似度特征预测出来的结果分为两部分，一个是目标相对上一帧中位置移动距离dx，dy，另一个是目标当前帧中预测出来的宽w和高h；F、LSTM‑长短期记忆网络：LSTM是一种循环神经网络，对于输入信息有选择的保留一部分在网络内，LSTM的输出是当前的输入以及之前多帧信息共同作用的结果，第一个分支中输入是dx，dy即目标的运动位移信息，通过目标位移信息的积累可以获取目标的运动速度信息，由于目标在相邻帧的位移较小，因此可以视为目标做匀加速运动；G、target_toward‑目标朝向：这个分支是直接从target单独训练一个分支，target是每帧都更新，创建一个预测目标朝向的分支，代入CNN网络提取最终的语义信息；H、pose_stage2：经过一个CNN网络，从输入的目标运动速度、目标形状、目标运动朝向三个信息中，提取抽象的语义信息，最终输出目标在当前帧的预测位置。...

【技术特征摘要】
1.一种基于运动特征和相似度特征的抗遮挡跟踪算法，其特征在于，包括以下步骤：A、Target-目标图像：目标检测结果，不含多余背景区域，每帧都更新目标图像；B、Searchregion-搜索区域：是上一帧目标位置的外扩图，一般是长宽各外扩一倍，用上一帧中目标位置定位到当前帧中，并将宽高各外扩一倍得到的图像区域；C、SiamRPNnet-孪生网络：对目标图像和搜索区域分别通过卷积神经网络(CNN)进行特征提取，再从搜索区域中生成候选区域，最后匹配目标图像特征和这些候选区域，输出与每个候选区域的匹配度值以及对应的区域位置；D、Pose-stage1：经过SiamRPN_net输出目标位置，这个是只用相似度特征预测出的目标位置，不是最终输出结果，还需要加上运动特征进行预测；E、dx，dy，w，h：将通过相似度特征预测出来的结果分为两部分，一个是目标相对上一帧中位置移动距离dx，dy，另一个是目标当前帧中预测出来的宽w和高h；F、LSTM-长短期记忆网络：LSTM是一种循环神经网络，对于输入信息有选择的保留一部分在网络内，LSTM的输出是当前的输入以及之前多帧信息共同作用的结果，第一个分支中输入是dx，dy即目标的运动位移信息，通过目标位移信息的积累可以获取目标的运动速度信息，由于目标在相邻帧的位移较小，因此可以视为目标做匀加速运动；G、target_toward-目标朝向：这个分支是直接从target单独训练一个分支，target是每帧都更新，创建一个预测目标朝向的分支，代入CNN网络提取最终的语义信息；H、pose_s...

【专利技术属性】
技术研发人员：袁培江，王迪，郭金马，王轶，
申请(专利权)人：北京深醒科技有限公司，
类型：发明
国别省市：北京,11