【技术实现步骤摘要】
本专利技术涉及视频目标跟踪领域，具体说的是一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法。
技术介绍
1、作为视频目标跟踪的重要应用场景之一，雨中跟踪在智能交通、洪灾救援等民用领域和全气候作战、雨中军事侦察等军事领域中都发挥着关键作用。然而，当前大多数的跟踪算法都是基于理想天气的条件下所设计。在雨天这种动态天气下，成像设备捕获的场景图像往往质量下降严重，对比度和能见度显著降低，成像模糊，并且密集的雨纹会部分或完全遮蔽沿途目标物，造成关键信息缺失和全局特征分布浑沌，使得常规跟踪算法难以胜任雨天跟踪任务。
2、不同于传统视频序列上的跟踪，雨天视频序列中夹杂着突出的干扰信息，常规跟踪器无法准确地从混乱的背景中区分出跟踪目标，极易造成潜在的跟踪失准和跟踪漂移风险。雨视频帧低对比度和雨纹噪声污染的特点使其特征提取的有效性降低，较弱的特征信息不利于后续的匹配和定位，因此需要对获取到的雨图像进行清晰化处理。然而，在实际跟踪时并不是每一帧都需要进行清晰化，这取决于雨痕对跟踪目标的影响程度。当雨纹对目标的干扰不足以影响跟踪器进行正常跟踪时，并不需要进行耗时的清晰化处理且去雨会造成一定程度的信息损失，因此仅当成像设备所捕获雨图像的雨纹干扰度较高时，才需要采用清晰化处理来解决由对比度低和雨纹噪声干扰严重引起的跟踪漂移问题。因此，高效的自适应去雨判别策略是优化跟踪效率的关键。
3、基于双分支深度卷积神经网络结构，孪生网络跟踪器具备强大的表征能力，能够有效地提取目标深层特征中蕴含的高层语义信息。通过将跟踪问题转化为一个模板
4、目前需要本领域技术人员迫切解决的一个技术问题是：在雨天天气中，面对雨纹噪声污染、对比度降低导致的图像退化以及雨天视频序列中目标外观不断变化这两大挑战，如何完成同时满足高精度和实时性的跟踪任务。
技术实现思路
1、针对现有技术的缺陷，本专利技术提供一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法(visual object tracking based on adaptive rain streaks removaland fused dynamic template matching，简写为siamdrs)。
2、为了达到上述目的，本专利技术所采用的技术方案是：一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，包括如下步骤：
3、s1、根据视频序列第一帧输入图片i1和真值边界框(x0,y0,w0,h0)裁剪出基础模板z1，根据后续帧输入图片ii裁剪出目标搜索区域xi,i∈[2,n]；
4、s2、将z1和xi送入离线预训练好的自适应雨纹去除网络进行清晰化处理，得到清晰的无雨模板图像z1free和目标搜索图像xifree；
5、s3、将z1free和xifree送入离线预训练好的孪生网络提取特征，得到特征φ(z1free)和φ(xifree)，然后对其执行深度互相关运算，得到多语义特征图ri；
6、s4、将降维的多语义特征图送入分类-回归子网络，得到分类特征响应图中心度特征响应图和回归特征响应图并综合这三个得到目标在当前帧中的预测边界框；
7、s5、根据响应图和搜索图像xi计算平均峰值相关能量值和雨纹干扰度，如果符合阈值要求，则根据跟踪结果从无雨搜索图像xifree中裁剪候选模板zifree并提取特征φ(zifree)，然后与初始模板φ(z1free)进行特征融合，并将得到的新模板特征φ(z)作为下一帧的搜索特征匹配对象，否则不做融合；
8、s6、若步骤s5计算的平均峰值相关能量值和雨纹干扰度处于一定阈值范围内，则采用步骤s5得到的新模板特征φ(z)替换步骤s3得到的φ(z1free)，否则继续采用φ(z1free)作跟踪模板。
9、进一步地，步骤s2中所述的自适应雨纹去除网络包括雨纹干扰度计算机制和图像去雨子网络两部分，其具体步骤为：
10、s2.1、计算模板雨图像z1和搜索雨图像xi的雨纹干扰度，通过用趋近目标周围的雨纹密度来近似干扰度，共包括两个密度计算环节；
11、将输入雨图像沿中心点裁剪至合适大小，使其尽量趋近于目标区域。然后使用均值滤波对中心裁剪后的雨图像进行第一次分离，得到只包含高频特征的粗二值图像m，这个过程可表示为：其中ic(i,j)为输入雨图像，f表示滤波核大小为(m,n)的中值滤波操作；
12、对粗二值图像m进行第一次密度计算，其中如果目标周围的雨纹密度低于阈值(0.03)则直接输出，反之进行后续第二次分离；
13、对于含有高频信息较多的粗二值图像，需要将同样高频的细节信息和雨线信息进一步分离。第二次分离过程为：先求出粗二值图像m中的所有连通域，遍历出每个连通域的所有特征值和特征向量。依据特征关系可以反映出连通区域中主成分形状及方向的性质，设置主成分分析条件过滤出只含有雨线信息的细化二值图像mr。判断条件为：其中λi为连通域矩阵的特征值，vmax(i,j)是绝对值最大的特征值所对应的特征向量坐标，t1，t2和分别为判定形状属性和方向属性的阈值；
14、对细化二值图像mr进行第二次密度计算，其中如果图像的雨纹干扰度低于阈值(0.10)则直接输出，反之进行步骤s2.2的图像清晰化处理。
15、s2.2、对于符合去雨条件的雨图像z1和xi，首先将其输入非锐化掩码通道进行数据预处理，雨纹信息更加突出的雨图像更利于实现精准去雨。数据增强的过程可以表示为：i*＝ir+β(ir-h(ir))，其中i和i*分别表示输入图像和增强后的图像，h是一个低通滤波器，β是控制锐化强度的权重系数；
16、将增强后的雨图像z1u和xiu送入类unet网络中进行雨纹去除和对比度增强，经过相应融合得到最终的干净图像z1free和xifree。这个过程可以表示为：式中表示逐像素滤波操作，k是多尺度去雨预测滤波核；
17、进一步地，步骤s3至s4中所述的孪生网络拥有模板分支和搜索分支两大分支，两大分支网络结构均采用resnet50，并且网络参数共享，其具体训练步骤为：
18、s4.1、使用coco、imagenet det、imagenet vid和youtube-bb数据集进行训练，根据标注信息，以目标为中心分别裁剪两帧图片到127×127和255×255尺寸，记为z和x，作为模板分支和搜索分支的输入；
19、s4.2、将从s4.1得到的z和x送入骨干网络resne本文档来自技高网...
【技术保护点】
1.一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S2中所述的自适应雨纹去除网络包括雨纹干扰度计算机制和图像去雨子网络两部分，其具体步骤为：
3.如权利要求2所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S2.1中的雨纹干扰度由趋近目标周围的雨纹密度所近似，共包括两个密度计算环节：第一次密度计算：对中心裁剪后的雨图像使用均值滤波进行初次分离，得到只包含高频特征的粗二值图像M，此时针对粗二值图像M进行密度测量，根据测量值判断是否进行细化分离处理；第二次密度计算：对含有高频信息较多的粗二值图像M进行第二次分离，依据所设定的筛选条件对M进行主成分分析，得到只含有雨线信息的细化二值图像Mr，此时针对Mr进行密度测量，根据测量值判断是否将输入的模板和搜索雨图像送入图像去雨子网络；其中，初次分离的过程可表示为：其中Ic(i,j)为输入雨图像，f表示滤波核大小为(m,n)的中值滤波操作；第二次分离中设定的筛选
4.如权利要求2所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S2.2中，对于符合去雨条件的雨图像Z1和Xi，设置非锐化掩码增强通道进行数据预处理，数据预处理的计算公式为：I*＝Ir+β(Ir-h(Ir))，式中Ir和I*分别表示输入图像和增强后的图像，h是一个低通滤波器，β是控制锐化强度的权重系数。
5.如权利要求2所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S2.3中，将增强后的雨图像Z1U和XiU送入类Unet网络中进行雨纹去除和对比度增强，经过相应融合得到最终的干净图像Z1free和Xifree，这个过程可以表示为：式中表示逐像素滤波操作，K是多尺度去雨预测滤波核，Ir和Io分别为输入图像和恢复后的干净图像。
6.如权利要求1所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S3至S4中所述的孪生网络拥有模板分支和搜索分支两大分支，两大分支网络结构均采用ResNet50，并且网络参数共享，其具体训练步骤为：
7.如权利要求1所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S5中平均峰值相关能量值是响应图波动程度的度量指标，能够反映出目标外观的变化性，我们将其作为候选模板获取策略的重要指标，计算式为：其中Fmax、Fmin和Fi,j分别表示响应图中的最大值、最小值和(i,j)处的值；该计算公式中分子反映的是当前响应图的可靠程度，分母反映的是响应图的平均波动程度，APCE值越小就表明响应图最大峰值越小或者响应图波峰越多，即目标被遮挡的程度越高，此时的目标特征质量越低。
8.如权利要求1所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S5中对φ(Z1free)和φ(Zifree)进行特征融合，融合方式为线性加权融合，具体公式为φ(Z)＝σφ(Z1free)+(1-σ)φ(Zifree)，其中α为加权系数，根据经验确定为0.75。
9.如权利要求1所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤S5中的平均峰值相关能量阈值和雨纹干扰度阈值根据经验分别被设置为35和0.10，如果当前帧的平均峰值相关能量值高于35且雨纹干扰度高于0.10，则认为当前帧中存在高质量的无雨历史特征，此时会进行模板获取并融合；反之，则不进行获取融合。
...【技术特征摘要】
1.一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤s2中所述的自适应雨纹去除网络包括雨纹干扰度计算机制和图像去雨子网络两部分，其具体步骤为：
3.如权利要求2所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤s2.1中的雨纹干扰度由趋近目标周围的雨纹密度所近似，共包括两个密度计算环节：第一次密度计算：对中心裁剪后的雨图像使用均值滤波进行初次分离，得到只包含高频特征的粗二值图像m，此时针对粗二值图像m进行密度测量，根据测量值判断是否进行细化分离处理；第二次密度计算：对含有高频信息较多的粗二值图像m进行第二次分离，依据所设定的筛选条件对m进行主成分分析，得到只含有雨线信息的细化二值图像mr，此时针对mr进行密度测量，根据测量值判断是否将输入的模板和搜索雨图像送入图像去雨子网络；其中，初次分离的过程可表示为：其中ic(i,j)为输入雨图像，f表示滤波核大小为(m,n)的中值滤波操作；第二次分离中设定的筛选条件为：其中λi为连通域矩阵的特征值，vmax(i,j)是绝对值最大的特征值所对应的特征向量坐标，t1，t2和分别为判定形状属性和方向属性的阈值。
4.如权利要求2所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤s2.2中，对于符合去雨条件的雨图像z1和xi，设置非锐化掩码增强通道进行数据预处理，数据预处理的计算公式为：i*＝ir+β(ir-h(ir))，式中ir和i*分别表示输入图像和增强后的图像，h是一个低通滤波器，β是控制锐化强度的权重系数。
5.如权利要求2所述的一种自适应雨纹去除和融合动态模板匹配的雨中目标跟踪方法，其特征在于，步骤s2.3中，将增强后的雨图像z1...
【专利技术属性】
技术研发人员：孙力帆，杨志超，王泳宁，许丽洋，李炳宇，王旭栋，张冬凯，张高远，冀保峰，司鹏举，陶发展，付主木，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。