一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备制造方法及图纸

本发明专利技术属于图像处理技术领域，尤其为一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备，首先获取一幅包含待跟踪目标物体的图像作为模板帧，以及获取需要进行目标物体跟踪的图像序列，然后通过去烟雾与清晰化模块得到模板帧和图像序列中各图像帧对应的高分辨率清晰化图像，再通过目标物体跟踪模块在图像序列的各高分辨率清晰化图像中得到与模板帧对应的高分辨率清晰化图像中目标物体相匹配的目标物体的位置坐标，实现了在存在烟雾干扰及分辨率低情况下，在图像序列中对目标物体的跟踪。中对目标物体的跟踪。中对目标物体的跟踪。

【技术实现步骤摘要】
一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备


[0001]本专利技术属于图像处理
，具体涉及一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法。

技术介绍

[0002]在野外复杂自然场景下，基于视觉的特定运动目标跟踪任务受如下因素限制：(1)烟雾干扰；(2)低成本成像设备的图像分辨率不足，且拍摄运动目标容易导致目标在图像上模糊；(3)目标物体尺度范围较大。其中，前两个因素导致图像或视频中目标物体模糊不清难以分辨，第三个因素对踪算法在多尺度物体的自适应检测与跟踪方面造成困难。

技术实现思路

[0003]本专利技术旨在提供一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备，解决现有技术中复杂场景下的低分辨率图像中特定目标物体跟踪困难的技术问题。
[0004]为解决上述技术问题，本专利技术的第一方面是：
[0005]提供一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，包括：
[0006]获取一幅包含待跟踪目标物体的图像作为模板帧；
[0007]通过去烟雾与清晰化模块得到所述模板帧对应的第一高分辨率清晰化图像；
[0008]在所述第一高分辨率清晰化图像中指定目标物体；
[0009]获取需要进行目标物体跟踪的图像序列，通过去烟雾与清晰化模块得到所述图像序列中各图像帧对应的第二高分辨率清晰化图像；
[0010]通过目标物体跟踪模块在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标。
[0011]优选的，所述通过去烟雾与清晰化模块得到所述模板帧对应的第一高分辨率清晰化图像包括：
[0012]通过两个子网络的级联实现两个子任务，所述两个子网络分别为第一子网络和第二子网络，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰，所述第二子网络通过编码器
‑
解码器网络结构实现低分辨率图像的清晰化，最终得到所述第一高分辨率清晰化图像。
[0013]优选的，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰包括：
[0014]设所述第一子网络为G1，所述模板帧为被烟雾污染的低分辨率图像I
LR，0
，使用深度卷积网络模型对图像I
LR，0
进行多次上采样和下采样，提取图像特征获得特征图；
[0015]对获取的所述特征图进行融合，抓取图像I
LR，0
的局部和全局特征，融合后得到特征图f1。
[0016]优选的，所述去烟雾与清晰化模块在训练过程中，获取包含有待跟踪目标物体且没有烟雾干扰的真实图像作为第一对比图像，并对融合后得到的特征图f1进行卷积操作得到中间预测特征图通过第一损失函数计算所述中间预测特征图与所述第一对比图像的差异程度。
[0017]优选的，所述去烟雾与清晰化模块在训练过程中，引入第一判别器D1，通过所述第一判别器D1判断所述第一子网络G1输出的图像是生成的没有烟雾干扰的图像，还是真实的没有烟雾干扰的图像，并通过对抗损失的形式驱动所述第一子网络生成更加逼真的图像。
[0018]优选的，所述第二子网络通过编码器
‑
解码器网络结构实现低分辨率图像的清晰化包括：
[0019]设所述第二子网络为G2，将经所述第一子网络处理后的特征图进行上采样，得到与对应于所述第一高分辨率清晰化图像尺寸一致的特征图f2；
[0020]然后使用编码器
‑
解码器网络结构对特征图f2进行进一步编码并解码获取所述第一高分辨率清晰化图像。
[0021]优选的，所述去烟雾与清晰化模块在训练过程中，获取包含有待跟踪目标物体的高分辨率清晰的真实图像作为第二对比图像，并对所述第一高分辨率清晰化图像进行卷积操作得到预测高分辨率图像通过第二损失函数计算所述预测高分辨率图像与所述第二对比图像的差异程度。
[0022]优选的，所述去烟雾与清晰化模块在训练过程中，引入第二判别器D2，通过所述第一判别器D2判断所述第二子网络G2输出的图像是生成的高分辨率清晰图像，还是真实的高分辨率清晰图像，并通过对抗损失的形式驱动所述第二子网络生成更加逼真的图像。
[0023]优选的，所述通过目标物体跟踪模块在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标包括：
[0024]设在所述第一高分辨率清晰化图像中指定的目标物体为目标物体模板Z，设当前所述第二高分辨率清晰化图像为待跟踪图像X；
[0025]所述目标物体跟踪模块使用轻量级网络模型作为主干网提取所述目标物体模板Z和待跟踪图像X的图像特征；
[0026]所述目标物体跟踪模块使用多尺度特征融合单元融合从所述目标物体模板Z和待跟踪图像X提取的不同尺度的图像特征；
[0027]所述目标物体跟踪模块使用交叉注意力融合单元通过单分支结构隐式地计算所述目标物体模板Z和待跟踪图像X的相关性，从而检测待跟踪图像X中目标物体的位置。
[0028]优选的，所述目标物体跟踪模块使用多尺度特征融合单元融合从所述目标物体模板Z和待跟踪图像X提取的不同尺度的图像特征包括：
[0029]所述多尺度特征融合单元将输入的图像特征分为n组，并经过n组不同深度的可分离卷积网络，学习n个尺度的图像特征，然后通过张量拼接方式恢复图像特征维度，再使用一个n*n的卷积核将n组多尺度特征进行融合，并输入给所述交叉注意力融合单元。
[0030]优选的，所述目标物体跟踪模块使用交叉注意力融合单元通过单分支结构隐式地计算所述目标物体模板Z和待跟踪图像X的相关性包括：
[0031]所述目标物体模板Z的图像特征经所述多尺度特征融合单元后获取目标物体模板特征图Z
l
，所述待跟踪图像X的图像特征经所述多尺度特征融合单元后获取待跟踪图像特
征图X
l
；
[0032]所述交叉注意力融合单元对从相应的多尺度特征融合单元传来的目标物体模板特征图Z
l
和待跟踪图像特征图X
l
进行融合，隐式地获得所述待跟踪图像特征图X
l
中每一像素位置与所述目标物体模板特征图Z
l
的相关性。
[0033]优选的，所述目标物体跟踪模块使用两个检测分支进行预测，这两个检测分支分别为第一检测分支和第二检测分支所述第一检测分支用于输出所述待跟踪图像X中每个像素位置包含目标物体的概率，所述第二检测分支用于输出在所述待跟踪图像X检测出的目标物体尺寸。
[0034]优选的，所述目标物体跟踪模块在训练过程中，引入第三损失函数和第四损失函数监督训练，通过第三损失函数和第四损失函数分别计算所述第一检测分支和第二检测分支输出结果与真实结果的差异程度。
[0035]优选的，所述获取一幅包含待跟踪目标物体的图像是使用低分辨率相机拍摄；所述图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，其特征在于，包括：获取一幅包含待跟踪目标物体的图像作为模板帧；通过去烟雾与清晰化模块得到所述模板帧对应的第一高分辨率清晰化图像；在所述第一高分辨率清晰化图像中指定目标物体；获取需要进行目标物体跟踪的图像序列，通过去烟雾与清晰化模块得到所述图像序列中各图像帧对应的第二高分辨率清晰化图像；通过目标物体跟踪模块在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标。2.根据权利要求1所述的复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，其特征在于，所述通过去烟雾与清晰化模块得到所述模板帧对应的第一高分辨率清晰化图像包括：通过两个子网络的级联实现两个子任务，所述两个子网络分别为第一子网络和第二子网络，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰，所述第二子网络通过编码器
‑
解码器网络结构实现低分辨率图像的清晰化，最终得到所述第一高分辨率清晰化图像。3.根据权利要求2所述的复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，其特征在于，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰包括：设所述第一子网络为G1，所述模板帧为被烟雾污染的低分辨率图像I
LR，0
，使用深度卷积网络模型对图像I
LR，0
进行多次上采样和下采样，提取图像特征获得特征图；对获取的所述特征图进行融合，抓取图像I
LR，0
的局部和全局特征，融合后得到特征图f1；所述去烟雾与清晰化模块在训练过程中，获取包含有待跟踪目标物体且没有烟雾干扰的真实图像作为第一对比图像，并对融合后得到的特征图f1进行卷积操作得到中间预测特征图通过第一损失函数计算所述中间预测特征图与所述第一对比图像的差异程度；所述去烟雾与清晰化模块在训练过程中，引入第一判别器D1，通过所述第一判别器D1判断所述第一子网络G1输出的图像是生成的没有烟雾干扰的图像，还是真实的没有烟雾干扰的图像，并通过对抗损失的形式驱动所述第一子网络生成更加逼真的图像。4.根据权利要求2所述的复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，其特征在于，所述第二子网络通过编码器
‑
解码器网络结构实现低分辨率图像的清晰化包括：设所述第二子网络为G2，将经所述第一子网络处理后的特征图进行上采样，得到与对应于所述第一高分辨率清晰化图像尺寸一致的特征图f2；然后使用编码器
‑
解码器网络结构对特征图f2进行进一步编码并解码获取所述第一高分辨率清晰化图像；所述去烟雾与清晰化模块在训练过程中，获取包含有待跟踪目标物体的高分辨率清晰的真实图像作为第二对比图像，并对所述第一高分辨率清晰化图像进行卷积操作得到预测高分辨率图像通过第二损失函数计算所述预测高分辨率图像与所述第二对比图像的差异程度；
所述去烟雾与清晰化模块在训练过程中，引入第二判别器D2，通过所述第一判别器D2判断所述第二子网络G2输出的图像是生成的高分辨率清晰图像，还是真实的高分辨率清晰图像，并通过对抗损失的形式驱动所述第二子网络生成更加逼真的图像。5.根据权利要求1所述的复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，其特征在于，所述通过目标物体跟踪模块在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标包括：设在所述第一高分辨率清晰化图像中指定的目标物体为目标物体模板Z，设当前所述第二高分辨率清晰化图像为待跟踪图像X；所述目标物体跟踪模块使用轻量级网络模型作为主干网提取所述目标物体模板Z和待跟踪图像X的图像特征；所述目标物体跟踪模块使用多尺度特征融合单元融合从所述目标物体模板Z和待跟踪图像X提取的不同尺度的图像特征；所述目标物体跟踪模块使用交叉注意力融合单元通过单分支结...

【专利技术属性】
技术研发人员：刘通，
申请(专利权)人：刘通，
类型：发明
国别省市：