基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法技术

本发明专利技术公开了一种基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法，以解决现有目标跟踪技术中网络参数多、计算量大以及正负训练样本不均衡等问题，属于计算机图像处理技术领域。该方法包括：利用第一特征提取网络提取已知目标位置的第一帧图像的目标特征图，利用第二特征提取网络提取第二帧图像的搜索特征图；根据所述目标特征图、搜索特征图计算第二帧图像的搜索区域与第一帧图像的目标区域之间的互相关性，得到第二帧图像的得分响应图，进而根据第二帧图像的得分响应图得到第二帧图像的目标位置；其中，所述第一特征提取网络、第二特征提取网络为孪生卷积网络的两个分支，且分别由轻量级卷积神经网络构成。

UAV Ground Target Tracking Method Based on twin network and central logic loss

【技术实现步骤摘要】
基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法
本专利技术属于计算机图像处理
，尤其是涉及一种基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法。
技术介绍
基于深度学习的视觉跟踪算法，例如图1所示的基于全卷积孪生网络的视觉跟踪算法，已被广大开发人员和用户接受和认可。该方法将第一帧提取的模板图像和每一帧提取出的搜索图像分别输入两个子网络提取高层语义特征，然后对高层语义特征进行互相关从而得到模板图像在搜索图像中每个位置的相似度。通常，两个子网络中的参数是共享的，可以利用训练数据离线学习得到。高级语义特征具有和目标类别相关的丰富语义特性，所以对由遮挡、畸变等造成的目标外观变化具有很强的鲁棒性，并且网络在追踪的过程中不需要更新，大大减少了算法的计算量，保证了算法的实时性。网络有两个输入：目标模板图像和搜索区域图像，两个输入通过共享参数的孪生神经网络的孪生子网进行特征提取。然而，此类方法主要面向通用的视觉跟踪任务，而无法满足计算和存储资源受限的无人机硬件平台。首先，卷积神经网络中存在大量的权值参数，保存大量权值参数对设备的内存要求很高。其次，无人机等嵌入式硬件平台的计算资源有限，因而难以实现卷积神经网络中高效、实时的卷积计算。同时，在实际跟踪的过程中，此类实现方式需要在搜索区域的每个位置上对目标进行密集检测。对于无人机航拍图像，搜索区域中一般包含很多的简单背景中的负样本(如图2中的区域3)、少数的困难负样本(如图2中的区域1)以及包含前景目标的正样本(如图2中的区域2)，而大量的简单背景负样本会导致训练样本不均衡，并主导网络的训练，从而导致模型退化。
技术实现思路
本专利技术旨在针对无人机硬件平台的特点，提供一种基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法，以解决现有目标跟踪技术中网络参数多、计算量大以及正负训练样本不均衡等问题。根据本专利技术的第一方面，一种无人机对地目标视觉跟踪模型的训练方法，所述跟踪模型为孪生卷积网络，该孪生卷积网络的两个分支分别为第一特征提取网络、第二特征提取网络，该训练方法包括：获取视频序列数据集，该数据集包括成对的模板图像和搜索图像；利用第一特征提取网络提取模板图像的目标特征图，利用第二特征提取网络提取搜索图像的搜索特征图；根据所述目标特征图、搜索特征图计算搜索图像的搜索区域与模板图像的目标区域之间的互相关性，得到搜索图像的得分响应图；根据中心逻辑损失函数计算所述得分响应图与真实值的差异，得到差异结果；以及对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重；其中，所述第一特征提取网络、第二特征提取网络分别由轻量级卷积神经网络构成。可选地，所述轻量级卷积神经网络为MobileNetV2模型。可选地，所述中心逻辑损失函数为：其中,v∈Rm×n是网络输出的得分图，y∈{+1,-1}是人工标注的真值。a/(1+exp(b·yv))是逻辑损失的一个调制因子，该调制因子根据输入yv自适应调节每个训练样本对训练损失的贡献。进一步地，当yv＞0时，调制因子为逻辑损失分配第一权重；当yv＜0时，调制因子为逻辑损失分配第二权重，所述第一权重小于所述第二权重。根据本专利技术的第二方面，一种无人机对地目标视觉跟踪方法，包括：利用第一特征提取网络提取已知目标位置的第一帧图像的目标特征图，利用第二特征提取网络提取第二帧图像的搜索特征图；根据所述目标特征图、搜索特征图计算所述第二帧图像的搜索区域与第一帧图像的目标区域之间的互相关性，得到第二帧图像的得分响应图，进而根据第二帧图像的得分响应图得到第二帧图像的目标位置；其中，所述第一特征提取网络、第二特征提取网络为孪生卷积网络的两个分支，且分别由轻量级卷积神经网络构成，所述轻量级卷积神经网络为MobileNetV2模型。根据本专利技术的第三方面，一种无人机对地目标视觉跟踪装置，包括：识别单元，用于利用第一特征提取网络提取已知目标位置的第一帧图像的目标特征图，利用第二特征提取网络提取第二帧图像的搜索特征图；计算单元，用于根据所述目标特征图、搜索特征图计算第二帧图像的搜索区域与第一帧图像的目标区域之间的互相关性，得到第二帧图像的得分响应图；确定单元，用于根据第二帧图像的得分响应图得到第二帧图像的目标位置；其中，所述识别单元中的第一特征提取网络、第二特征提取网络为孪生卷积网络的两个分支，且分别由轻量级卷积神经网络构成。根据本专利技术的第四方面，一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的存储器，其存储有可被所述处理器执行的指令；当所述指令被所述处理器执行时，所述处理器执行所述无人机对地目标视觉跟踪方法，或者所述训练方法。根据本专利技术的第五方面，一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现所述的无人机对地目标视觉跟踪方法，或者所述的训练方法。本专利技术采用轻量级网络中的MobileNetV2模型作为深度框架前端的特征提取子网络，从而降低了卷积神经网络中的计算复杂度和参数个数。同时，能够在处理速度和准确度之间保持较好地平衡，从而能够适应无人机硬件平台有限的存储和计算资源。此外，本专利技术采用中心逻辑损失函数对搜索区域中的不同训练样本施加不同的权重，解决了正负训练样本不均衡的问题，避免了离线训练中的网络退化问题，使学习到的卷积特征具有更强的判别力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是常规孪生网络结构示意图；图2是一个实际的目标跟踪场景，该场景中包括简单负样本(区域3)、困难负样本(区域1)以及包含前景目标的正样本(区域2)；图3是根据本专利技术实施例的视觉跟踪网络模型结构示意图；图4是MobileNetV2网络结构示意图；图5是根据本专利技术实施例的视觉跟踪网络训练及跟踪方法示意性流程；图6是根据本专利技术实施例的无人机对地目标视觉跟踪方法示意性流程；图7是根据本专利技术实施例的无人机对地目标视觉跟踪装置结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节，以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。在以下描述中，UAV(UnmannedAerialVehicle，无人机)主要指利用无线电遥控设备和自备的程序控制装置操纵的，或者由机载计算机完全地或间歇地自主地操作的不载人飞行器。<本文档来自技高网...

【技术保护点】
1.一种无人机对地目标视觉跟踪模型的训练方法，所述跟踪模型为孪生卷积网络，该孪生卷积网络的两个分支分别为第一特征提取网络、第二特征提取网络，其特征在于，该训练方法包括：/n获取视频序列数据集，该数据集包括成对的模板图像和搜索图像；/n利用第一特征提取网络提取模板图像的目标特征图，利用第二特征提取网络提取搜索图像的搜索特征图；/n根据所述目标特征图、搜索特征图计算搜索图像的搜索区域与模板图像的目标区域之间的互相关性，得到搜索图像的得分响应图；/n根据中心逻辑损失函数计算所述得分响应图与真实值的差异，得到差异结果；以及/n对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重；/n其中，所述第一特征提取网络、第二特征提取网络分别由轻量级卷积神经网络构成。/n

【技术特征摘要】
1.一种无人机对地目标视觉跟踪模型的训练方法，所述跟踪模型为孪生卷积网络，该孪生卷积网络的两个分支分别为第一特征提取网络、第二特征提取网络，其特征在于，该训练方法包括：
获取视频序列数据集，该数据集包括成对的模板图像和搜索图像；
利用第一特征提取网络提取模板图像的目标特征图，利用第二特征提取网络提取搜索图像的搜索特征图；
根据所述目标特征图、搜索特征图计算搜索图像的搜索区域与模板图像的目标区域之间的互相关性，得到搜索图像的得分响应图；
根据中心逻辑损失函数计算所述得分响应图与真实值的差异，得到差异结果；以及
对所述差异结果进行反向传播，以调整所述孪生神经网络中各层的权重；
其中，所述第一特征提取网络、第二特征提取网络分别由轻量级卷积神经网络构成。


2.根据权利要求1所述的训练方法，其特征在于，所述轻量级卷积神经网络为MobileNetV2模型。


3.根据权利要求1或2所述的训练方法，其特征在于，所述中心逻辑损失函数为：



其中,v∈Rm×n是网络输出的得分图，y∈{+1,-1}是人工标注的真值。a/(1+exp(b·yv))是逻辑损失的一个调制因子，该调制因子根据输入yv自适应调节每个训练样本对训练损失的贡献，a、b是调制因子中的参数。


4.根据权利要求3所述的训练方法，其特征在于，当yv＞0时，调制因子为逻辑损失分配第一权重；当yv＜0时，调制因子为逻辑损失分配第二权重，所述第一权重小于所述第二权重。


5.根据权利要求3所述的训练方法，其特征在于，所述中心逻辑损失函数调制因子中的参数a＝2，b＝1。


6.一种无人机对地目标视觉跟踪方法，其特征在于，包括：<...

【专利技术属性】
技术研发人员：林白，耿洋洋，李冬冬，蒯杨柳，
申请(专利权)人：军事科学院系统工程研究院系统总体研究所，中国人民解放军国防科技大学，
类型：发明
国别省市：北京;11