基于最小熵准则更新的跟踪方法、系统、电子设备及介质技术方案

本发明专利技术公开一种基于最小熵准则更新的跟踪方法、系统、电子设备及介质，涉及目标跟踪领域，该方法包括：获取待跟踪视频图像；确定初始帧中跟踪目标的位置；确定帧图像跟踪序列的目标特征向量；确定跟踪目标的位置；确定第t帧图像的特征向量；确定第t帧图像的多个跟踪目标的预测框和对应的预测分数；确定待更新的模板；当第t帧图像为帧图像跟踪序列的最后一帧图像，获取帧图像跟踪序列的第t+1帧图像，并将第t+1帧图像作为第t帧图像，当第t帧图像为帧图像跟踪序列的最后一帧图像时，得到跟踪结果。本发明专利技术能够在跟踪遇到遮挡、光照变化时提高对目标跟踪的效果。高对目标跟踪的效果。高对目标跟踪的效果。

【技术实现步骤摘要】
基于最小熵准则更新的跟踪方法、系统、电子设备及介质


[0001]本专利技术涉及目标跟踪领域，特别是涉及一种基于最小熵准则更新的跟踪方法、系统、电子设备及介质。

技术介绍

[0002]目标跟踪是计算机视觉的重要课题，在无人机、行人检测、监控和热红外跟踪等领域被广泛应用。当前，深度学习被广泛应用于视觉目标跟踪领域，特别是基于Transformer结构的跟踪模型解决了孪生网络跟踪在相关性操作因线性匹配时语义丢失的缺陷，得到了较好的跟踪性能。然而其忽视了模型更新的重要性，当目标外观受到复杂环境影响时，极易模型漂移。
[0003]为了应对跟踪过程中复杂环境的影响，使跟踪器适应目标和环境变化，模型更新是关键。具体来说，Chen,X.等人提出了一种基于Transformer结构的视觉跟踪方法Transformer Tracking(TransT)。尽管TransT通过加入一个基于注意力机制的特征混合网络解决了线性操作这一局部线性匹配过程会丢失语义信息的缺陷，但其忽略了很重要的模型更新。当跟踪遇到遮挡、光照变化等挑战时，它们会失去鲁棒性和准确性，所以加入模型更新技术十分必要。

技术实现思路

[0004]本专利技术的目的是提供一种基于最小熵准则更新的跟踪方法、系统、电子设备及介质，能够在跟踪遇到遮挡、光照变化时提高对目标跟踪的效果。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于最小熵准则更新的跟踪方法，所述跟踪方法包括：
[0007]获取由待跟踪视频图像组成的帧图像跟踪序列；
[0008]从所述帧图像跟踪序列的预设的初始帧中确定所述跟踪目标的位置，得到初始帧目标位置；
[0009]根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量；
[0010]从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置；
[0011]根据所述第t帧图像的目标位置，应用卷积神经网络，确定第t帧图像的特征向量；
[0012]将所述目标特征向量和所述第t帧图像的特征向量输入特征融合网络，得到第t帧图像的多个所述跟踪目标的预测框和各所述预测框对应的预测分数；
[0013]根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板；
[0014]当第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板时，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤
“
从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；
[0015]当第t帧图像中有满足条件的预测框作为第t帧图像对应的高置信度模板时，根据第t帧图像对应的高置信度模板的最小熵比率和动态标记模板的最小熵比率，确定待更新的模板，并对所述动态标记模板进行更新；所述动态标记模板由所述帧图像跟踪序列的前t
‑
1帧图像确定的高置信度模板组成；
[0016]判断所述第t帧图像是否为所述帧图像跟踪序列的最后一帧图像；
[0017]当所述第t帧图像不是所述帧图像跟踪序列的最后一帧图像时，根据所述待更新的模板，应用卷积神经网络，确定待更新的特征向量，并将所述待更新的特征向量与所述目标特征向量进行融合，得到更新后的目标特征向量，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；
[0018]当所述第t帧图像为所述帧图像跟踪序列的最后一帧图像时，得到跟踪结果；所述跟踪结果为待跟踪视频图像中所述跟踪目标的在各帧图像中的位置。
[0019]可选地，根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量，具体包括：
[0020]根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征；
[0021]对所述目标特征进行重塑，得到帧图像跟踪序列的目标特征向量。
[0022]可选地，根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板，具体包括：
[0023]从各所述预测框对应的预测分数中选取大于预设的分数阈值的预测框，得到初始预测框序列；
[0024]从所述初始预测框序列中确定最大预测分数对应的第一预测框和最小预测分数对应的第二预测框；
[0025]计算所述第一预测框和所述第二预测框的中心偏移量；
[0026]根据所述中心偏移量和预设中心偏移量阈值，判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板。
[0027]可选地，根据所述中心偏移量和预设中心偏移量阈值，判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板，具体包括：
[0028]当所述中心偏移量小于预设中心偏移量阈值时，第t帧图像中有满足条件的预测框作为第t帧图像对应的高置信度模板；
[0029]当所述中心偏移量大于预设中心偏移量阈值时，第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板。
[0030]可选地，所述特征融合网络由基于自注意力的自我上下文增强模块和基于交叉注意力的交叉特征增强模块组成。
[0031]可选地，将所述待更新的特征向量与所述目标特征向量进行线性融合，得到更新后的目标特征向量。
[0032]一种基于最小熵准则更新的跟踪系统，应用于上述的基于最小熵准则更新的跟踪方法，所述跟踪系统包括：
[0033]第一获取模块，用于获取由待跟踪视频图像组成的帧图像跟踪序列；
[0034]第一位置确定模块，用于从所述帧图像跟踪序列的预设的初始帧中确定所述跟踪目标的位置，得到初始帧目标位置；
[0035]第一特征向量去顶模块，用于根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量；
[0036]第二位置确定模块，用于从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置；
[0037]第二特征向量去顶模块，用于根据所述第t帧图像的目标位置，应用卷积神经网络，确定第t帧图像的特征向量；
[0038]分数确定模块，用于将所述目标特征向量和所述第t帧图像的特征向量输入特征融合网络，得到第t帧图像的多个所述跟踪目标的预测框和各所述预测框对应的预测分数；
[0039]第一判断模块，用于根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板；
[0040]第二获取模块，用于当第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板时，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于最小熵准则更新的跟踪方法，其特征在于，所述跟踪方法包括：获取由待跟踪视频图像组成的帧图像跟踪序列；从所述帧图像跟踪序列的预设的初始帧中确定所述跟踪目标的位置，得到初始帧目标位置；根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量；从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置；根据所述第t帧图像的目标位置，应用卷积神经网络，确定第t帧图像的特征向量；将所述目标特征向量和所述第t帧图像的特征向量输入特征融合网络，得到第t帧图像的多个所述跟踪目标的预测框和各所述预测框对应的预测分数；根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板；当第t帧图像中没有满足条件的预测框作为第t帧图像对应的高置信度模板时，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；当第t帧图像中有满足条件的预测框作为第t帧图像对应的高置信度模板时，根据第t帧图像对应的高置信度模板的最小熵比率和动态标记模板的最小熵比率，确定待更新的模板，并对所述动态标记模板进行更新；所述动态标记模板由所述帧图像跟踪序列的前t
‑
1帧图像确定的高置信度模板组成；判断所述第t帧图像是否为所述帧图像跟踪序列的最后一帧图像；当所述第t帧图像不是所述帧图像跟踪序列的最后一帧图像时，根据所述待更新的模板，应用卷积神经网络，确定待更新的特征向量，并将所述待更新的特征向量与所述目标特征向量进行融合，得到更新后的目标特征向量，获取所述帧图像跟踪序列的第t+1帧图像，并将所述第t+1帧图像作为第t帧图像，返回步骤“从所述帧图像跟踪序列的第t帧图像中确定所述跟踪目标的位置，得到第t帧图像的目标位置”；当所述第t帧图像为所述帧图像跟踪序列的最后一帧图像时，得到跟踪结果；所述跟踪结果为待跟踪视频图像中所述跟踪目标的在各帧图像中的位置。2.根据权利要求1所述的基于最小熵准则更新的跟踪方法，其特征在于，根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征向量，具体包括：根据所述初始帧目标位置，应用卷积神经网络，确定帧图像跟踪序列的目标特征；对所述目标特征进行重塑，得到帧图像跟踪序列的目标特征向量。3.根据权利要求1所述的基于最小熵准则更新的跟踪方法，其特征在于，根据预设的分数阈值和各所述预测框对应的预测分数判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板，具体包括：从各所述预测框对应的预测分数中选取大于预设的分数阈值的预测框，得到初始预测框序列；从所述初始预测框序列中确定最大预测分数对应的第一预测框和最小预测分数对应的第二预测框；计算所述第一预测框和所述第二预测框的中心偏移量；
根据所述中心偏移量和预设中心偏移量阈值，判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板。4.根据权利要求3所述的基于最小熵准则更新的跟踪方法，其特征在于，根据所述中心偏移量和预设中心偏移量阈值，判断第t帧图像中是否有满足条件的预测框作为第t帧图像对应的高置信度模板，具体包括：当所述中心偏移量小于预设中心偏移量阈值时，第t帧图像中有满足...

【专利技术属性】
技术研发人员：相忠良，陈耿，安志勇，于祥茹，杨焕海，
申请(专利权)人：山东工商学院，
类型：发明
国别省市：