基于互监督孪生网络的目标跟踪方法、装置与设备制造方法及图纸

本发明专利技术涉及计算机技术领域，尤其涉及一种基于互监督孪生网络的目标跟踪方法、装置与设备。其包括：获取孪生A网络中的第一孪生网络相似度响应图；获取孪生B网络中的旋转90°孪生网络相似度响应图，再进行反向旋转90°获取第二孪生网络相似度响应图；将获取的第一、第二孪生网络相似度响应图进行网络训练获得最优网络模型；以及将第一、第二孪生网络相似度响应图通过均值融合方法获取融合响应图；从而预测当前帧目标，该方法能更好的从同源图像的多视角融合更多的视觉信息，并能有效克服卷积神经网络的旋转不变性的问题，提升跟踪器在目标旋转的跟踪鲁棒性，同时能对抗因跟踪误差累计以及跟踪目标旋转导致的跟踪漂移以及跟踪失效问题。

【技术实现步骤摘要】
基于互监督孪生网络的目标跟踪方法、装置与设备
本专利技术涉及计算机
，尤其涉及一种基于互监督孪生网络的目标跟踪方法、装置与设备。
技术介绍
基于图像和视频等信息的单个移动目标的跟踪方法在智能机器人控制、计算机-人交互、无人机视觉导航、自动/辅助驾驶以及智慧城市安防监控中都有极其广泛的应用。目前常用的目标跟踪方法主要包括两种，一种为基于邻近帧累积信息的目标跟踪方法，通过一个可以在线不断迭代更新的跟踪器在每一帧的搜索区域内定位到待跟踪的目标，在一定程度上能有效的补充待跟踪目标的变化信息，可有效的获取颜色变化、形状变化和姿态变化等动态信息，但所有跟踪器都难以保证每一帧的精准跟踪，这就意味着跟踪误差是不避免的，而且基于邻近帧累积信息的目标跟踪方法将会累积该预测误差，将导致跟踪器的性能逐渐下降。随着时间的推移，跟踪漂移将不可避免地发生；另一种是基于首帧标定区域的目标跟踪方法，依赖卷积神经网络特征的强大表达能力，通过深度学习的方法离线学习得到具有强大表达能力到相似性度量网络，其只依赖首帧信息可有效地解决因误差累积导致的跟踪失效问题，但该类跟踪器非常依赖跟踪器的相似性表达能力，性能较弱的深度学习网络易产生跟踪目标丢失的现象。综上所述，虽然关于单目标跟踪算法的研究已开展多年，基于不同特征和不同模型的跟踪器也层出不穷，但由于真实环境中目标旋转、颜色变化、形状变化和姿态变化等复杂问题的综合存在，现有的目标跟踪器很难在现实中有效地使用。
技术实现思路
基于此，本专利技术针对上述的问题，提供了一种基于互监督孪生网络的目标跟踪方法，旨在解决现有目标跟踪方法无法对真实环境中目标旋转、颜色变化、形状变化和姿态变化等复杂问题进行合理处理，导致现有目标跟踪方法很难在现实中有效使用的技术问题。本专利技术实施例提供的一种基于互监督孪生网络的目标跟踪方法，具体包括：获取孪生A网络中第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并进行相似度计算获得第一孪生网络相似度响应图；获取孪生B网络中旋转90°的第一帧标定区域和当前帧搜索区域的卷积神经网络特征图，并进行相似度计算获得旋转90°孪生网络相似度响应图；将所述旋转90°孪生网络相似度响应图反向旋转90°，获取第二孪生网络相似度响应图；将获取的所述第一孪生网络相似度响应图与第二孪生网络相似度响应图在预先设定的损失函数的监督下进行网络训练获得最优网络模型，用于获取卷积神经网络特征图；以及将所述第一孪生网络相似度响应图与第二孪生网络相似度响应图通过均值融合方法获取融合响应图；并根据融合响应图的响应值与尺度信息预测当前帧目标所在位置与尺度。更进一步地，所述获取孪生A网络中第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并进行相似度计算获得第一孪生网络相似度响应图步骤具体包括：将孪生A网络中所述第一帧标定区域通过深度卷积神经网络获取第一标定区域卷积神经网络特征；根据跟踪目标尺度确定所述当前帧搜索区域的尺度，并以所述当前帧的前一帧目标预测坐标为中心确定所述当前帧搜索区域，通过深度卷积神经网络获取第一搜索区域卷积神经网络特征；将所述第一标定区域卷积神经网络特征和第一搜索区域卷积神经网络特征进行相似度计算获取第一孪生网络相似度响应图。更进一步地，所述获取孪生B网络中旋转90°的第一帧标定区域和当前帧搜索区域的卷积神经网络特征图，并进行相似度计算获得旋转90°孪生网络相似度响应图步骤包括：将孪生B网络中所述第一帧标定区域旋转90°，通过深度卷积神经网络获取第二标定区域卷积神经网络特征；根据跟踪目标尺度确定所述当前帧搜索区域的尺度，并以所述当前帧的前一帧目标预测坐标为中心确定所述当前帧搜索区域旋转90°，通过深度卷积神经网络获取第二标定区域卷积神经网络特征；将所述第二标定区域卷积神经网络特征和第二标定区域卷积神经网络特征进行相似度计算获取旋转90°孪生网络相似度响应图。更进一步地，所述预先设定的损失函数为logistic损失函数和基于互监督学习理论一致性损失函数的融合：l＝ll+lc，所述一致性损失函数为lc＝||MA-MB||2，所述logistic损失函数为所述G为训练数据提供的金标准，(i,j)为二维坐标，||||2为2范数距离；|MA|和|MB|分别为所述第一孪生网络相似度响应图MA和第二孪生网络相似度响应图MB的像素数量。更进一步地，所述将所述第一孪生网络相似度响应图与第二孪生网络相似度响应图通过均值融合方式获取融合响应图中融合函数为h(It,I1)＝(MA+MB)/2，所述MA和MB为第一孪生网络相似度响应图和第二孪生网络相似度响应图。本专利技术实施例的另一目的在于提供一种基于互监督孪生网络的目标跟踪装置，包括：第一孪生网络相似度响应图获取模块，用于获取孪生A网络中第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并进行相似度计算获得当前帧搜索区域的第一孪生网络相似度响应图；第二孪生网络相似度响应图获取模块，用于获取孪生B网络中旋转90°的第一帧标定区域和当前帧搜索区域的卷积神经网络特征图，并进行相似度计算获得当前帧搜索区域旋转90°孪生网络相似度响应图；将所述旋转90°孪生网络相似度相应图反向旋转90°，获取第二孪生网络相似度响应图；网络模型训练模块，用于将获取的所述第一孪生网络相似度响应图与第二孪生网络相似度响应图在预先设定的损失函数的监督下进行网络训练获得最优网络模型，用于获取卷积神经网络特征图；以及目标确定模块，用于将所述第一孪生网络相似度响应图与第二孪生网络相似度响应图通过均值融合方式获取融合响应图；并根据融合响应图的响应值与尺度信息预测当前帧目标所在位置与尺度。本专利技术实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时上述方法的步骤。有益效果：本专利技术的目标跟踪方法是建立在互监督的孪生网络基础上，对于孪生A网络获取第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并获得第一孪生网络相似度响应图，而对孪生B网络将获取的区域进行90°旋转后获得其卷积神经网络特征并获得相似度响应图，再进行反向旋转90°获得第二孪生网络相似度响应图，采用第一、二孪生网络相似度响应图进行模型训练获得最优网络模型，另采用上述两个相似度响应图通过均值融合方法获取融合响应图，最后根据该融合响应图的响应值与尺度信息预测目标的位置与尺度；相较于目前现有的目标跟踪算法，本专利技术能够更好的从同源图像的多视角融合更多的视觉信息，并且能有效克服卷积神经网络的旋转不变性的问题，大大提升跟踪器在目标旋转情况下的跟踪鲁棒性。在保证高效率的前提下，本专利技术相比于现有的其他跟踪方法，可有效地对抗因跟踪误差累计以及跟踪目标旋转导致的跟踪漂移以及跟踪失效问题。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明图1为本专利技术实施例提供的一种基于互监督孪生本文档来自技高网...

【技术保护点】
1.一种基于互监督孪生网络的目标跟踪方法，其特征在于，具体包括：/n获取孪生A网络中第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并进行相似度计算获得第一孪生网络相似度响应图；/n获取孪生B网络中旋转90°的第一帧标定区域和当前帧搜索区域的卷积神经网络特征图，并进行相似度计算获得旋转90°孪生网络相似度响应图；将所述旋转90°孪生网络相似度响应图反向旋转90°，获取第二孪生网络相似度响应图；/n将获取的所述第一孪生网络相似度响应图与第二孪生网络相似度响应图在预先设定的损失函数的监督下进行网络训练获得最优网络模型，用于获取卷积神经网络特征图；以及/n将所述第一孪生网络相似度响应图与第二孪生网络相似度响应图通过均值融合方法获取融合响应图；并根据融合响应图的响应值与尺度信息预测当前帧目标所在位置与尺度。/n

【技术特征摘要】
1.一种基于互监督孪生网络的目标跟踪方法，其特征在于，具体包括：
获取孪生A网络中第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并进行相似度计算获得第一孪生网络相似度响应图；
获取孪生B网络中旋转90°的第一帧标定区域和当前帧搜索区域的卷积神经网络特征图，并进行相似度计算获得旋转90°孪生网络相似度响应图；将所述旋转90°孪生网络相似度响应图反向旋转90°，获取第二孪生网络相似度响应图；
将获取的所述第一孪生网络相似度响应图与第二孪生网络相似度响应图在预先设定的损失函数的监督下进行网络训练获得最优网络模型，用于获取卷积神经网络特征图；以及
将所述第一孪生网络相似度响应图与第二孪生网络相似度响应图通过均值融合方法获取融合响应图；并根据融合响应图的响应值与尺度信息预测当前帧目标所在位置与尺度。


2.根据权利要求1所述的目标跟踪方法，其特征在于，所述获取孪生A网络中第一帧标定区域和当前帧搜索区域的卷积神经网络特征，并进行相似度计算获得第一孪生网络相似度响应图步骤具体包括：
将孪生A网络中所述第一帧标定区域通过深度卷积神经网络获取第一标定区域卷积神经网络特征；
根据跟踪目标尺度确定所述当前帧搜索区域的尺度，并以所述当前帧的前一帧目标预测坐标为中心确定所述当前帧搜索区域，通过深度卷积神经网络获取第一搜索区域卷积神经网络特征；
将所述第一标定区域卷积神经网络特征和第一搜索区域卷积神经网络特征进行相似度计算获取第一孪生网络相似度响应图。


3.根据权利要求1所述的目标跟踪方法，其特征在于，所述获取孪生B网络中旋转90°的第一帧标定区域和当前帧搜索区域的卷积神经网络特征图，并进行相似度计算获得旋转90°孪生网络相似度响应图步骤包括：
将孪生B网络中所述第一帧标定区域旋转90°，通过深度卷积神经网络获取第二标定区域卷积神经网络特征；
根据跟踪目标尺度确定所述当前帧搜索区域的尺度，并以所述当前帧的前一帧目标预测坐标为中心确定所述当前帧搜索区域并旋转90°，通过深度卷积神经网络获取第二标定区域卷积神经网络特征；
将所述第二标定区域卷积神经网络特征和第二...

【专利技术属性】
技术研发人员：岳舟，方智文，
申请(专利权)人：湖南人文科技学院，
类型：发明
国别省市：湖南;43