一种基于热力图的目标跟踪方法及装置制造方法及图纸

本发明专利技术提供一种基于热力图的目标跟踪方法及装置，所述方法包括：获取当前帧图像；将所述当前帧图像输入至经过二次训练的残差网络模型，输出所述当前帧图像的热力图，其中，所述热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率；根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置。本发明专利技术提供一种基于热力图的目标跟踪方法及装置，通过输出当前帧图像的热力图的形式，确定跟踪目标的位置，降低了残差网络的复杂性，在保证目标跟踪准确性的前提下，提高了跟踪速率，增强了目标跟踪的实时性。

A Target Tracking Method and Device Based on Thermodynamic Diagram

The invention provides a target tracking method and device based on thermodynamic diagram, which includes: acquiring the current frame image; inputting the current frame image into the residual network model which has been trained twice, and outputting the thermodynamic diagram of the current frame image, in which the thermodynamic diagram shows the probability of tracking the target position in the image in the form of special highlights; and according to the method described above. The thermodynamic diagram of the current frame image determines the position of the tracking target in the current frame image. The invention provides a target tracking method and device based on thermodynamic chart. By outputting the form of thermodynamic chart of current frame image, the position of tracking target is determined, the complexity of residual network is reduced, the tracking speed is improved and the real-time performance of target tracking is enhanced on the premise of ensuring the accuracy of target tracking.

【技术实现步骤摘要】
一种基于热力图的目标跟踪方法及装置
本专利技术涉及计算机
，尤其涉及一种基于热力图的目标跟踪方法及装置。
技术介绍
目标跟踪是计算机视觉研究领域的热点之一，并得到广泛应用。相机的跟踪对焦、无人机的自动目标跟踪、人体跟踪、交通监控系统中的车辆跟踪、人脸跟踪和智能交互系统中的手势跟踪等。目标跟踪的准确度和实时性是评价一个目标跟踪方法优劣的最关键的指标。现有技术中，目标追踪算法主要分为两大类，一类是基于相关滤波的传统跟踪算法，另一类是基于卷积神经网络CNN的深度学习算法。第一类跟踪算法主要提取目标的HOG、CN等传统特征，这类特征鲁棒性较差，对于遮挡、高速运动、光照变化等复杂环境情况下追踪效果差。基于卷积神经网络CNN的深度学习跟踪算法虽然可以有效解决特征鲁棒性差的问题，但是由于网络结构复杂，计算量大等问题严重影响了跟踪算法的实时性。
技术实现思路
本专利技术的目的是提供一种基于热力图的目标跟踪方法及装置，解决了现有技术中目标追踪方法精确性低、实时性不强，以及抗干扰能力差的技术问题。为了解决上述技术问题，一方面，本专利技术提供一种基于热力图的目标跟踪方法，包括：获取当前帧图像；将所述当前帧图像输入至经过二次训练的残差网络模型，输出所述当前帧图像的热力图，其中，所述热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率；根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置。另一方面，本专利技术提供一种基于热力图的目标跟踪装置，其特征在于，包括：获取模块，用于获取当前帧图像；生成模块，用于将所述当前帧图像输入至经过二次训练的残差网络模型，输出所述当前帧图像的热力图，其中，所述热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率；确定模块，用于根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置。再一方面，本专利技术提供一种用于基于热力图的目标跟踪方法的电子设备，包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。又一方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。本专利技术提供一种基于热力图的目标跟踪方法及装置，通过输出当前帧图像的热力图的形式，确定跟踪目标的位置，降低了残差网络的复杂性，在保证目标跟踪准确性的前提下，提高了跟踪速率，增强了目标跟踪的实时性，同时，扩大了搜索区域。附图说明图1为依照本专利技术实施例的基于热力图的目标跟踪方法示意图；图2为依照本专利技术实施例的基于热力图的目标跟踪装置示意图；图3为本专利技术实施例提供的用于基于热力图的目标跟踪方法的电子设备的结构示意图。具体实施方式为了使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为依照本专利技术实施例的基于热力图的目标跟踪方法示意图，如图1所示，本专利技术实施例提供一种基于热力图的目标跟踪方法，包括：步骤S101、获取当前帧图像；步骤S102、将所述当前帧图像输入至经过二次训练的残差网络模型，输出所述当前帧图像的热力图，其中，所述热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率；步骤S103、根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置。具体的，首先，获取当前帧图像，通常情况下，用于目标跟踪的图像都是通过摄像机采集，将摄像机采集到的视频信息，分割成一帧一帧的图像。将当前帧图像输入至经过二次训练的残差网络模型，输出当前帧图像的热力图，其中，热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率，即，热力图是以特殊高亮的形式显示响应强度的图示，通过热力图可以看出经过二次训练的残差网络模型预测出的跟踪目标在图像中目标位置的概率。然后，根据当前帧图像的热力图确定当前帧图像中跟踪目标的位置。本专利技术实施例提供一种基于热力图的目标跟踪方法，通过输出当前帧图像的热力图的形式，确定跟踪目标的位置，降低了残差网络的复杂性，在保证目标跟踪准确性的前提下，提高了跟踪速率，增强了目标跟踪的实时性，同时，扩大了搜索区域。在上述实施例的基础上，进一步地，所述根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置，具体为：获取所述当前帧图像的热力图的响应峰值，以所述响应峰值所在的位置作为跟踪目标的位置，其中，所述当前帧图像的热力图的响应峰值由所述当前帧图像的热力图与上一帧图像中跟踪目标中心的高斯窗相乘得到。具体的，热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率，例如，以红色表示跟踪目标在图像中目标位置的概率最高，以蓝色表示跟踪目标在图像中目标位置的概率最低，用其他过度的颜色表示概率值处于最高值和最低值之间。由于视频具有时序性，目标再次出现在上一帧附近的位置概率更大，所以将当前帧图像的热力图乘以上一帧图像中跟踪目标为中心的高斯窗后，得到当前帧图像的热力图的响应峰值，然后，以响应峰值所在的位置作为跟踪目标的位置，即可获得跟踪目标在当前帧图像中的位置，完成目标的跟踪。本专利技术实施例提供一种基于热力图的目标跟踪方法，通过输出当前帧图像的热力图的形式，确定跟踪目标的位置，降低了残差网络的复杂性，在保证目标跟踪准确性的前提下，提高了跟踪速率，增强了目标跟踪的实时性，同时，扩大了搜索区域。在以上各实施例的基础上，进一步地，所述残差网络模型包含一个除去池化层和全连接层的残差网络。具体的，由于残差网络越深提取的特征越偏向于语义信息，越浅层的特征越偏向于外观轮廓信息，本专利技术实施例采用基础网络是50层的残差网络ResNet50，去掉最后的池化层(pool层)和全连接层，利用其层2，层3，层4，层5的特征，进行平滑，上采样，特征相加得到4层的特征，最后将特征汇总，采用4个1*1的卷积，最终输出原图长宽四分之一的热力图，由于整个网络均是由卷积层构成，所以输入图片的尺寸不受限制。本专利技术实施例提供一种基于热力图的目标跟踪方法，通过输出当前帧图像的热力图的形式，确定跟踪目标的位置，降低了残差网络的复杂性，在保证目标跟踪准确性的前提下，提高了跟踪速率，增强了目标跟踪的实时性，同时，扩大了搜索区域。在以上各实施例的基础上，进一步地，获取所述经过二次训练的残差网络模型的具体步骤如下：获取上一帧图像；将所述上一帧图像输入至经过一次训练的残差网络模型，输出新的网络权重；根据所述新的网络权重对所述经过一次训练的残差网络模型进行更新，获取所述经过二次训练的残差网络模型。具体的，在对当前帧图像中的目标进行跟踪时，需要对经过一次训练的残差网络模型进行二次训练，而对经过一次训练的残差网络模型进行二次训练的训练数据为上一帧图像。获取上一帧图像后，将上一帧图像输入至经过一次训练的残差网络模型，通过计算损失随机梯度下降(SGD)优化算法输出新的网络权重。然后，将新的网络权重带入经过一次训练的残差网络模型，经过一定轮数的训练，获取经过二次训练的残差网络模型。本专利技术实施例提供一本文档来自技高网...

【技术保护点】
1.一种基于热力图的目标跟踪方法，其特征在于，包括：获取当前帧图像；将所述当前帧图像输入至经过二次训练的残差网络模型，输出所述当前帧图像的热力图，其中，所述热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率；根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置。

【技术特征摘要】
1.一种基于热力图的目标跟踪方法，其特征在于，包括：获取当前帧图像；将所述当前帧图像输入至经过二次训练的残差网络模型，输出所述当前帧图像的热力图，其中，所述热力图是以特殊高亮的形式显示跟踪目标在图像中目标位置的概率；根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像的热力图确定所述当前帧图像中跟踪目标的位置，具体为：获取所述当前帧图像的热力图的响应峰值，以所述响应峰值所在的位置作为跟踪目标的位置，其中，所述当前帧图像的热力图的响应峰值由所述当前帧图像的热力图与上一帧图像中跟踪目标中心的高斯窗相乘得到。3.根据权利要求1所述的方法，其特征在于，所述残差网络模型包含一个除去池化层和全连接层的残差网络。4.根据权利要求1所述的方法，其特征在于，获取所述经过二次训练的残差网络模型的具体步骤如下：获取上一帧图像；将所述上一帧图像输入至经过一次训练的残差网络模型，输出新的网络权重；根据所述新的网络权重对所述经过一次训练的残差网络模型进行更新，获取所述经过二次训练的残差网络模型。5.根据权利要求4所述的方法，其特征在于，所述将所述上一帧图像输入至经过一次训练的残差网络模型，具体为：获取所述上一帧图像中的若干个样本，并获取所述上一帧图像的热力图标签；将所述若干个样本和所述热力图标签输...

【专利技术属性】
技术研发人员：白帅，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11