目标跟踪方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种目标跟踪方法、装置、电子设备及存储介质，在对图像序列中的当前帧图像进行目标跟踪时，本申请通过对图像序列进行“不同位置的采样密集程度与不同位置到当前帧图像的时间间隔呈反相关关系”的帧间采样，为当前帧图像提取到了与其高相关度的帧间相关性信息，高相关度的帧间相关性信息能够指导或辅助当前帧图像对目标进行更准确/精确的定位；并且对按上述方式采样得到的各个帧间图像进一步分别进行了帧内多尺度采样，能够获取到目标在帧内图像的多尺度分布信息，提高了对单独图像帧的理解，克服了卷积神经网络因卷积核的感受野固定不变而易导致的跟踪目标丢失等情况。情况。情况。

【技术实现步骤摘要】
目标跟踪方法、装置、电子设备及存储介质


[0001]本申请属于计算机视觉领域，尤其涉及一种目标跟踪方法、装置、电子设备及存储介质。

技术介绍

[0002]目标跟踪是计算机视觉领域研究的热点问题，通过对图像序列进行处理，在摄像机视野内跟踪运动目标，为目标的运动规律研究或行为理解、事件检测等提供语义或非语义的信息支持，可以包括单目标跟踪、多目标跟踪、跨摄像头多目标跟踪等等。
[0003]目前，一般通过光流分析等传统方法实现对目标的跟踪，或者，通过卷积神经网络的方法实现对目标的跟踪。其中，通过光流分析等传统方法进行目标跟踪，具备计算简单的优点，但是所提取的特征信息(如，灰度特征)不足，目标跟踪的准确度有限；通过卷积神经网络的方法进行目标跟踪，能够提取到复杂的特征信息，一定程度上解决了光流分析等传统方法存在的特征信息不足的缺陷，但仍存在目标跟踪任务的准确度或精度低的问题，且容易出现跟踪目标丢失等情况。

技术实现思路

[0004]有鉴于此，本申请提供了一种目标跟踪方法、装置、电子设备及存储介质，用于解决通过卷积神经网络的方法进行目标跟踪时存在的问题，提升目标跟踪任务的准确度/精度，避免出现跟踪目标丢失等情况。
[0005]具体技术方案如下：
[0006]一种目标跟踪方法，包括：
[0007]确定图像序列中待处理的当前帧图像；所述图像序列包括按成像时间顺序排列的多帧图像，所述多帧图像中的至少部分图像的图像内容具有关联；
[0008]对所述图像序列进行第一采样处理，得到对应于所述当前帧图像的一组第一采样图像；所述图像序列中不同位置的采样密集程度与所述不同位置到所述当前帧图像的时间间隔呈反相关关系；
[0009]对各个第一采样图像分别进行第二采样处理，得到各个第一采样图像分别对应的包括多个尺度的第二采样图像的一组第二采样图像；
[0010]在所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像构成的尺度空间中，基于具有同一尺度的单组帧间采样图像，确定所述当前帧图像在所述同一尺度下对待跟踪目标的定位结果，以得到待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果；
[0011]基于待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，定位出所述当前帧图像中的待跟踪目标。
[0012]可选的，所述对所述图像序列进行第一采样处理，得到对应于所述当前帧图像的一组第一采样图像，包括：
[0013]对所述图像序列按高斯分布方式进行帧间采样；
[0014]其中，在所述高斯分布方式的帧间采样中，所述当前帧图像对应高斯分布的中心，所述图像序列中不同位置的采样密集程度呈现以所述当前帧图像为中心的高斯分布状态。
[0015]可选的，所述对各个第一采样图像分别进行第二采样处理，包括：
[0016]将每个第一采样图像经过多次下采样操作，得到每个第一采样图像对应的多个不同尺度的第二采样图像；
[0017]其中，不同尺度的第二采样图像分别对应不同的分辨率。
[0018]可选的，所述在所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像构成的尺度空间中，基于具有同一尺度的单组帧间采样图像，确定所述当前帧图像在所述同一尺度下对待跟踪目标的定位结果，以得到待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，包括：
[0019]将所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像输入预先构建的包括多个卷积层的卷积神经网络模型；不同的卷积层与所述尺度空间中的不同尺度一一对应；每层卷积层通过至少对相对应尺度下的一组帧间采样图像进行处理，使得利用所述一组帧间采样图像指导所述当前帧图像在所述相对应尺度下对待跟踪目标的定位；
[0020]获取所述卷积神经网络模型的输出信息；
[0021]其中，所述输出信息包括待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果；待跟踪目标在所述当前帧图像对应的一个尺度下的定位结果包括：至少一个待跟踪目标在所述当前帧图像中对应于所述一个尺度的定位位置信息和/或至少一个待跟踪目标各自的类别标签。
[0022]可选的，所述方法中：
[0023]所述多个卷积层中第一层卷积层的输入为所述一组第一采样图像；
[0024]所述多个卷积层中第一层卷积层除外的其他卷积层的输入为：所对应尺度的一组采样图像与上一层卷积层输出的特征图像的堆叠结果。
[0025]可选的，所述基于待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，定位出所述当前帧图像中的待跟踪目标，包括：
[0026]将待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果进行非极大值抑制处理，以定位出所述当前帧图像中的待跟踪目标。
[0027]一种目标跟踪装置，包括：
[0028]第一确定单元，用于确定图像序列中待处理的当前帧图像；所述图像序列包括按成像时间顺序排列的多帧图像，所述多帧图像中的至少部分图像的图像内容具有关联；
[0029]第一采样单元，用于对所述图像序列进行第一采样处理，得到对应于所述当前帧图像的一组第一采样图像；所述图像序列中不同位置的采样密集程度与所述不同位置到所述当前帧图像的时间间隔呈反相关关系；
[0030]第二采样单元，用于对各个第一采样图像分别进行第二采样处理，得到各个第一采样图像分别对应的包括多个尺度的第二采样图像的一组第二采样图像；
[0031]第二确定单元，用于在所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像构成的尺度空间中，基于具有同一尺度的单组帧间采样图像，确定所述当前帧图像在所述同一尺度下对待跟踪目标的定位结果，以得到待跟踪目标在所述当前帧图像对
应的不同尺度下的各个定位结果；
[0032]定位单元，用于基于待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，定位出所述当前帧图像中的待跟踪目标。
[0033]可选的，所述第一采样单元，具体用于：
[0034]对所述图像序列按高斯分布方式进行帧间采样；
[0035]其中，在所述高斯分布方式的帧间采样中，所述当前帧图像对应高斯分布的中心，所述图像序列中不同位置的采样密集程度呈现以所述当前帧图像为中心的高斯分布状态。
[0036]可选的，所述第二采样单元，具体用于：
[0037]将每个第一采样图像经过多次下采样操作，得到每个第一采样图像对应的多个不同尺度的第二采样图像；
[0038]其中，不同尺度的第二采样图像分别对应不同的分辨率。
[0039]可选的，所述第二确定单元，具体用于：
[0040]将所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像输入预先构建的包括多个卷积层的卷积神经网络模型；不同的卷积层与所述尺度空间中的不同尺度一一对应；每层卷积层通过至少对相对应尺度下的一组帧间采样图像进行处理，使得利用所述一组帧间采样图像指导所述当前帧图像在所述相对应尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：确定图像序列中待处理的当前帧图像；所述图像序列包括按成像时间顺序排列的多帧图像，所述多帧图像中的至少部分图像的图像内容具有关联；对所述图像序列进行第一采样处理，得到对应于所述当前帧图像的一组第一采样图像；所述图像序列中不同位置的采样密集程度与所述不同位置到所述当前帧图像的时间间隔呈反相关关系；对各个第一采样图像分别进行第二采样处理，得到各个第一采样图像分别对应的包括多个尺度的第二采样图像的一组第二采样图像；在所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像构成的尺度空间中，基于具有同一尺度的单组帧间采样图像，确定所述当前帧图像在所述同一尺度下对待跟踪目标的定位结果，以得到待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果；基于待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，定位出所述当前帧图像中的待跟踪目标。2.根据权利要求1所述的方法，其特征在于，所述对所述图像序列进行第一采样处理，得到对应于所述当前帧图像的一组第一采样图像，包括：对所述图像序列按高斯分布方式进行帧间采样；其中，在所述高斯分布方式的帧间采样中，所述当前帧图像对应高斯分布的中心，所述图像序列中不同位置的采样密集程度呈现以所述当前帧图像为中心的高斯分布状态。3.根据权利要求1所述的方法，其特征在于，所述对各个第一采样图像分别进行第二采样处理，包括：将每个第一采样图像经过多次下采样操作，得到每个第一采样图像对应的多个不同尺度的第二采样图像；其中，不同尺度的第二采样图像分别对应不同的分辨率。4.根据权利要求1所述的方法，其特征在于，所述在所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像构成的尺度空间中，基于具有同一尺度的单组帧间采样图像，确定所述当前帧图像在所述同一尺度下对待跟踪目标的定位结果，以得到待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，包括：将所述一组第一采样图像及各个第一采样图像对应的各组第二采样图像输入预先构建的包括多个卷积层的卷积神经网络模型；不同的卷积层与所述尺度空间中的不同尺度一一对应；每层卷积层通过至少对相对应尺度下的一组帧间采样图像进行处理，使得利用所述一组帧间采样图像指导所述当前帧图像在所述相对应尺度下对待跟踪目标的定位；获取所述卷积神经网络模型的输出信息；其中，所述输出信息包括待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果；待跟踪目标在所述当前帧图像对应的一个尺度下的定位结果包括：至少一个待跟踪目标在所述当前帧图像中对应于所述一个尺度的定位位置信息和/或至少一个待跟踪目标各自的类别标签。5.根据权利要求4所述的方法，其特征在于：所述多个卷积层中第一层卷积层的输入为所述一组第一采样图像；
所述多个卷积层中第一层卷积层除外的其他卷积层的输入为：所对应尺度的一组采样图像与上一层卷积层输出的特征图像的堆叠结果。6.根据权利要求1所述的方法，其特征在于，所述基于待跟踪目标在所述当前帧图像对应的不同尺度下的各个定位结果，定位出所述当前帧图像中的待跟踪目标，包括：将待跟踪目标在所述当前帧图像对应的不同尺度下的各...

【专利技术属性】
技术研发人员：李虎，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：