对象跟踪方法及执行该方法的装置制造方法及图纸

本发明专利技术公开了一种对象跟踪方法及执行该方法的装置。根据一实施例的对象跟踪方法包括以下步骤：为跟踪视频帧的对象，生成对应于所述对象的多个候选粒子；以及基于所述多个候选粒子相对于所述对象的相似度，通过生成与所述视频帧中所述对象的位置相对应的最佳粒子来跟踪所述对象。

【技术实现步骤摘要】
【国外来华专利技术】对象跟踪方法及执行该方法的装置
以下实施例涉及一种对象跟踪方法及执行该方法的装置。
技术介绍
块对象跟踪算法通过模板匹配来跟踪对象。例如，扫描窗口通过对前一帧的目标块与当前帧的候选块进行直接比较来估计前一帧的目标位置附近的候选块。例如，最近深度学习(deeplearning)的卷积神经网络(CNN，convolutionalneuralnetworks)备受关注。例如，卷积神经网络(CNN)已经成功地应用于图像分类、语义分割、物体检测及人体姿态估计等计算机视觉的各个领域。最近，为了进行视觉对象跟踪，人们开始使用CNN的与众不同的功能。
技术实现思路
要解决的技术问题根据一实施例，通过使用粒子滤波器及已学习的CNN模型来跟踪视频帧的对象，从而可以提供具有优异的对象跟踪精度和速度性能的技术。解决问题的技术方法根据一实施例的对象跟踪方法，包括以下步骤：为跟踪视频帧的对象，生成对应于所述对象的多个候选粒子；以及基于所述多个候选粒子相对于所述对象的相似度，通过生成与所述视频帧中所述对象的位置相对应的最佳粒子来跟踪所述对象。所述生成步骤可以包括以下步骤：基于所述视频帧来生成与所述对象相对应的多个初始粒子；以及通过对所述多个初始粒子执行漂移及扩散中的至少一个来预测所述多个初始粒子的运动，由此生成所述多个候选粒子。可以通过改变所述多个初始粒子的运动矢量分量来执行所述漂移。可以通过改变所述多个初始粒子的边界框的坐标来执行所述扩散。生成所述多个初始粒子步骤可以包括以下步骤：当所述视频帧是初始视频帧时，使用高斯分布来生成以任意的随机值初始化的所述多个初始粒子。生成所述多个初始粒子步骤可以包括以下步骤：当所述视频帧不是初始视频帧时，通过对与所述视频帧的前一视频帧的对象相对应的多个候选粒子进行重新采样来生成所述多个初始粒子。通过对与所述视频帧的前一视频帧的对象相对应的多个候选粒子进行重新采样来生成所述多个初始粒子步骤可以包括以下步骤：从与所述前一视频帧的对象相对应的多个候选粒子中去除与所述前一视频帧的对象相对应的多个候选粒子中权重小的至少一个候选粒子；生成多个替代粒子，所述多个替代粒子与根据所述至少一个候选粒子的数量以任意随机值初始化的所述视频帧的对象相对应；以及将所述前一视频帧的多个未去除的候选粒子及所述多个替代粒子确定为所述多个初始粒子。所述跟踪步骤可以包括以下步骤：使用已学习的卷积神经网络模型来计算所述多个候选粒子相对于所述对象的相似度；基于所述相似度确定所述多个候选粒子的权重；以及通过在所述多个候选粒子中所述权重大的候选粒子的平均位置处生成所述最佳粒子来跟踪所述对象。可以以通过视频数据集的学习及通过最新跟踪的视频帧的学习中的至少一个来实现所述已学习的卷积神经网络模型的学习。通过所述视频数据集的学习可以是通过对于所述视频数据集的对象的正片及对于所述视频数据集的背景的负片进行的学习。通过所述最新跟踪的视频帧的学习可以是通过对于所述最新跟踪的视频帧的对象的正片及对于所述最新跟踪的视频帧的背景的负片进行的学习。所述跟踪步骤还可以包括以下步骤：通过被跟踪的对象来更新所述已学习的卷积神经网络模型。根据一实施例的对象跟踪装置，包括：通信模块，其接收视频帧；以及控制器，其为跟踪视频帧的对象，生成对应于所述对象的多个候选粒子；并基于所述多个候选粒子相对于所述对象的相似度，通过生成与所述视频帧中所述对象的位置相对应的最佳粒子来跟踪所述对象。所述控制器可以包括：粒子滤波器，其基于所述视频帧生成与所述对象相对应的多个初始粒子，并通过对所述多个初始粒子执行漂移及扩散中的至少一个来预测所述多个初始粒子的运动，由此生成所述多个候选粒子。可以通过改变所述多个初始粒子的运动矢量分量来执行所述漂移。可以通过改变所述多个初始粒子的边界框的坐标来执行所述扩散。当所述视频帧是初始视频帧时，所述粒子滤波器可以使用高斯分布来生成以任意的随机值初始化的所述多个初始粒子。当所述视频帧不是初始视频帧时，所述粒子滤波器可以通过对与所述视频帧的前一视频帧的对象相对应的多个候选粒子进行重新采样来生成所述多个初始粒子。所述粒子滤波器可以从与所述前一视频帧的对象相对应的多个候选粒子中去除与所述前一视频帧的对象相对应的多个候选粒子中权重小的至少一个候选粒子，并生成多个替代粒子(所述多个替代粒子与根据所述至少一个候选粒子的数量以任意随机值初始化的所述视频帧的对象相对应)，并将所述前一视频帧的多个未去除的候选粒子及所述多个替代粒子确定为所述多个初始粒子。所述控制器可以包括跟踪器，其使用已学习的卷积神经网络模型(CNN，convolutionalneuralnetwork)来计算所述多个候选粒子的所述对象的相似度，并基于所述相似度确定所述多个候选粒子的权重，并通过在所述多个候选粒子中所述权重大的候选粒子的平均位置处生成所述最佳粒子来跟踪所述对象。可以以通过视频数据集的学习及通过最新跟踪的视频帧的学习中的至少一个来实现所述已学习的卷积神经网络模型的学习。通过所述视频数据集的学习可以是通过对于所述视频数据集的对象的正片及对于所述视频数据集的背景的负片来进行的学习。通过所述最新跟踪的视频帧的学习可以是通过对于所述最新跟踪的视频帧的对象的正片及对于所述最新跟踪的视频帧的背景的负片来进行的学习。所述跟踪器可以通过被跟踪的对象来更新所述已学习的卷积神经网络模型。附图说明图1为显示根据一实施例的对象跟踪系统的框图的附图。图2为显示图1的对象跟踪装置的框图的附图。图3为显示图2的控制器的框图的附图。图4为显示用于描述根据一实施例的卷积神经网络(CNN)模型的示例的附图。图5为显示用于描述根据一实施例的以边界框标注的对象的示例的附图。图6为显示用于描述图1的对象跟踪装置的操作的流程图。具体实施方式本专利技术所公开的根据本专利技术的概念的实施例，对于特定结构或者功能的说明仅用于对按照本专利技术的概念的实施例进行说明，由此，根据本专利技术的概念的实施例能够以多种形态进行实施，并非限定于本专利技术说明的实施例。根据本专利技术的概念的实施例能够进行多种变更，并且，能够具有多种形态，由此，将实施例示例于附图中并在本说明书中进行详细说明。然而，这并非用于将按照本专利技术的概念的实施例限定于特定的公开形态，还应包括本专利技术的思想及技术范围内的变更、均等物，或替代物。第一或第二等术语能够用于说明多种构成要素，然而，并不用于限定所述构成要素。所述术语仅用于将一个构成要素区别于其他构成要素，例如，在权利要求书中记载的保护范围内，第一构成要素能够命名为第二构成要素，类似地，第二构成要素同样能够命名为第一构成要素。当说明一个构成要素“连接”或者“接触”另一个构成要素时，能够是直接连接或接触其他构成要素，然而，也能够理解为在它们之间存在其他构成要素。本文档来自技高网...

【技术保护点】
1.一种对象跟踪方法，包括以下步骤：/n为跟踪视频帧的对象，生成对应于所述对象的多个候选粒子；以及/n基于所述多个候选粒子相对于所述对象的相似度，通过生成与所述视频帧中所述对象的位置相对应的最佳粒子来跟踪所述对象。/n

【技术特征摘要】
【国外来华专利技术】20171221 KR 10-2017-01775211.一种对象跟踪方法，包括以下步骤：
为跟踪视频帧的对象，生成对应于所述对象的多个候选粒子；以及
基于所述多个候选粒子相对于所述对象的相似度，通过生成与所述视频帧中所述对象的位置相对应的最佳粒子来跟踪所述对象。


2.根据权利要求1所述的对象跟踪方法，
所述生成步骤，包括以下步骤：
基于所述视频帧来生成与所述对象相对应的多个初始粒子；以及
通过对所述多个初始粒子执行漂移及扩散中的至少一个来预测所述多个初始粒子的运动，由此生成所述多个候选粒子。


3.根据权利要求2所述的对象跟踪方法，
通过改变所述多个初始粒子的运动矢量分量来执行所述漂移，
通过改变所述多个初始粒子的边界框的坐标来执行所述扩散。


4.根据权利要求2所述的对象跟踪方法，
生成所述多个初始粒子步骤，包括以下步骤：
当所述视频帧是初始视频帧时，使用高斯分布来生成以任意的随机值初始化的所述多个初始粒子。


5.根据权利要求2所述的对象跟踪方法，
生成所述多个初始粒子步骤，包括以下步骤：
当所述视频帧不是初始视频帧时，通过对与所述视频帧的前一视频帧的对象相对应的多个候选粒子进行重新采样来生成所述多个初始粒子。


6.根据权利要求5所述的对象跟踪方法，
通过对与所述视频帧的前一视频帧的对象相对应的多个候选粒子进行重新采样来生成所述多个初始粒子步骤，包括以下步骤：
从与所述前一视频帧的对象相对应的多个候选粒子中去除与所述前一视频帧的对象相对应的多个候选粒子中权重小的至少一个候选粒子；
生成多个替代粒子，所述多个替代粒子与根据所述至少一个候选粒子的数量以任意随机值初始化的所述视频帧的对象相对应；以及
将所述前一视频帧的多个未去除的候选粒子及所述多个替代粒子确定为所述多个初始粒子。


7.根据权利要求1所述的对象跟踪方法，
所述跟踪步骤，包括以下步骤：
使用已学习的卷积神经网络模型来计算所述多个候选粒子相对于所述对象的相似度；
基于所述相似度确定所述多个候选粒子的权重；以及
通过在所述多个候选粒子中所述权重大的候选粒子的平均位置处生成所述最佳粒子来跟踪所述对象。


8.根据权利要求7所述的对象跟踪方法，
以通过视频数据集的学习及通过最新跟踪的视频帧的学习中的至少一个来实现所述已学习的卷积神经网络模型的学习。


9.根据权利要求8所述的对象跟踪方法，
通过所述视频数据集的学习是通过对于所述视频数据集的对象的正片及对于所述视频数据集的背景的负片进行的学习，
通过所述最新跟踪的视频帧的学习是通过对于所述最新跟踪的视频帧的对象的正片及对于所述最新跟踪的视频帧的背景的负片进行的学习。


10.根据权利要求7所述的对...

【专利技术属性】
技术研发人员：V泰安，金斗贤，
申请(专利权)人：建国大学校产学协力团，
类型：发明
国别省市：韩国;KR