目标跟踪方法、装置、计算机可读存储介质和计算机设备制造方法及图纸

本申请涉及计算机视觉领域，提供一种目标跟踪方法、装置、计算机可读存储介质和计算机设备，其中方法包括：获取当前视频帧及历史视频帧集合；获取当前视频帧对应的跟踪候选区域集合；获取历史视频帧集合对应的目标历史跟踪轨迹集合，根据历史视频帧集合确定中各个目标历史跟踪轨迹对应的光流运动特征，形成第一运动特征集合；获取各个跟踪候选区域对应的光流运动特征，形成第二运动特征集合；获取第一运动特征集合和第二运动特征集合之间的第一元素距离，得到第一运动关联矩阵；根据第一运动关联矩阵，将目标历史跟踪轨迹与跟踪候选区域进行匹配，根据匹配结果确定各个目标历史跟踪轨迹对应的跟踪结果。本申请提供的方法可以提高目标跟踪的准确率。

【技术实现步骤摘要】
目标跟踪方法、装置、计算机可读存储介质和计算机设备
本申请涉及计算机视觉
，特别是涉及一种目标跟踪方法、装置、计算机可读存储介质和计算机设备。
技术介绍
随着计算机视觉技术的发展，出现了目标跟踪技术，目标跟踪就是对视频中给定的目标进行分析跟踪，以确定视频中目标的确切位置，目标跟踪在视频监控、导航、军事、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。传统技术中，目标跟踪方法多为基于相关滤波跟踪原理的跟踪方法，该跟踪方法是根据视频的前一帧中跟踪到的目标区域更新相关滤波器，进而根据更新后的相关滤波器对当前视频帧进行目标跟踪，在跟踪过程中，相关滤波器以目标的表观特征为基准在当前视频帧中进行目标跟踪。然而，这种方法由于依赖于目标的表观特征，当目标被遮挡时或者存在外观相似的目标等干扰情况时，容易造成目标身份切换，导致跟踪的准确率低。
技术实现思路
基于此，有必要针对传统技术中跟踪准确率低的技术问题，提供一种目标跟踪方法、装置、计算机可读存储介质和计算机设备。一种目标跟踪方法，包括：获取当前视频帧及所述当前视频帧对应的历史视频帧集合；获取所述当前视频帧对应的跟踪候选区域集合；获取所述历史视频帧集合对应的目标历史跟踪轨迹集合，根据所述历史视频帧集合确定所述目标历史跟踪轨迹集合中各个目标历史跟踪轨迹对应的光流运动特征，形成第一运动特征集合；获取所述跟踪候选区域集合中各个跟踪候选区域对应的光流运动特征，形成第二运动特征集合；获取所述第一运动特征集合和所述第二运动特征集合之间的第一元素距离，得到第一运动关联矩阵；根据所述第一运动关联矩阵，将所述各个目标历史跟踪轨迹与所述跟踪候选区域进行匹配，根据匹配结果确定所述各个目标历史跟踪轨迹对应的跟踪结果。一种目标跟踪装置，所述装置包括：视频帧获取模块，用于获取当前视频帧及所述当前视频帧对应的历史视频帧集合；跟踪候选区域获取模块，用于获取所述当前视频帧对应的跟踪候选区域集合；第一运动特征获取模块，用于获取所述历史视频帧集合对应的目标历史跟踪轨迹集合，根据所述历史视频帧集合确定所述目标历史跟踪轨迹集合中各个目标历史跟踪轨迹对应的光流运动特征，形成第一运动特征集合；第二运动特征获取模块，用于获取所述跟踪候选区域集合中各个跟踪候选区域对应的光流运动特征，形成第二运动特征集合；第一运动关联矩阵获得模块，用于获取所述第一运动特征集合和所述第二运动特征集合之间的第一元素距离，得到第一运动关联矩阵；匹配模块，用于根据所述第一运动关联矩阵，将所述各个目标历史跟踪轨迹与所述跟踪候选区域进行匹配，根据匹配结果确定所述各个目标历史跟踪轨迹对应的跟踪结果。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述目标跟踪方法所述的步骤。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述目标跟踪方法所述的步骤。上述目标跟踪方法、装置、计算机可读存储介质和计算机设备，通过获取当前视频帧及当前视频帧对应的历史视频帧集合,获取当前视频帧对应的跟踪候选区域集合，进一步获取历史视频帧集合对应的目标历史跟踪轨迹集合，根据历史视频帧集合确定各个目标历史跟踪轨迹对应的光流运动特征，形成第一运动特征集合，接着获取各个跟踪候选区域对应的光流运动特征，形成第二运动特征集合，最后获取第一运动特征集合和第二运动特征集合之间的第一元素距离，得到第一运动关联矩阵，根据第一运动关联矩阵，将各个目标历史跟踪轨迹与跟踪候选区域进行匹配，根据匹配结果确定各个目标历史跟踪轨迹对应的跟踪结果，实现了根据光流运动特征进行目标跟踪，由于同一目标在短时间的运动过程中历史运动与当前运动基本一致，而不同目标的运动之间存在差异，因此根据光流运动特征得到的运动关联矩阵进行匹配，可以降低由于表观特征的影响导致的身份切换问题，提高目标跟踪的准确性。附图说明图1为一个实施例中目标跟踪方法的应用环境图；图2为一个实施例中目标跟踪方法的流程示意图；图3为一个实施例中通过光流估计模型进行光流估计的流程示意图；图4为一个实施例中通过光流估计模型进行光流估计的过程示意图；图5为一个实施例中确定目标历史跟踪轨迹集合及候选跟踪区域集合的步骤流程示意图；图6为一个实施例中目标跟踪方法的框架图；图7为一个实施例中光流运动部分的细节图；图8为一个实施例中目标跟踪装置的结构框图；图9为另一个实施例中第一运动特征提取模块的结构框图；图10为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中目标跟踪方法的应用环境图。参照图1，该目标跟踪方法应用于目标跟踪系统。该目标跟踪系统包括摄像头110和计算机设备120。摄像头110和计算机设备120通过网络连接。计算机设备120可以是终端，也可以是服务器，其中，终端具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种；服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。摄像头110可以是单目摄像头，也可以是双目摄像头。需要说明的是，本申请实施例提供的目标跟踪方法涉及到人工智能领域的计算机视觉、机器学习等多种技术。其中，计算机视觉技术(ComputerVision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。以下将结合具体实施例进行说明。如图2所示，在一个实施例中，提供了一种目标跟踪方法。本实施例主要以该方法应用于上述图1中的计算机设备来举例说明。参照图2，该目标跟踪方法具体包括如下步骤：S202，获取当前视频帧及当前视频帧对应的历史视频帧集合。其中，当前视频帧指的是最新一帧需要进行目标跟踪的视频帧。当前视频帧对应的历史视频帧集合指的是在当前视频帧对应的时间之前的至少一帧视频帧所组成的集合。历史视频帧集合具体可以是当前视频帧之前的连续多帧历史视频帧所组成的集合。具体地，计算机设备可实时接收摄像头采集的视频帧，也可以间隔一段预设时间接收摄像头在该本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，包括：/n获取当前视频帧及所述当前视频帧对应的历史视频帧集合；/n获取所述当前视频帧对应的跟踪候选区域集合；/n获取所述历史视频帧集合对应的目标历史跟踪轨迹集合，根据所述历史视频帧集合确定所述目标历史跟踪轨迹集合中各个目标历史跟踪轨迹对应的光流运动特征，形成第一运动特征集合；/n获取所述跟踪候选区域集合中各个跟踪候选区域对应的光流运动特征，形成第二运动特征集合；/n获取所述第一运动特征集合和所述第二运动特征集合之间的第一元素距离，得到第一运动关联矩阵；/n根据所述第一运动关联矩阵，将所述各个目标历史跟踪轨迹与所述跟踪候选区域进行匹配，根据匹配结果确定所述各个目标历史跟踪轨迹对应的跟踪结果。/n

【技术特征摘要】
1.一种目标跟踪方法，包括：
获取当前视频帧及所述当前视频帧对应的历史视频帧集合；
获取所述当前视频帧对应的跟踪候选区域集合；
获取所述历史视频帧集合对应的目标历史跟踪轨迹集合，根据所述历史视频帧集合确定所述目标历史跟踪轨迹集合中各个目标历史跟踪轨迹对应的光流运动特征，形成第一运动特征集合；
获取所述跟踪候选区域集合中各个跟踪候选区域对应的光流运动特征，形成第二运动特征集合；
获取所述第一运动特征集合和所述第二运动特征集合之间的第一元素距离，得到第一运动关联矩阵；
根据所述第一运动关联矩阵，将所述各个目标历史跟踪轨迹与所述跟踪候选区域进行匹配，根据匹配结果确定所述各个目标历史跟踪轨迹对应的跟踪结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述历史视频帧集合确定所述目标历史跟踪轨迹集合中各个目标历史跟踪轨迹对应的光流运动特征，包括：
将所述历史视频帧集合输入已训练的光流估计模型中，得到多个帧间光流图；
根据各个目标历史跟踪轨迹对应的历史跟踪区域从所述多个帧间光流图中确定各个目标历史跟踪轨迹对应的光流区域；
对各个目标历史跟踪轨迹对应的光流区域进行特征提取，得到各个目标历史跟踪轨迹对应的光流运动特征。


3.根据权利要求2所述的方法，其特征在于，所述光流估计模型包括第一卷积层、第二卷积层以及相关层；所述将所述历史视频帧集合输入已训练的光流估计模型中，得到多个帧间光流图，包括：
将所述历史视频帧集合中邻近两帧历史视频帧输入所述第一卷积层，通过所述第一卷积层进行特征提取，得到邻近两帧历史视频帧各自对应的特征图；
将邻近两帧历史视频帧各自对应的特征图输入所述相关层，通过所述相关层对所述特征图进行相关操作，得到帧间成本量；所述帧间成本量用于进行光流估计得到对应的粗粒度光流图；
将所述粗粒度光流图输入所述第二卷积层，通过所述第二卷积层进行细化操作，得到候选光流图，根据所述候选光流图得到邻近两帧历史视频帧对应的帧间光流图。


4.根据权利要求3所述的方法，其特征在于，所述第一卷积层包括多层；所述光流估计模型还包括第三卷积层；所述第二卷积层的输入还包括联结特征图；在所述将所述粗粒度光流图输入所述第二卷积层，通过所述第二卷积层进行细化操作，得到候选光流图之前，所述方法还包括：
将所述帧间成本量输入所述第三卷积层，通过所述第三卷积层对所述帧间成本量进行特征提取并融合所述第一卷积层中末尾层卷积层之前的卷积层输出的特征图，得到所述联结特征图。


5.根据权利要求1所述的方法，其特征在于，在所述根据所述历史视频帧集合确定所述目标历史跟踪轨迹集合中各个目标历史跟踪轨迹对应的光流运动特征之前，所述方法还包括：
确定各个目标历史跟踪轨迹在所述当前视频帧中对应的估计跟踪区域，得到估计跟踪区域集合；
获取所述估计跟踪区域集合与所述跟踪候选区域集合之间的第二元素距离，得到第二运动关联矩阵；
所述根据所述第一运动关联矩阵，将所述各个目标历史跟踪轨迹与所述跟踪候选区域进行匹配包括：
融合所述第一运动关联矩阵及所述第二运动关联矩阵，得到目标运动关联矩阵；
根据所述目标运动关联矩阵，将所述各个目标历史跟踪轨迹与所述跟踪候选区域进行匹配。


6.根据权利要求1所述的方法，其特征在于，在所述获取所述当前视频帧对应的跟踪候选区域集合之前，所述方法还包括：
从当前历史跟踪轨迹集合中选取连续相同帧匹配失败的历史跟踪轨迹，将连续相同帧匹配失败的历史跟踪轨迹组成候选历史跟踪轨迹集合，得到多个候选历史跟踪轨迹集合；
分别获取各个候选历史跟踪轨迹集合对应的第一表观特征集合；
获取所述跟踪候选区域集合对应的第二表观特征集合；
分别获取各个第一表观特征集合与所述第二表观特征集合之间的第三元素距离，得到各个候选历史跟踪轨迹集合对应的特征距离矩阵；
分别根据各个特征距离矩阵，将各个所述候选历史跟踪轨迹集合中的历史跟踪轨迹中与当前目标区域集合中的当前目标区域进行匹配；所述当前目标区域为对所述当前视频帧进行目标检测得到的区域；
分别获取各个所述候选历史跟踪轨迹集合中匹配失败的历史跟踪轨迹，将获取的所述历史跟踪轨迹组成目标历史跟踪轨迹集合；
获取所述当前目标区域集合中匹配失败的当前目标区域，将获取的所述当前目标区域组成跟踪候选区域集合。

【专利技术属性】
技术研发人员：关硕森，张毅，孙星，余宗桥，彭湃，郭晓威，黄小明，吴永坚，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44