基于深度特征流的目标跟踪方法、系统、终端及介质技术方案

本发明专利技术提供一种基于深度特征流的目标跟踪方法、系统、终端及介质，由视觉传感器捕获连续的视频帧序列，从视频帧序列中获得当前帧图像；检测移动物体，并确定至少一个包含该移动物体的关键帧、建立当前帧图和关键帧图像中对应的特征之间的映射关系并得到光流估计矢量图；分别过滤关键帧图像中的静止物体得到关于移动物体的运行特征提取网络提取特征图；将关键帧移动物体特征传播到当前帧上。本发明专利技术采用深度特征流处理图像速度快，对于视频分割、识别任务无影响，使用端到端的方式进行映射可以提高精度。

Target tracking method, system, terminal and medium based on deep feature stream

The present invention provides a target tracking method, system, terminal and medium based on the depth characteristic flow. The visual sensor captures a continuous video frame sequence, obtains the current frame image from the video frame sequence, detects the moving object, and determines at least one key frame containing the moving object, establishes the current frame graph and key frame. The mapping relationship between the corresponding features in the image and the estimation vector map of the optical flow is obtained; the stationary objects in the key frame image are filtered respectively to extract the feature graph of the running feature of the moving object, and the feature of the moving object of the key frame is propagated to the current frame. This invention uses the depth characteristic flow to process the image fast, has no influence on the video segmentation and recognition task, and can improve the precision by using the end - to - end way to map.

【技术实现步骤摘要】
基于深度特征流的目标跟踪方法、系统、终端及介质
本专利技术涉及车载电子
，特别是涉及一种基于深度特征流的目标跟踪方法、系统、终端及介质。
技术介绍
ADAS即先进驾驶辅助系统又称主动安全系统，主要包括车身电子稳定系统ESC、自适应巡航系统ACC、车道偏移报警系统LDW、车道保持系统LKA、前向碰撞预警系统FCW、开门预警DOW、自动紧急刹车系统AEB、交通标志识别TSR、盲点探测BSD、夜视系统NV、自动泊车系统APS等。ADAS主动安全系统不仅要识别静态的物体，也要识别动态的物体。目前深度卷积神经网络在图像识别任务上已经取得了极大的成功，然而将图像识别网络转换成视频识别网络却是一件十分复杂的工作，因为直接对视频中的每一帧进行测试速度会很慢，造成这种结果的原因是目标追踪中耗时最多的是候选区特征提取过程。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种基于深度特征流的目标跟踪方法、系统、终端及介质，第一，通过光流估计直接把关键帧的特征图传播到当前帧，且通过用特征传播得到的特征图代替真实特征图进而提高速度，借助于光流场进行特征在帧与帧之间的传播，在效果较差的帧上把其附近特征较好的帧传播过来，形成特征聚集；从而避免每一帧上都进行很复杂的卷积运算，减小了运算量，而且对于以后的视频分割、识别等任务并无影响。第二，光流估计利用双线性插值法将关键帧的特征图传播到当前帧的对应位置中，这种方式在给定一个关键帧以及两帧求出来的特征图之后，就可以对关键帧的特征图进行传播即把每个像素的特征图拷到对应当前帧的位置当中，可以解决遮挡、运动模糊等视频中的很多帧会有不理想的情况。第三，根据估计值做特征传播，把前后帧的特征都整合到当前帧，这三组特征图做一个特征聚合，最终得到一个融合多帧的特征图来进行测试，可以提高精度。一种基于深度特征流的目标跟踪方法，包括以下步骤：S01：由视觉传感器捕获连续的视频帧序列，从视频帧序列中获得当前帧图像；S02：检测移动物体，并从当前帧图像时间节点之前的视频帧序列中确定至少一个包含该移动物体的关键帧；从当前帧图像时间节点之后的视频帧序列中确定至少一个包含该物体的关键帧；S03：分别建立当前帧图和关键帧图像中对应的特征之间的映射关系，分别得到光流估计矢量图；S04：分别过滤关键帧图像中的静止物体得到关于移动物体的运行特征提取网络提取特征图；S05：将当前帧图像时间节点之前的关键帧获取的运行特征提取网络提取特征图与当前帧图像时间节点之前的关键帧图像得到光流估计矢量图通过特征传播整合在一起，得到第一特征融合图像；将当前帧图像时间节点之后的关键帧获取的运行特征提取网络提取特征图与当前指针图像节点之后的关键帧图像得到光流估计矢量图通过特征传播整合在一起，得到第二特征融合图像；将第一特征融合图像和第二特征融合图像进行特征聚合，得到特征聚合图；S06：在特征聚合图上运行任务网络，得到当前帧图像上标注出移动物体目标候选区框的输出结果。进一步地，步骤S02中根据追踪模型函数以及收集的追踪目标数据给一个追踪目标确定一个或几个关键帧图像时，关键帧图像的数量是根据追踪目标自起始出现在视觉传感器捕获图像时间开始至追踪目标消失在视觉传感器捕获图像为止的时间段长短来确定关键帧数量的。进一步地，步骤S02中根据追踪模型函数以及收集的追踪目标数据给一个追踪目标确定一个或几个关键帧图像时，关键帧图像的数量是根据追踪目标数据中高于权重阈值的表征特征像素点所在矢量的大小来确定关键帧数量的；当矢量的大小越大，关键帧图像的抽取的间隔越频繁；当矢量的大小越小，关键帧图像的抽取的间隔越稀疏。一种基于深度特征流的目标跟踪系统，包括视觉传感器、运动目标检测模块和目标追踪模块；所述视觉传感器用于捕获连续的视频帧序列；所述运动目标检测模块根据捕获的至少两帧图像为检测基础检测移动物体，将检测到的移动物体作为检测目标，建立追踪模型函数，收集追踪目标数据；根据追踪模型函数以及收集的追踪目标数据给每一个追踪目标从视觉传感器捕获图像中确定一个或几个关键帧；由视觉传感器根据捕获的至少当前帧图像和关键帧图像为基础，给当前帧图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场；根据当前帧图像的各个像素点的速度矢量特征对当前帧图像进行动态分析，生成由各个像素点的光流矢量组成的光流场；若当前帧图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当前帧图像中有运动物体时，则光流矢量不连续，根据光流矢量图中图像区域的不连续变化区域确定移动物体的位置；所述目标追踪模块根据运动目标检测模块检测到的移动物体作为追踪目标，根据追踪模型函数和收集的追踪目标数据在当前帧图像中搜索追踪目标中最具有代表性的关键特征点的疑似区域，分析这些当前帧图像中的关键特征点在视觉传感器捕获连续的视频帧序列中的移动特征是否是连续的或者符合运动逻辑的，则认定当前帧图像中的疑似区域是追踪目标，并以追踪目标的标识符标记该疑似区域。进一步地，所述运动目标检测模块还包括关键帧抽取频率分析模块，所述关键帧抽取频率分析模块根据追踪目标自起始出现在视觉传感器捕获图像时间开始至追踪目标消失在视觉传感器捕获图像为止的时间段长短来确定关键帧数量。进一步地，所述运动目标检测模块还包括关键帧抽取频率分析模块，关键帧抽取频率分析模块根据追踪目标数据中高于权重阈值的表征特征像素点所在矢量的大小来确定关键帧数量。进一步地，步骤S02中还包括以下步骤：由视觉传感器根据捕获的至少两帧图像为检测基础检测移动物体，将检测到的移动物体作为追踪目标，建立追踪模型函数，收集追踪目标数据。进一步地，步骤S03建立关系时还包括以下步骤：由视觉传感器根据捕获的当前帧图像，估计当前帧图像中可能为移动物体的追踪目标候选区，并提取追踪目标候选区中移动物体的表征特征，在关键帧图像中遍历这些表征特征进而找到全面覆盖这些表征特征的关键帧图像；建立当前帧图像的追踪目标候选区中的表征特征和与关键帧图像中与这些表征特征对应的特征之间的映射关系。进一步地，所述步骤S05中特征传播时，利用双线性插值法将关键帧图像的特征图传播到当前帧图像的对应位置中，在传播后的当前帧图像上运行任务网络，得到当前帧图像上标注出移动物体目标候选区框的输出结果。进一步地，步骤S05中利用双线性插值法将关键帧图像的特征图传播到当前帧图像的对应位置中，具体的特征传播方法为：S051：通过双线性缩放到和特征图有同样的空间分辨率用来传播，它将当前帧i的位置投影回关键帧k，特征变换通过双线性插值实现，所述双线性插值的公式：其中c代表特征图f的一个通道，其中q列出了关键帧图像运行特征提取网络得到的特征图中所有的空间位置，其中p表示当前帧图像中表征特征的空间位置，p+δp表示关键帧图像中表征特征的空间位置，G代表双线性插值核。双线性插值核G是二维的，双线性插值核G可以被分解成两个一维的核。S052：将双线性插值二维核G分解成两个一维的核，具体由下的公式：G(q,p+δp)＝g(qx,px+δpx)·g(qy,py+δpy)其中，g(a,b)＝max(0,1-|a-b|)，qx表示空间位置中的横坐标位置，px+δpx表示关键帧空间位置中的x坐标，qy表示空间位置中的横坐标位置本文档来自技高网...

【技术保护点】
1.基于深度特征流的目标跟踪方法，其特征在于，包括以下步骤：S01：由视觉传感器捕获连续的视频帧序列，从视频帧序列中获得当前帧图像；S02：检测移动物体，并从当前帧图像时间节点之前的视频帧序列中确定至少一个包含该移动物体的关键帧；从当前帧图像时间节点之后的视频帧序列中确定至少一个包含该物体的关键帧；S03：分别建立当前帧图和关键帧图像中对应的特征之间的映射关系，分别得到光流估计矢量图；S04：分别过滤关键帧图像中的静止物体得到关于移动物体的运行特征提取网络提取特征图；S05：将当前帧图像时间节点之前的关键帧获取的运行特征提取网络提取特征图与当前帧图像时间节点之前的关键帧图像得到光流估计矢量图通过特征传播整合在一起，得到第一特征融合图像；将当前帧图像时间节点之后的关键帧获取的运行特征提取网络提取特征图与当前指针图像节点之后的关键帧图像得到光流估计矢量图通过特征传播整合在一起，得到第二特征融合图像；将第一特征融合图像和第二特征融合图像进行特征聚合，得到特征聚合图；S06：在特征聚合图上运行任务网络，得到当前帧图像上标注出移动物体目标候选区框的输出结果。

【技术特征摘要】
1.基于深度特征流的目标跟踪方法，其特征在于，包括以下步骤：S01：由视觉传感器捕获连续的视频帧序列，从视频帧序列中获得当前帧图像；S02：检测移动物体，并从当前帧图像时间节点之前的视频帧序列中确定至少一个包含该移动物体的关键帧；从当前帧图像时间节点之后的视频帧序列中确定至少一个包含该物体的关键帧；S03：分别建立当前帧图和关键帧图像中对应的特征之间的映射关系，分别得到光流估计矢量图；S04：分别过滤关键帧图像中的静止物体得到关于移动物体的运行特征提取网络提取特征图；S05：将当前帧图像时间节点之前的关键帧获取的运行特征提取网络提取特征图与当前帧图像时间节点之前的关键帧图像得到光流估计矢量图通过特征传播整合在一起，得到第一特征融合图像；将当前帧图像时间节点之后的关键帧获取的运行特征提取网络提取特征图与当前指针图像节点之后的关键帧图像得到光流估计矢量图通过特征传播整合在一起，得到第二特征融合图像；将第一特征融合图像和第二特征融合图像进行特征聚合，得到特征聚合图；S06：在特征聚合图上运行任务网络，得到当前帧图像上标注出移动物体目标候选区框的输出结果。2.根据权利要求1所述的基于深度特征流的目标跟踪方法，其特征在于，所述步骤S02中根据追踪模型函数以及收集的追踪目标数据给一个追踪目标确定一个或几个关键帧图像时，关键帧图像的数量是根据追踪目标自起始出现在视觉传感器捕获图像时间开始至追踪目标消失在视觉传感器捕获图像为止的时间段长短来确定关键帧数量或是根据追踪目标数据中高于权重阈值的表征特征像素点所在矢量的大小来确定关键帧数量。3.根据权利要求2所述的基于深度特征流的目标跟踪方法，其特征在于，步骤S02中还包括以下步骤：由视觉传感器根据捕获的至少两帧图像为检测基础检测移动物体，将检测到的移动物体作为追踪目标，建立追踪模型函数，收集追踪目标数据。4.根据权利要求2所述的基于深度特征流的目标跟踪方法，其特征在于，步骤S03建立关系时还包括以下步骤：由视觉传感器根据捕获的当前帧图像，估计当前帧图像中可能为移动物体的追踪目标候选区，并提取追踪目标候选区中移动物体的表征特征，在关键帧图像中遍历这些表征特征进而找到全面覆盖这些表征特征的关键帧图像；建立当前帧图像的追踪目标候选区中的表征特征和与关键帧图像中与这些表征特征对应的特征之间的映射关系。5.根据权利要求4所述的基于深度特征流的目标跟踪方法，其特征在于，所述步骤S05中利用双线性插值法将关键帧图像的特征图传播到当前帧图像的对应位置中，具体的特征传播方法为：S051：通过双线性缩放到和特征图有同样的空间分辨率用来传播，它将当前帧i的位置投影回关键帧k，特征变换通过双线性插值实现，所述双线性插值的公式：其中c代表特征图f的一个通道，其中q列出了关键帧图像运行特征提取网络得到的特征图中所有的空间位置，其中p表示当前帧图像中表征特征的空间位置，p+δp表示关键帧图像中表征特征的空间位置，G代表双线性插值核。双线性插值核G是二维的，双线性插值核G可以被分解成两个一维的核；S052：将双线性插值二维核G分解成两个一维的核，具体由下的公式：G(q,p+δp)＝g(qx,px+δpx)·g(qy,py+δpy)其中，g(a,b)＝max(0,1-|...

【专利技术属性】
技术研发人员：吴子章，王凡，唐锐，
申请(专利权)人：北京纵目安驰智能科技有限公司，
类型：发明
国别省市：北京,11