一种面向资源受限环境的目标跟踪方法及装置制造方法及图纸

本发明专利技术提供一种面向资源受限环境的目标跟踪方法及装置，该方法的步骤包括：提取视频流当前帧的上一帧的目标位置的图像特征，根据该图像特征构建目标模板T1；提取当前帧对应于上一帧的目标位置处的图像特征，根据该图像特征构建目标模板T2；将目标模板T1和目标模板T2进行模板匹配，获得一个输出响应；找出输出响应的最大值，其为当前帧与上一帧之间的目标偏移位置，根据该目标偏移位置获得当前帧的目标位置；提取当前帧的目标位置的图像特征，根据该图像特征构建目标模板T3，将该目标模板T3替换目标模板T2，用于跟踪下一帧的目标位置，实现该视频流的目标跟踪。

A Target Tracking Method and Device for Resource-constrained Environment

The invention provides a target tracking method and device for resource-constrained environment. The steps of the method include: extracting the image features of the target position of the previous frame in the current video stream, constructing the target template T1 according to the image features, extracting the image features of the current frame corresponding to the target position of the previous frame, and according to the graph. Target template T2 is constructed by image features; target template T1 and target template T2 are matched to obtain an output response; the maximum output response is found, which is the target offset between the current frame and the previous frame, and the target position of the current frame is obtained according to the target offset; and the target position of the current frame is extracted. According to the image features, the target template T3 is constructed, and the target template T3 is replaced by the target template T2 to track the target position of the next frame and realize the target tracking of the video stream.

【技术实现步骤摘要】
一种面向资源受限环境的目标跟踪方法及装置
本专利技术涉及数字图像处理和计算机视觉领域，特别是涉及一种面向资源受限环境的目标跟踪方法及装置。
技术介绍
目标跟踪技术是计算机视觉领域研究的热点内容之一，在武器制导、军事侦查、先进辅助驾驶系统、自动驾驶、机器人导航、视频监控、人机交互及虚拟现实技术中都有广泛的应用，具有重要的研究意义。由于应用场景的限制(设备安装空间、设备发热控制、恶劣自然条件等)，这些应用大多都部署在能源、计算、存储等资源严重受限的硬件平台上。同时这些应用绝大多数对跟踪性能有严苛的要求，系统必须同时兼具实时、准确和鲁棒。以武器制导系统为例，实时要求系统具备高速处理能力，能在第一时间发现目标，锁定目标，否则战机稍瞬即逝；准确要求系统具备极高的跟踪精度，不能有丝毫偏差，能够百发百中；鲁棒要求系统能在极端复杂的环境下准确无误稳定的运行，具备全天候做战能力。在资源严格受限的条件下，当前主流目标跟踪方法，如KCF、TLD，占用存储大，处理速度慢，难以实现高效能的目标跟踪。
技术实现思路
本专利技术的目的是提供一种面向资源受限环境的目标跟踪方法及装置，能够解决当前目标跟踪方法在资源受限环境下速度慢、精度低、功耗高等问题。为达到上述目的，本专利技术采用的技术方案是：一种面向资源受限环境的目标跟踪方法，其步骤包括：提取视频流当前帧的上一帧的目标位置的图像特征，根据该图像特征构建目标模板T1；提取当前帧对应于上一帧的目标位置处的图像特征，根据该图像特征构建目标模板T2；将目标模板T1和目标模板T2进行模板匹配，获得一个输出响应；找出输出响应的最大值，其为当前帧与上一帧之间的目标偏移位置，根据该目标偏移位置获得当前帧的目标位置；提取当前帧的目标位置的图像特征，根据该图像特征构建目标模板T3，将该目标模板T3替换目标模板T2，用于跟踪下一帧的目标位置，实现该视频流的目标跟踪。进一步地，所述图像特征包括灰度特征、梯度特征、纹理特征、深度特征等。进一步地，对所述图像特征进行定点化，定点化是将浮点数转换为定点数一种方法，定点数的计算相较于浮点数更快，存储占用更低，通过将图像特征进行定点化，加快计算速度和降低存储占用，方法为：计算图像特征的浮点特征z的最大值和最小值，确定标值Q，得到其定点特征q＝z*2Q。进一步地，利用快速傅里叶变换来构建目标模板，步骤如下：首先将一个二维高斯函数进行二维快速傅里叶变换，得到X；对图像特征F取共轭，得到F’；对F’逐通道进行二维快速傅里叶变换，得到FY；将FY对应通道相加，得到Z’；对X和Z’进行点除操作，得到D；对D逐通道进行逆傅里叶变换，得到目标模板。进一步地，采用快速相关滤波进行模板匹配，步骤包括：对目标模板T1和目标模板T2分别进行快速傅里叶变换，对应得到T1’、T2’；对T1’、T2’进行点乘操作，得到D；对D逐通道进行逆傅里叶变换，获得输出响应。一种面向资源受限环境下的目标跟踪装置，包括存储器和处理器，所述存储器存储计算机程序，所述程序被配置为由所述处理器执行，所述程序包括用于执行上述方法中各步骤的指令。进一步，提取图像特征时，使用循环结构按递减方式逐像素计算特征，最大程度并行提取特征，加速提取特征的速度；将小于20次的循环结构设计为顺序执行结构，避免循环结构内的复杂条件语句阻碍程序并行提取特征。进一步，使用关键字限定指针、引用和数组，去除存储器相关性，在使用循环结构逐像素计算特征并存储特征时可以避免因存储相关而打断并行，导致降低特征提取速度。进一步，进行存储器对齐。进一步，利用内存复用方法来降低内存消耗，提高内存利用率。与现有技术相比，本专利技术的优点是：本专利技术方法利用上一帧的目标模板与当前帧的目标模板进行匹配，根据输出响应最大值获得当前帧的目标位置，根据该目标位置生成新的目标模板，替换旧的目标模板，用于计算下一帧的目标位置，如此通过逐帧的目标模板更新和目标跟踪，实现整个视频流的目标跟踪。进一步地通过定点化方法提取图像特征、通过快速傅里叶变换来来构建所述目标模板以及通过快速相关滤波进行模板匹配等手段提升目标预测的速度和精度。基于本专利技术方法的装置进一步地通过循环结构的优化、去除存储器相关性、存储器对齐以及内存复用，使所需存储资源和计算资源大大减少，可支持资源受限环境的、低功耗设备上运行，而且能达到较高的跟踪精度，具有较强的实时性。本专利技术适用于机器人、无人机、无人车、武器控制系统、人机交互、安防监控等领域的物体自动跟踪。附图说明图1是实施例的一种面向资源受限环境的目标跟踪方法的流程图。图2是本专利技术方法与现有技术的实验数据对比图。具体实施方式为使本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。本实施例以在低功耗TIDSP上跟踪行人为例，提供一种面向资源受限环境下的目标跟踪方法，如图1所示，步骤包括：1.在视频流第1帧中手动标出目标位置；2.对目标位置的图像M提取图像梯度特征F并定点化，提取特征步骤如下：1)对M中的每个像素(x,y)求水平方向梯度值：Gx(x,y)＝H(x+1,y)-H(x-1,y)；2)对M中的每个像素(x,y)求垂直方向梯度值：Gy(x,y)＝P(x+1,y)-P(x-1,y)；3)对M中的每个像素(x,y)求梯度幅值：4)对M中的每个像素(x,y)求梯度方向：5)迭代以上四步直到所有像素遍历一遍，跳转至下一步；6)使用双线性插值算法对直方图的每个cell内的每个像素迭代计算直方图的值：H(d＝＝Nearset(α(x,y)))＝v*G(x,y)；H(d＝＝Fartest(α(x,y)))＝(1-v)*G(x,y)；7)逐cell逐像素循环迭代执行步骤6，直到所有cell计算完毕，转入下一步；8)每4个cell的直方图串联在一起，形成一个block的直方图；9)循环迭代第8)步，直到所有block的特征串联完毕，转入下一步；10)对每个block内的直方图进行对比度归一化；11)串联所有block的直方图，得到最终的梯度特征F。以上步骤中P(x,y)表示M中坐标(x,y)处的像素值，v表示双线性插值的权重，Nearset操作获取离当前梯度方向最近的bin，Fartest操作获取离当前最远的bin。定点化步骤如下：1)计算原浮点特征的最大值和最小值；2)根据原浮点特征的最大值和最小值确定标值Q；3)对于一个浮点特征z，它的定点表示q＝z*2Q。3.使用上一步提取的图像特征F使用快速傅里叶变换来在线构建一个目标模板T1，构建步骤如下：1)首先将一个二维高斯函数进行二维快速傅里叶变换，得到X；2)对F取共轭，得到F’；3)对F’逐通道进行二维快速傅里叶变换，得到FY；4)将FY对应通道相加，得到Z’；5)对X和Z’进行点除操作，得到D；6)对D逐通道进行逆傅里叶变换，得到目标模板T。4.在视频流第2帧的在对应于第1帧中的目标位置上提取图像特征，构建一个目标模板T2，然后使用目标模板T1和目标模板T2进行模板匹配，获得一个输出响应，匹配步骤为：1)对T1和T2分别进行快速傅里叶变换，对应得到T1’、T2’；2)T1’、T2’进行点乘操作，得到D；3)对D逐通道进行逆傅里叶变换，获得输出响应R。5.在输出响应中找出最大值，该最大值所在位置就是本文档来自技高网...

【技术保护点】
1.一种面向资源受限环境的目标跟踪方法，其步骤包括：提取视频流当前帧的上一帧的目标位置的图像特征，根据该图像特征构建目标模板T1；提取当前帧对应于上一帧的目标位置处的图像特征，根据该图像特征构建目标模板T2；将目标模板T1和目标模板T2进行模板匹配，获得一个输出响应；找出输出响应的最大值，其为当前帧与上一帧之间的目标偏移位置，根据该目标偏移位置获得当前帧的目标位置；提取当前帧的目标位置的图像特征，根据该图像特征构建目标模板T3，将该目标模板T3替换目标模板T2，用于跟踪下一帧的目标位置，实现该视频流的目标跟踪。

【技术特征摘要】
1.一种面向资源受限环境的目标跟踪方法，其步骤包括：提取视频流当前帧的上一帧的目标位置的图像特征，根据该图像特征构建目标模板T1；提取当前帧对应于上一帧的目标位置处的图像特征，根据该图像特征构建目标模板T2；将目标模板T1和目标模板T2进行模板匹配，获得一个输出响应；找出输出响应的最大值，其为当前帧与上一帧之间的目标偏移位置，根据该目标偏移位置获得当前帧的目标位置；提取当前帧的目标位置的图像特征，根据该图像特征构建目标模板T3，将该目标模板T3替换目标模板T2，用于跟踪下一帧的目标位置，实现该视频流的目标跟踪。2.根据权利要求1所述的方法，其特征在于，所述图像特征包括灰度特征、梯度特征、纹理特征、深度特征。3.根据权利要求1所述的方法，其特征在于，对所述图像特征进行定点化，方法为：计算图像特征的浮点特征z的最大值和最小值，确定标值Q，得到其定点特征q＝z*2Q。4.根据权利要求1所述的方法，其特征在于，利用快速傅里叶变换来构建目标模板，步骤包括：将一个二维高斯函数进行二维快速傅里叶变换，得X；对图像特征F取共轭，得到F’；...

【专利技术属性】
技术研发人员：葛仕明，罗朝，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11