一种可嵌入式实现的目标跟踪方法技术

本发明专利技术涉及一种可嵌入式实现的目标跟踪方法，首先对视频的初始帧，利用鼠标框选出待跟踪的目标，然后提取第一帧图象的特征点和特征点描述符加以保存；之后对视频的后续帧主要做三部分工作，检测当前帧的特征点与初始帧的前景和背景特征点进行匹配，匹配时利用拉普拉斯约束当前帧的目标中心的可能位置，排除大量背景特征点，再利用前向‑后向光流跟踪算法跟踪得到当前帧的特征点，对这两部分的特征点加以融合得到初步特征点；然后利用当前帧特征点评估出目标相对于初始帧的旋转角度和尺度变化，并进行投票聚类得出新的目标中心和目标框。可以应用在实时性要求较高和计算资源有限的嵌入式系统中实现目标跟踪。

An Embedded Target Tracking Method

The invention relates to an embeddable target tracking method. Firstly, the target to be tracked is selected by using the mouse frame in the initial frame of video, and then the feature points and feature points descriptors of the first frame image are extracted and saved. Then, the following frames of video are mainly divided into three parts to detect the feature points of the current frame and match the foreground and background feature points of the initial frame. Laplacian constraints are used to constrain the possible position of the target center in the current frame, eliminating a large number of background feature points, and then the forward and backward optical flow tracking algorithm is used to track the feature points of the current frame. The feature points of the two parts are fused to obtain the initial feature points. Then the rotation angle and scale change of the target relative to the initial frame are evaluated by using the feature points of the current frame. New target centers and target frames are obtained by voting clustering. It can be used in embedded systems with high real-time requirements and limited computing resources to achieve target tracking.

【技术实现步骤摘要】
一种可嵌入式实现的目标跟踪方法
本专利技术属于实时目标跟踪技术，涉及一种可嵌入式实现的目标跟踪方法，利用一定的约束对待跟踪目标进行预测，专利技术成果可用于各类军事或民用的目标跟踪系统中。
技术介绍
随着人工智能时代的到来，计算机视觉作为人工智能应用的主要领域，已在学术界和工业界得到的极大地关注。视频信息动态目标跟踪是计算机视觉领域一个非常经典而且很有挑战的一个热点研究方向，是研究场景语义理解，行为识别，人机交互等更深层次任务的基础，对探索人工智能的发展具有重要的前瞻性意义。计算机运算性能的快速提升和高分辨率摄像技术的快速进步，极大的加速了目标跟踪领域的发展。近几年来，随着便携设备的普及，许多移动摄像设备出现在生活中，其产生的视频信息，如果能够进行处理，将会提高人们的工作效率。并且固定摄像的模式下，视频不能对运动目标进行连续监控，监控范围也有限。在摄像机移动的情况下，摄像机的移动导致背景不再静止，因此目标跟踪的难度也大大的更加。静态背景下常用的视频目标跟踪经典算法已经不再适用。基于视觉的目标检测和目标跟踪技术交叉了计算机、物理学、数学、心理学和图像处理等相关学科的各种知识，被广泛的应用于军事和民用的领域中。因此，研究动态背景下目标跟踪的算法研究具有更重要意义。目前的前沿目标跟踪算法主要集中在核相关滤波和深度学习领域，但是这两种算法对计算机的性能要求较高，同时难以实现实时性，无法应用于有限资源的嵌入式操作系统。近年来，一种利用目标特征点附以光流的跟踪方式较为流行，其对系统资源依赖性少，且可实现实时。但是这类方法跟踪精度略低，不能满足实际的跟踪任务。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种可嵌入式实现的目标跟踪方法，提出一种基于特征点且结合拉普拉斯约束的目标跟踪策略，同时提高了目标跟踪的精度和实时性。技术方案一种可嵌入式实现的目标跟踪方法，其特征在于步骤如下：步骤1：在连续的视频序列图像中，以选定待跟踪目标的视频为初始帧，采用ORB方法检测所有前景特征点和背景特征点及其描述符；256维的特征描述符向量：所述则每一个特征点都得到了一个256维的特征点描述符记为：其中：n为256，p(x)代表x处像素点的灰度值；步骤2：采用ORB方法对后续的每一帧视频信息的特征点提取和特征点描述符提取，并且与初始帧的特征点描述符进行全局匹配，结果集合为M，同时对初始帧的前景特征点利用光流法得到下一桢的特征点，结果集合记为T：将这两种特征点进行融合，过程为：1、计算第t-1帧的目标框的中心C(x,y)，以及目标框的宽度w和高度h，同时设x',y',w',h'为第t帧目标框的中心坐标和尺度，则：δ为相邻帧轨迹变化参数得出第t帧的更为精简的特征点集合，记为：2、采用海明距离计算步骤1初始帧前景特征点与本步骤计算当前帧特征点之间的距离，采用二次最近邻距离判据，得到结果集合为M：其中d(*)表示特征点描述符之间的海明距离，θ和γ为阈值，其中θ＝0.25，γ＝0.8；采用Lucas-Kanade光流法对第t-1帧的前景特征点进行其到第t帧的跟踪：其中，u代表像素点延x轴的速度，v代表像素点延y轴的速度，矩阵A代表n个像素点分别延x轴和y轴的变化，ω为高斯窗口函数，变量为像素点到窗口中心的距离。根据计算出来的光流场可以快速计算出第t帧的特征点位置，结果集合记为T；3、对全局匹配和光流跟踪得到的两部分前景特征点进行不重复融合，融合后的特征点集合为K：其中，aik为特征点的绝对坐标，mik为特征点对的索引；步骤3、计算尺度和旋转角度：利用步骤2计算的当前帧图象和初始目标模板的前景特征点之间相对位置关系的几何不变性来进行尺度因子s和旋转因子α的计算：α＝med(Dα)s＝med(Ds)步骤4：根据刚性物体目标位置相对不变性，利用当前帧的特征点对当前帧的目标中心进行投票，并且采用层次聚类法得到票数最多的类，确定当前帧目框，过程如下：hR(a,m)＝a-s·Rrm,其中1、投票函数为其中a当前特征点的坐标；2、Vc为票数最多的类，则当前目标中心为：设ci为前一帧的目标框的四个顶点，c′i为当前帧目标框的顶点，i＝1、2、3、4，则c′i＝μ+s·Rci3、将为Vc投票的特征点设为最终的当前帧前景特征点，作为下一帧的先验信息。在后续的视频序列中，作为光流跟踪并可以得到第t+1帧的跟踪特征点：所述采用ORB方法检测所有前景特征点和背景特征点及其描述符是：(1)首先构造图像尺度空间金字塔pyramid，尺度空间金字塔由n个octaves层ci和n个intra-octaves层di；i＝0,1…n-1构成，n＝4；其中ci是ci-1进行逐步0.5倍下采样得到，原始图像对应c0；每一个di层位于两个octaves之间，且也是di-1进行逐步0.5倍下采样得到；(2)在金字塔的每一层进行FAST特征点检测，即对于候选像素点p，在以p为圆心，3个像素为半径的离散化圆周上，设定合适的阈值t，如果在这个圆周上的16个像素点，有n个连续的像素点灰度值比I(p)+t都大或者比I(p)+t都小，则说明p为角点，n这里取值为9；其中I(p)为像素点p的灰度值；为加快速度，进行预判断，即先检测P1，P9，P5，P13这四个像素点，如果满足：则p不是角点，否则继续进行检测；同时采用非极大值抑制来排除不是局部领域内极值的点，设立得分score函数S，定义如下：其中M＝{x|I(px)≥I(p)+t},N＝{x|I(px)≤I(p)-t}。若角点p的3×3领域内存在多个角点，则计算score函数，若得分最大，则保留p作为一个角点；(3)增加FAST特征点的方向特征，采用ORB特征的质心法：设一个patch的m+n阶矩Qmn定义为：Qmn＝∑xmynI(x,y)质心K的定义为：则特征点的方向可以用角点的中心到质心的向量方向θ来表示：θ＝arctan(Q01,Q10)(4)构造二进制的ORB特征描述符，对一副高斯平滑后的图象选取大小为l×l的patch，在此区域进行特征描述，其中二值描述符Γ定义为：其中p(x)代表像素点x出的灰度值；则一个256维的特征描述符向量为：则每一个特征点都得到了一个256维的特征点描述符。记为：其中，P1是静态目标模板，表示第一帧图像中目标区域的m1个特征点，ri表示第i个特征点的位置坐标，fi为第i个特征点的二进制特征描述符。有益效果本专利技术提出的一种可嵌入式实现的目标跟踪方法，基于ORB特征点和拉普拉斯约束的目标跟踪方法。基本思想是：首先对视频的初始帧，利用鼠标框选出待跟踪的目标，然后提取第一帧图象的特征点和特征点描述符加以保存；之后对视频的后续帧主要做三部分工作，检测当前帧的特征点与初始帧的前景和背景特征点进行匹配，匹配时利用拉普拉斯约束当前帧的目标中心的可能位置，排除大量背景特征点，再利用前向-后向光流跟踪算法跟踪得到当前帧的特征点，对这两部分的特征点加以融合得到初步特征点；然后利用当前帧特征点评估出目标相对于初始帧的旋转角度和尺度变化，并进行投票得出新的目标中心和目标框。本专利技术在进行全局匹配这一比较耗时的阶段前，利用拉普拉斯对当前帧的目标中心进行预测并且加以约束大量缩减了当前帧的候选特征点数量，使得算法的实时性和准确本文档来自技高网...

【技术保护点】
1.一种可嵌入式实现的目标跟踪方法，其特征在于步骤如下：步骤1：在连续的视频序列图像中，以选定待跟踪目标的视频为初始帧，采用ORB方法检测所有前景特征点和背景特征点及其描述符；256维的特征描述符向量：

【技术特征摘要】
1.一种可嵌入式实现的目标跟踪方法，其特征在于步骤如下：步骤1：在连续的视频序列图像中，以选定待跟踪目标的视频为初始帧，采用ORB方法检测所有前景特征点和背景特征点及其描述符；256维的特征描述符向量：所述则每一个特征点都得到了一个256维的特征点描述符记为：其中：n为256，p(x)代表x处像素点的灰度值；步骤2：采用ORB方法对后续的每一帧视频信息的特征点提取和特征点描述符提取，并且与初始帧的特征点描述符进行全局匹配，结果集合为M，同时对初始帧的前景特征点利用光流法得到下一桢的特征点，结果集合记为T：将这两种特征点进行融合，过程为：1、计算第t-1帧的目标框的中心C(x,y)，以及目标框的宽度w和高度h，同时设x',y',w',h'为第t帧目标框的中心坐标和尺度，则：δ为相邻帧轨迹变化参数得出第t帧的更为精简的特征点集合，记为：2、采用海明距离计算步骤1初始帧前景特征点与本步骤计算当前帧特征点之间的距离，采用二次最近邻距离判据，得到结果集合为M：其中d(*)表示特征点描述符之间的海明距离，θ和γ为阈值，其中θ＝0.25，γ＝0.8；采用Lucas-Kanade光流法对第t-1帧的前景特征点进行其到第t帧的跟踪：其中，u代表像素点延x轴的速度，v代表像素点延y轴的速度，矩阵A代表n个像素点分别延x轴和y轴的变化，ω为高斯窗口函数，变量为像素点到窗口中心的距离。根据计算出来的光流场可以快速计算出第t帧的特征点位置，结果集合记为T；3、对全局匹配和光流跟踪得到的两部分前景特征点进行不重复融合，融合后的特征点集合为K：其中，aik为特征点的绝对坐标，mik为特征点对的索引；步骤3、计算尺度和旋转角度：利用步骤2计算的当前帧图象和初始目标模板的前景特征点之间相对位置关系的几何不变性来进行尺度因子s和旋转因子α的计算：α＝med(Dα)s＝med(Ds)步骤4：根据刚性物体目标位置相对不变性，利用当前帧的特征点对当前帧的目标中心进行投票，并且采用层次聚类法得到票数最多的类，确定当前帧目框，过程如下：1、投票函数为hR(a，m)＝a-s·Rrm，其中其中a当前特征点的坐标；2、Vc为票数最多的类，则当前目标中心为：设ci为前一帧的目标框的四个顶点，c′i为当前帧目标...

【专利技术属性】
技术研发人员：赵天云，吕思稼，郭雷，刘雪婷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61